LLM Wiki

LLM Wiki är ett arbetssätt där en stor språkmodell (LLM) används för att bygga och underhålla en långsiktig kunskapsbas i form av markdown-filer eller wiki-sidor. Konceptet populariserades av AI-forskaren Andrej Karpathy och beskriver hur artificiell intelligens kan användas för att skapa ett persistent semantiskt minne istället för enbart tillfälliga promptsvar.

Till skillnad från traditionell dokumenthantering bygger en LLM Wiki successivt upp ett nätverk av sammanfattningar, begrepp, relationer och interna länkar som både människor och AI-system kan arbeta vidare med över tid.

Kärnan i konceptet är att separera:

• råmaterial
• bearbetad kunskap

Råmaterial kan bestå av:

• forskningsartiklar
• PDF-filer
• anteckningar
• kod
• webbsidor
• bilder
• interna dokument

LLM:n analyserar därefter materialet och skapar strukturerade wiki-sidor med sammanfattningar, begrepp och länkar mellan relaterade ämnen.

En typisk struktur består av två huvudsakliga lager:

En katalog, ofta kallad:

raw/

innehåller originalmaterialet i sitt ursprungliga format.

Ett separat lager innehåller markdown-filer eller wiki-sidor där kunskapen organiseras och förädlas.

Exempel:

wiki/
 ├── ai/
 ├── rag/
 ├── agents/
 └── llm_wiki.md

Karpathy beskriver processen som en form av ”kompilering av kunskap”.

Istället för att varje fråga söker direkt i ostrukturerade dokument:

• analyseras materialet
• sammanfattas innehållet
• relationer identifieras
• länkar skapas mellan begrepp
• nya wiki-sidor genereras

Resultatet blir ett mellanlager av semantiskt organiserad kunskap.

Traditionell RAG (Retrieval-Augmented Generation) fungerar vanligtvis genom att:

• indexera dokument
• dela upp text i chunkar
• hämta relevanta textdelar vid frågetillfället

LLM Wiki lägger till ett extra lager där kunskapen först omformas till läsbara och långsiktiga wiki-sidor.

Skillnader:

En viktig del av konceptet är interna länkar mellan relaterade ämnen.

Exempel:

[[rag]]
[[knowledge_management]]
[[agents]]

Detta gör att kunskapen gradvis utvecklas till ett semantiskt nätverk snarare än en samling isolerade dokument.

Flera verktyg används ofta tillsammans med LLM Wiki:

• Obsidian
• Markdown
• Git
• Vector databases
• Claude
• GPT-modeller
• Lokala embeddings-modeller

Obsidian är särskilt populärt eftersom det arbetar direkt mot markdown-filer och erbjuder grafvyer samt internlänkning.

LLM Wiki används bland annat för:

• forskningsöversikter
• teknisk dokumentation
• interna kunskapsbaser
• utbildningsmaterial
• systemarkitektur
• produktdokumentation
• personliga kunskapsarkiv

Konceptet har flera utmaningar:

• felaktiga sammanfattningar kan spridas vidare
• hallucinationer kan skapa falska samband
• kvaliteten beror på råmaterialet
• kräver kontinuerlig kurering
• risk för informationsdrift över tid

En LLM Wiki bör därför normalt ses som ett assisterat kunskapssystem snarare än en autonom sanningskälla.

LLM Wiki representerar ett skifte från tillfällig AI-användning till långsiktigt kunskapsbyggande.

Istället för att AI enbart producerar svar i stunden kan modellen bidra till att skapa:

• beständig dokumentation
• semantiska kunskapsnätverk
• organisatoriskt minne
• iterativ kunskapsförädling

Detta gör konceptet särskilt intressant för organisationer med stora mängder ostrukturerad information.

• Andrej Karpathys ursprungliga LLM Wiki-gist
• Genomgång av konceptet
• Öppen implementation på GitHub
• Obsidian

Sök efter detta ämne på ...