Context engineering

Context engineering (kontextteknik) handlar om att utforma, strukturera och leverera rätt kontext till en artificiell intelligensmodell – särskilt språkmodeller – för att förbättra förståelse, relevans och kvalitet i svaren. Det är ett snabbt växande område inom prompt engineering och systemdesign för generativ AI.

Kontext är all information som en AI-modell använder utöver prompten för att tolka och generera ett svar. Den kan inkludera:

• Tidigare interaktioner (chattminne)
• Metadata (användarroll, språk, plats)
• Yttre kunskapskällor (databaser, dokument)
• Temporala faktorer (tid, sekvens)

Kontexten avgör hur modellen tolkar prompten och vilken information som anses relevant.

• In-context learning – att lägga in exempel och struktur direkt i prompten
• Memory injection – att spara och återinföra historik för kontinuitet
• Retrieval-augmented generation (RAG) – AI hämtar extern information vid varje prompt
• Context windows – kontroll av hur mycket data som får plats i modellens arbetsminne (t.ex. 8k, 32k, 128k tokens)
• Dynamic context construction – automatiskt urval av relevant data beroende på situation

• Kundtjänst – AI får tillgång till användarens tidigare ärenden
• Utbildning – AI anpassar svar utifrån elevens kunskapsnivå
• Kodassistenter – modellen ”minns” projektets kodbas
• Verksamhets-AI – kontext hämtas från interna dokument och processer

• Begränsad kontextstorlek – större modeller kan hantera mer, men har gränser
• Relevansfiltrering – hur väl kontextmatchning fungerar påverkar kvalitet
• Dataskydd – inmatad kontext kan innehålla känslig information
• Latens – dynamisk kontextkonstruktion kan påverka svarstid

Utvecklingen går mot:

• Större kontextfönster (t.ex. 1M-tokenmodeller)
• Kontextuell personalisering – AI som anpassar sig till varje användares stil och mål
• Kombination av symbolisk och statistisk kontexttolkning
• Integrerad långsiktig minneshantering

Context engineering blir därmed ett nyckelområde för att göra AI-system mer kraftfulla, relevanta och användbara i praktiken.

• OpenAI: GPT best practices
• RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP
• LangChain: Understanding context in LLMs