Context windows

Context windows (kontextfönster) är ett tekniskt begrepp som beskriver hur mycket information en språkmodell kan ”se” eller beakta vid ett givet tillfälle. Det är en grundläggande begränsning i hur språkmodeller bearbetar text.

Ett kontextfönster definieras i Tokens, vilket är textdelar som kan motsvara ord, delar av ord eller skiljetecken. Modellen bearbetar endast det antal tokens som ryms inom dess fönster – allt utanför ignoreras.

Exempel:

• En prompt på 4000 tokens i en modell med ett 4096-tokenfönster lämnar mycket lite utrymme för svar.
• I modeller med stora fönster (t.ex. 128k tokens) kan hela dokument eller konversationer inkluderas.

• GPT-3.5: 4k tokens
• GPT-4: 8k eller 32k tokens
• Claude 2.1: 200k tokens
• Claude 3.5: upp till 1 miljon tokens (för referensmaterial)
• Gemini 1.5: >1M tokens (experimentiell)

1 token ≈ ¾ ord på engelska text, vilket betyder att 1000 tokens ≈ 750 ord.

• Större fönster möjliggör mer sammanhängande och informerade svar över långa texter.
• Mindre fönster kan leda till att viktig kontext kapas, vilket försämrar resultat.

Det påverkar bland annat:

• Dokumentanalys
• Flerstegsresonemang
• Kodassistans
• Minneshantering i chattgränssnitt

• Prompt design – hålla prompt och förväntat svar inom fönstergräns
• Trunkering – klippa bort irrelevanta delar för att spara utrymme
• Sliding window – läsa in information sekventiellt i överlappande block
• RAG-tekniker – hämta och inkludera bara relevant information dynamiskt

• Långa kontextfönster ökar kostnad och svarstid
• Inte all information i fönstret påverkar nödvändigtvis output
• Även stora modeller kan “glömma” information tidigt i kontexten

• OpenAI: Best practices for long context
• Anthropic: Claude med 200k kontextfönster
• LongNet: Scaling Transformers to 1 Billion Tokens