Hvad er et context window?

Den begrænsede mængde information (tokens) som en AI-model kan "huske" og behandle på én gang under en samtale eller opgave.

🤖

Definition

Context Window er den begrænsede mængde information (målt i tokens), som en AI-model kan holde i sin "hukommelse" og aktivt behandle på én gang under en samtale eller opgave.

🎯

Formål

Context Window definerer grænserne for, hvor meget sammenhæng og historik en AI-model kan overveje, når den genererer responser, hvilket påvirker dens evne til at følge lange samtaler.

⚙️

Funktion

Context Window fungerer som en glidende "hukommelse", hvor ældre information gradvist "glemmes", når nye beskeder tilføjes, og det samlede antal tokens når modellens grænse.

🌟

Eksempel

GPT-4 har et context window på ca. 128.000 tokens. Når en samtale overstiger dette, "glemmer" modellen de ældste dele for at gøre plads til ny information.

🔗

Relateret

Context Window er relateret til tokens, memory, conversation flow og large language models.

🍄

Vil du vide mere?

Hvis du er nysgerrig efter at lære mere om Context Window, så kontakt mig på X. Jeg elsker at dele idéer, besvare spørgsmål og diskutere nysgerrigheder om disse emner, så tøv ikke med at kigge forbi. Vi ses!