Co to jest Context Window?

Definicja

Context Window to maksymalna liczba tokenów (słów lub części słów), którą model językowy może przetworzyć jednocześnie jako kontekst wejściowy, określająca jak dużo wcześniejszej rozmowy lub tekstu model może "pamiętać" podczas generowania odpowiedzi.

Cel

Celem Context Window jest określenie zakresu informacji, które model może uwzględnić przy generowaniu odpowiedzi, balansując między możliwościami pamięci a wydajnością obliczeniową modelu.

Funkcja

Context Window funkcjonuje jak "ruchome okno" pamięci, gdzie najstarsze informacje są usuwane, gdy okno się zapełnia, a nowe informacje są dodawane, utrzymując stały rozmiar kontekstu dostępnego dla modelu.

Przykład

Model z context window o rozmiarze 4096 tokenów może "pamiętać" około 3000-4000 słów wcześniejszej rozmowy. Gdy rozmowa przekroczy tę długość, najwcześniejsze części zostaną "zapomniane".

Powiązane

• Tokens
• Memory Management
• Model Architecture
• Long Context Models

Chcesz dowiedzieć się więcej?

Jeśli chcesz dowiedzieć się więcej na temat Context Window, skontaktuj się ze mną na X. Uwielbiam dzielić się pomysłami, odpowiadać na pytania i omawiać ciekawostki na te tematy, więc nie wahaj się wpaść. Do zobaczenia!