Контекстное окно

Сколько текста модель «держит в голове» за один раз — лимит входа в токенах.

Контекстное окно — максимальный объём (в токенах), который языковая модель учитывает за один запрос: инструкция, история диалога, поданные документы. Чем оно больше, тем длиннее материалы можно обрабатывать без потери связности. Для агентов и RAG размер окна определяет, сколько знаний поместится в один шаг рассуждения.