Контекстное окно: почему длинный запрос требует больше памяти
Контекст ограничивает объём текста, с которым модель работает в одном обращении.
Контекст измеряют токенами: это единицы, на которые модель разбивает текст. В него входят инструкции, история диалога и переданные материалы. Длина окна задаёт предел доступного контекста, но сама по себе не доказывает, что модель одинаково хорошо использует каждый его фрагмент.
В Ollama размер контекста можно настраивать. Увеличение окна повышает требования к памяти, поэтому удобнее сначала убрать лишние повторы и навигацию из источников. Для редакционного сервиса полезен небольшой пакет подтверждённых сведений с адресами первоисточников. Так проще проверить ответ и понять, откуда взялось конкретное утверждение.