Рост контекста агента
Вопрос
Агент на 15-м шаге стал медленным и дорогим, качество решений падает. В истории много сырых ответов инструментов по 10 тысяч токенов. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Переключиться на модель с окном побольше: проблема в том, что история не помещается целиком
- Сжимать историю: сокращать результаты инструментов, большие данные держать вне контекстаправильный ответ
- Начинать каждый шаг с пустой истории, передавая модели только исходный запрос пользователя
- Сделать инструменты асинхронными, чтобы их ответы не попадали в историю диалога
Разбор
Каждый шаг отправляет всю историю: стоимость растёт быстрее линейной, а модель тонет в шуме. Инструменты должны возвращать компактные результаты, старые наблюдения можно сокращать или заменять резюме, крупные данные держать во внешнем хранилище со ссылками. Большее окно отложит проблему и сделает её дороже. Пустая история потеряет прогресс. Асинхронность влияет на задержку инструмента, а не на размер контекста.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.