Выбор ответа Senior Агенты и вызов инструментов обновлено
Как оценивать агента
Вопрос
Что важно при оценке агента помимо правильности итогового ответа?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Траектория: верные инструменты и аргументы, число шагов, опасные действия, стоимость. Агент может прийти к правильному ответу случайно, за 30 шагов и 5 долларов, или по дороге удалить лишнее.
Варианты ответа
- Длина и тон итогового ответа, измеренные отдельной моделью-судьёй
- Количество разных инструментов, которые он вызвал: чем больше, тем лучше агент исследует задачу
- Ничего больше: если итоговый ответ правильный, путь к нему не влияет на качество агента
- Траектория: верные инструменты и аргументы, число шагов, опасные действия, стоимостьправильный ответ
Разбор
Агент может прийти к правильному ответу случайно, за 30 шагов и 5 долларов, или по дороге удалить лишнее. Поэтому на наборе сценариев меряют долю успеха, а для траекторий проверяют ожидаемые вызовы, отсутствие запрещённых действий, шаги, токены и задержку. Длина ответа ничего не говорит. Больше инструментов обычно значит хуже. Итоговый ответ необходим, но недостаточен.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.