Выбор ответа Junior ИИ-фичи в продукте спрашивают часто обновлено
Зачем ограничивать max_tokens
Вопрос
Зачем задавать ограничение длины ответа (max_tokens) при вызове модели?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы ограничить стоимость и задержку одного запроса сверху. Выходные токены оплачиваются и генерируются последовательно, поэтому длинный ответ дорогой и медленный.
Варианты ответа
- Чтобы модель отвечала точнее: короткие ответы всегда правильнее
- Чтобы ограничить стоимость и задержку одного запроса сверхуправильный ответ
- Чтобы провайдер включил кеширование промпта для этого запроса
- Чтобы ответ гарантированно соответствовал заданной JSON-схеме
Разбор
Выходные токены оплачиваются и генерируются последовательно, поэтому длинный ответ дорогой и медленный. Лимит ставит верхнюю границу. Он не делает ответ точнее, не включает кеш и не гарантирует схему: обрезанный JSON как раз становится невалидным.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.