Выбор ответа Middle ИИ-фичи в продукте обновлено
Как снизить стоимость фичи
Вопрос
ИИ-фича обходится дорого: в каждый запрос уходит вся история чата и длинный регламент. Что поможет сильнее всего?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сократить контекст, поставить стабильный регламент в начало ради кеша. Основная статья расходов здесь входные токены.
Варианты ответа
- Перевести запросы на стриминг, потому что потоковые токены дешевле
- Отключить повторы на 5xx, чтобы не платить за неудачные запросы
- Сократить контекст, поставить стабильный регламент в начало ради кешаправильный ответ
- Поднять температуру, чтобы модель отвечала короче и быстрее
Разбор
Основная статья расходов здесь входные токены. Обрезка или суммаризация истории уменьшает их, а стабильный префикс в начале позволяет кешу промпта у провайдера удешевить повторную обработку. Стриминг не меняет цену токенов. Повторы на 5xx редки и почти не влияют на счёт. Температура не управляет длиной.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.