Выбор ответа Junior LLM в проде спрашивают часто обновлено
Что раздувает стоимость
Вопрос
Бот поддержки стоит в 5 раз дороже плана. В каждом запросе 12 тысяч входных токенов (20 чанков RAG и вся история) и 200 выходных. Что сделать в первую очередь?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сократить контекст: меньше и точнее чанки, суммаризация истории, стабильный префикс под кеш. Стоимость здесь почти целиком во входе: 12 тысяч против 200.
Варианты ответа
- Ограничить ответ 50 токенами через max_tokens: выход стоит дороже входа, экономия будет основной
- Поднять температуру, чтобы модель отвечала короче и реже уходила в повторы
- Сократить контекст: меньше и точнее чанки, суммаризация истории, стабильный префикс под кешправильный ответ
- Перейти на модель с большим окном, у которой цена входного токена при длинном контексте ниже
Разбор
Стоимость здесь почти целиком во входе: 12 тысяч против 200. Отбор контекста и кеширование префикса дают основную экономию. Укорачивание ответа сэкономит копейки и ухудшит ответы. Температура на цену не влияет. Большее окно не уменьшает число отправленных токенов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.