Как снизить стоимость LLM-фичи
Вопрос
Финансовый директор говорит, что LLM-фича стоит слишком дорого. Как вы подойдёте к снижению стоимости?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Измерить: стоимость по фичам и шагам, вход против выхода
Сократить контекст: отбор, суммаризация истории, компактные инструменты
Prompt caching: стабильный префикс
Маршрутизация на дешёвые модели и каскад
Кеш ответов и батч-API для офлайна
Каждое изменение проверять на оценочном наборе
Что могут спросить следом
- Как понять, что качество не упало?
- Когда выгоднее поднять свою модель?
Разбор
Образцовый ответ: «Сначала измерю, куда уходят деньги: стоимость по фичам и шагам цепочки, отдельно входные и выходные токены, доля кешированных. Обычно основная часть во входе: длинная история, лишние чанки, раздутые результаты инструментов. Сокращаю контекст и переставляю промпт так, чтобы стабильная часть шла в начале и кешировалась. Затем смотрю на модели: если большая часть запросов простые, маршрутизирую их на маленькую модель, а сложные оставляю на большой. Повторяющиеся вопросы закрываю кешем, офлайн-задачи перевожу на батч-API. Каждое изменение прогоняю через оценочный набор, чтобы экономия не стоила качества. Своя модель имеет смысл при большой стабильной нагрузке или требованиях к данным, но нужно честно посчитать GPU и людей».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.