Как контролировать стоимость ИИ-фичи
Вопрос
Через месяц после запуска ИИ-фичи счёт от провайдера оказался втрое выше плана. Что будете делать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Разобрать расходы: вход против выхода, по эндпоинтам и пользователям
Найти аномалии: циклы повторов, злоупотребления, огромный контекст
Сократить контекст и поставить стабильную часть в начало для кеша
Ограничить max_tokens и лимиты на пользователя
Простые задачи отдать меньшей модели
Свой кеш ответов с правильным ключом
Алерты на бюджет
Что могут спросить следом
- Как убедиться, что после экономии не упало качество?
Разбор
Образцовый ответ: «Сначала данные: разложу расходы по эндпоинтам, пользователям, входным и выходным токенам. Часто причина одна: бесконечные повторы при ошибке, кто-то гоняет фичу скриптом или в каждый запрос уходит вся история чата. Дальше по находкам: обрезаю или суммаризирую историю, стабильные инструкции ставлю в начало, чтобы работал кеш промпта, ограничиваю max_tokens, ставлю лимиты на пользователя. Простые классификации отдаю меньшей модели, повторяющиеся запросы кеширую с ключом, где есть модель, версия промпта и доступ пользователя. Ставлю алерт на дневной бюджет. И обязательно прогоняю набор примеров до и после, чтобы экономия не съела качество».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.