Выбор ответа Senior LLM в проде обновлено
Маршрутизация между моделями
Вопрос
Большая модель даёт качество 92% при цене X, маленькая 85% при цене X/15. 70% запросов простые, на них маленькая модель даёт 95%. Что предложить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Маршрутизация: классификатор шлёт простые запросы на маленькую модель, сложные на большую. Если 70% запросов маленькая модель решает не хуже большой, маршрутизация снижает стоимость почти в 3 раза при сохранении качества.
Варианты ответа
- Перевести всех на маленькую модель: 85% достаточно, а экономия в 15 раз окупит потери
- Маршрутизация: классификатор шлёт простые запросы на маленькую модель, сложные на большуюправильный ответ
- Оставить всех на большой модели: 7 процентных пунктов качества важнее любой экономии
- Отправлять каждый запрос в обе модели и выбирать более длинный и подробный ответ
Разбор
Если 70% запросов маленькая модель решает не хуже большой, маршрутизация снижает стоимость почти в 3 раза при сохранении качества. Цена ошибки классификатора и общее качество проверяются на оценочном наборе. Переход всех на маленькую модель теряет качество на сложных запросах. Только большая модель переплачивает. Двойной вызов дороже обоих вариантов, а длина не критерий качества.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.