Выбор ответа Middle LLM в проде обновлено
Фолбэк на резервную модель
Вопрос
При падении основного провайдера сервис переключается на модель другого провайдера, и половина ответов ломает парсер. Что упустили?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Промпт и формат не проверены на резервной модели: фолбэк тестируют тем же набором заранее. Модели по-разному реагируют на промпт и форматируют ответы.
Варианты ответа
- Промпт и формат не проверены на резервной модели: фолбэк тестируют тем же набором заранееправильный ответ
- Резервная модель должна быть того же размера в параметрах, тогда формат ответов совпадёт
- Фолбэк надо включать только ночью, когда нагрузка и цена ошибок парсера минимальны
- Нужно было дольше повторять запрос к упавшему провайдеру, прежде чем переключаться на другой
Разбор
Модели по-разному реагируют на промпт и форматируют ответы. Фолбэк, который никто не прогонял, ломается в самый неудобный момент. Нужен прогон регрессионного набора на резервной модели, при необходимости отдельная версия промпта, и structured outputs, если поддерживается. Размер модели не гарантирует совместимости. Время суток ни при чём. Долгие ретраи упавшего провайдера только увеличат задержку.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.