Выбор ответа Middle Промптинг и структурированный вывод обновлено
Смена модели под тем же промптом
Вопрос
Команда переключила сервис на новую, более сильную модель с тем же промптом. Что правильно сделать до выкатки?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Прогнать регрессионный набор и сравнить метрики со старой: промпт под одну модель ведёт себя иначе. Модели по-разному реагируют на формулировки, примеры и формат.
Варианты ответа
- Ничего: более сильная модель по определению лучше на всех задачах, раз она выше на публичных бенчмарках
- Удалить few-shot примеры: сильной модели они не нужны и только сбивают её с толку
- Прогнать регрессионный набор и сравнить метрики со старой: промпт под одну модель ведёт себя иначеправильный ответ
- Поднять температуру, потому что новые модели рассчитаны на неё и при 0 работают хуже
Разбор
Модели по-разному реагируют на формулировки, примеры и формат. Новая модель может стать многословнее, иначе форматировать JSON или реже отказываться. Поэтому смена модели = новая версия промпта и прогон по тестовому набору. Утверждения про «сильнее значит лучше везде», ненужность примеров и обязательную температуру не подкреплены ничем, кроме надежды.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.