Выбор ответа Senior Оценка качества обновлено
Среднее против срезов
Вопрос
Новая модель подняла среднюю точность ответов с 82% до 85%, но в категории «возвраты» упала с 90% до 70%. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не выкатывать вслепую: разобрать провалы, взвесить важность категории, поправить промпт или маршрутизацию. Среднее прячет регрессии в отдельных срезах, а важная категория может стоить дороже, чем выигрыш в остальных.
Варианты ответа
- Выкатывать: среднее по всем категориям выросло, значит, новая модель в целом лучше
- Удалить категорию «возвраты» из набора как выброс: она маленькая и шумная
- Увеличить размер набора по возвратам, пока разница между старой и новой моделью не станет статистически незначимой
- Не выкатывать вслепую: разобрать провалы, взвесить важность категории, поправить промпт или маршрутизациюправильный ответ
Разбор
Среднее прячет регрессии в отдельных срезах, а важная категория может стоить дороже, чем выигрыш в остальных. Нужно смотреть метрики по категориям и разбирать примеры. Удалять неудобную категорию значит обманывать себя. Наращивать набор, «пока разница не исчезнет», тоже подгонка.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.