Зачем калибровать вероятности
Вопрос
Когда калибровка вероятностей важна, как её проверить и как исправить?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Важна, когда вероятность используется как число: ожидаемая выгода, ставки, смешивание моделей
Проверка: калибровочная кривая, ECE, Brier, log loss
Что ломает калибровку: веса классов, семплирование, бустинг, сети с переуверенностью
Исправление: Platt, isotonic, temperature scaling на отложенных данных
Калибровка монотонна и не меняет AUC
Что могут спросить следом
- Почему у случайного леса вероятности часто сжаты к середине?
- Что такое temperature scaling?
Разбор
Калибровка важна, когда предсказанная вероятность используется как число, а не только для сортировки: расчёт ожидаемых потерь в кредитах, ценообразование страховки, ставки на рекламном аукционе, где ожидаемый доход равен CTR, умноженному на ставку, или смешивание нескольких моделей. Проверяю калибровочной кривой по бинам и сводными метриками: ECE, Brier score, log loss. Калибровку ломают веса классов и семплирование (смещают приор), бустинг с большим числом деревьев, глубокие сети, которые часто переуверены, и случайный лес, у которого вероятности сжаты к середине из-за усреднения. Исправляют на отложенной выборке с реальным распределением: Platt scaling (сигмоида по скору) при малых данных, isotonic regression при большом объёме, temperature scaling для нейросетей (один параметр, делящий логиты). Все эти методы монотонны, поэтому AUC не меняется.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.