Выбор ответа Senior Несбалансированные классы обновлено
Калибровка после undersampling
Вопрос
Модель учили на undersampling: отрицательных оставили 10% от исходного. Что с её вероятностями?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Завышены для положительного класса; нужна поправка на приор или калибровка на реальном распределении. Модель видела в 10 раз больше положительных относительно отрицательных, чем бывает в реальности.
Варианты ответа
- Они точны: undersampling меняет только число объектов, а оценки P(y|x) от доли классов в трейне не зависят
- Они занижены в 10 раз для положительного класса, потому что модель видела меньше данных в целом
- Их можно исправить, разделив предсказанную вероятность положительного класса ровно на 10
- Завышены для положительного класса; нужна поправка на приор или калибровка на реальном распределенииправильный ответ
Разбор
Модель видела в 10 раз больше положительных относительно отрицательных, чем бывает в реальности. Апостериорные шансы завышены в 10 раз: правильная поправка p' = p / (p + (1 - p)/β), где β = 0.1 доля оставленных отрицательных. Или калибровка (Platt, isotonic) на отложенной выборке с исходным балансом.
- Влияние прямое, через приор.
- Завышены, а не занижены.
- Деление вероятности на 10 неверно: поправка применяется к шансам.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.