Выбор ответа Senior Вероятность и Байес обновлено
Сдвиг априорных вероятностей
Вопрос
Классификатор обучен на сбалансированной выборке (50% мошенничества), а в проде мошенничества 1%. Модель выдаёт откалиброванные на трейне вероятности. Что с ними в проде?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Они завышены: по Байесу пересчитать шансы с новым приором, множитель около 1/99. P(y x) ∝ P(x y)·P(y).
Варианты ответа
- Они верны: откалиброванная вероятность не зависит от доли классов в обучении
- Они занижены в 50 раз, поэтому их нужно умножить на долю классов в трейне
- Они завышены: по Байесу пересчитать шансы с новым приором, множитель около 1/99правильный ответ
- Их достаточно разделить на 2, чтобы учесть исходный баланс 50 на 50
Разбор
P(y | x) ∝ P(x | y)·P(y). Если правдоподобие не изменилось, а приор сменился, апостериорные шансы умножаются на отношение новых и старых приорных шансов: тут в 99 раз меньше. Так поправляют модели после undersampling. Альтернатива: перекалибровать на данных с реальным распределением.
- Вероятность зависит от приора, это суть теоремы Байеса.
- Множитель применяется к шансам p/(1-p), а не к вероятности, и он 99, а не 50.
- Деление на 2 не имеет обоснования.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.