Выбор ответа Senior Метрики качества спрашивают часто обновлено
ROC-AUC против PR-AUC
Вопрос
Почему при очень редком положительном классе рекомендуют смотреть PR-AUC, а не только ROC-AUC?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: ROC-AUC опирается на FPR, который при огромном числе отрицательных почти не меняется; PR-кривая видит ложные тревоги. При 1 000 000 отрицательных 1 000 ложных срабатываний дают FPR всего 0.001, ROC-кривая выглядит отлично.
Варианты ответа
- ROC-AUC нельзя посчитать при сильном дисбалансе: при малом числе положительных TPR не определён на большинстве порогов
- PR-AUC не зависит от доли положительного класса, поэтому его можно сравнивать между датасетами с разным дисбалансом
- ROC-AUC опирается на FPR, который при огромном числе отрицательных почти не меняется; PR-кривая видит ложные тревогиправильный ответ
- PR-AUC при дисбалансе больше ROC-AUC, поэтому разница между моделями на нём заметнее и сравнивать проще
Разбор
При 1 000 000 отрицательных 1 000 ложных срабатываний дают FPR всего 0.001, ROC-кривая выглядит отлично. Но если настоящих положительных 100, precision около 9%. PR-AUC (average precision) это видит. Минус: PR-AUC зависит от доли класса, её базовый уровень равен этой доле, поэтому сравнивают модели на одних данных.
- ROC-AUC считается при любом балансе.
- Как раз PR-AUC зависит от доли класса.
- Соотношение значений бывает любым.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.