Выбор ответа Middle Метрики качества спрашивают часто обновлено
Смысл ROC-AUC
Вопрос
Как интерпретировать ROC-AUC = 0.8?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Случайный положительный объект получит скор выше случайного отрицательного с вероятностью 0.8. AUC это вероятность правильного упорядочивания случайной пары (положительный, отрицательный), ничьи считаются за половину.
Варианты ответа
- 80% объектов классифицированы верно при оптимальном пороге, подобранном по ROC-кривой
- Случайный положительный объект получит скор выше случайного отрицательного с вероятностью 0.8правильный ответ
- Площадь под кривой равна precision модели при стандартном пороге 0.5 на тестовой выборке
- Модель права в 80% случаев, когда говорит «положительный», независимо от выбранного порога отсечения
Разбор
AUC это вероятность правильного упорядочивания случайной пары (положительный, отрицательный), ничьи считаются за половину. Метрика не зависит от порога и от монотонных преобразований скоров. 0.5 это случайное ранжирование.
- Доля верных при пороге это accuracy.
- Precision зависит от порога и от доли классов.
- Последний вариант снова описывает precision.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.