Объясните ROC-кривую
Вопрос
Объясните, как строится ROC-кривая и что такое ROC-AUC.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Перебор порогов от высокого к низкому
По осям FPR и TPR (recall)
Диагональ это случайная модель, AUC 0.5
AUC это вероятность правильно упорядочить случайную пару
Не зависит от порога и монотонных преобразований скоров, но не видит калибровку
Что могут спросить следом
- Что будет с AUC, если все скоры возвести в квадрат?
- Когда ROC-AUC вводит в заблуждение?
Разбор
Модель выдаёт скоры. Сортирую объекты по скору и двигаю порог сверху вниз: на каждом пороге считаю TPR, то есть recall, долю найденных положительных, и FPR, долю ложных срабатываний среди отрицательных. Точки (FPR, TPR) образуют ROC-кривую от (0, 0) до (1, 1). Случайная модель даёт диагональ, идеальная проходит через (0, 1). Площадь под кривой ROC-AUC равна вероятности того, что случайный положительный объект получит скор выше случайного отрицательного. Поэтому AUC не зависит от порога и от монотонных преобразований скоров: возведение в квадрат его не изменит. Минусы: AUC ничего не говорит о калибровке вероятностей и при сильном дисбалансе выглядит оптимистично, тогда дополнительно смотрю PR-кривую.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.