Выбор ответа Senior Несбалансированные классы обновлено
На каком распределении оценивать
Вопрос
Обучение шло на сбалансированной выборке. На каком распределении классов нужно считать итоговые метрики?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: На исходном, как в проде: precision и PR-AUC зависят от доли классов. Precision, PR-AUC, accuracy и ожидаемая выгода зависят от доли положительных.
Варианты ответа
- На сбалансированном, как при обучении, иначе метрики несопоставимы
- Без разницы: precision и recall нормированы и от баланса классов не зависят
- На исходном, как в проде: precision и PR-AUC зависят от доли классовправильный ответ
- Только на объектах положительного класса, ведь важен именно он
Разбор
Precision, PR-AUC, accuracy и ожидаемая выгода зависят от доли положительных. Если считать их на искусственно сбалансированной валидации, получится картина, которой в проде не будет. ROC-AUC и recall от баланса не зависят, но решение о пороге всё равно принимается при реальной доле.
- Сбалансированная оценка завышает precision.
- Часть метрик зависит.
- Без отрицательных нельзя посчитать FP.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.