Как выбрать метрику
Вопрос
Как вы выбираете метрику качества для новой задачи классификации? Приведите пример.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
От бизнес-цели и цены ошибок FP и FN
Учёт баланса классов: при редком классе PR-AUC, precision@k, recall при фиксированной precision
Нужны ли вероятности: тогда log loss, Brier, калибровка
Офлайн-метрика для сравнения моделей и решение по порогу отдельно
Проверка связи офлайн-метрики с онлайн-эффектом
Что могут спросить следом
- Что выберете для модерации контента, где ручная проверка ограничена?
- Почему бы не взять F1 всегда?
Разбор
Начинаю с того, как будет использоваться модель и сколько стоят ошибки. Пример: антифрод платежей. Пропущенный мошенник стоит сумму транзакции, ложная блокировка злит честного клиента и нагружает поддержку. Мошенников доля процента, поэтому accuracy и даже ROC-AUC мало что скажут. Для сравнения моделей возьму PR-AUC, а для принятия решения recall при фиксированной доле ложных срабатываний или precision в топ-N, если транзакции проверяют аналитики с ограниченной пропускной способностью. Если по вероятностям считаем деньги (ожидаемые потери), важна калибровка, смотрю log loss или Brier и калибровочную кривую. Порог выбираю отдельно по ожидаемой выгоде. F1 по умолчанию не беру: он придаёт равную важность precision и recall, что редко совпадает с бизнесом. И обязательно проверяю, что рост офлайн-метрики даёт рост онлайн-метрики в эксперименте.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.