Выбор ответа Junior Метрики качества спрашивают часто обновлено
Ловушка accuracy
Вопрос
В антифроде 0.5% мошеннических транзакций. Модель «всё честно» имеет accuracy 99.5%. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Accuracy при сильном дисбалансе бесполезна: модель не ловит ни одного мошенника. Константная модель получает accuracy, равную доле мажоритарного класса.
Варианты ответа
- Ничего: 99.5% отличный результат, для антифрода это выше отраслевого уровня
- Accuracy завышена из-за переобучения, на новых данных она упадёт примерно до 50%
- Accuracy нужно считать на трейне, где мошенников больше после стратификации
- Accuracy при сильном дисбалансе бесполезна: модель не ловит ни одного мошенникаправильный ответ
Разбор
Константная модель получает accuracy, равную доле мажоритарного класса. Для редкого класса смотрят precision, recall, PR-AUC, стоимость ошибок.
- Модель бесполезна, хотя число большое.
- Переобучения здесь нет, модель даже ничего не выучила.
- Трейн не решает проблему метрики.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.