Выбор ответа Middle Постановка задачи обновлено
Бизнес-цель и ML-метрика
Вопрос
Банк хочет уменьшить убытки от невозвратов кредитов. Команда оптимизирует ROC-AUC модели скоринга. Что важно помнить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: ROC-AUC это прокси: решение принимается по порогу, а важны деньги, их нужно считать отдельно. Модель ранжирует клиентов, а бизнес решает, кого одобрить.
Варианты ответа
- ROC-AUC прямо пропорциональна убыткам банка: рост AUC на 0.01 даёт фиксированное снижение потерь
- ROC-AUC это прокси: решение принимается по порогу, а важны деньги, их нужно считать отдельноправильный ответ
- Достаточно максимизировать accuracy на валидации: при редких дефолтах она точнее отражает деньги
- Метрика качества в скоринге не важна: регулятор оценивает только интерпретируемость модели
Разбор
Модель ранжирует клиентов, а бизнес решает, кого одобрить. Убыток зависит от порога, суммы кредита, ставки и цены ошибок разного типа. ROC-AUC хороша для сравнения моделей, но решение о пороге и ожидаемый эффект считают в деньгах и проверяют экспериментом.
- AUC не учитывает суммы и стоимость ошибок.
- Accuracy при редких дефолтах ещё хуже отражает цель.
- Интерпретируемость важна в скоринге (регуляторы), но качество тоже.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.