Выбор ответа Middle Валидация и утечки спрашивают часто обновлено
Утечка из будущего
Вопрос
Модель предсказывает, вернёт ли клиент кредит. Среди признаков есть «число звонков коллекторов». Качество на валидации ROC-AUC 0.99. Что вероятнее всего?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Утечка: признак возникает после события, которое предсказываем, и в момент решения его нет. Коллекторы звонят уже после просрочки, то есть признак является следствием целевой переменной.
Варианты ответа
- Модель отличная: признак сильный и отражает реальное поведение, можно сразу внедрять
- Утечка: признак возникает после события, которое предсказываем, и в момент решения его нетправильный ответ
- Переобучение из-за малого числа деревьев: каждое дерево запомнило свою часть выборки
- Нужно нормализовать признак: его масштаб доминирует, и модель завышает уверенность
Разбор
Коллекторы звонят уже после просрочки, то есть признак является следствием целевой переменной. В момент выдачи кредита его значения нет. Правило: для каждого признака спросить, известен ли он на момент прогноза. Подозрительно высокая метрика почти всегда повод искать утечку.
- Внедрение такой модели провалится: в проде признак пуст.
- Число деревьев тут ни при чём.
- Нормализация не исправляет причинно-следственную проблему.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.