Выбор ответа Senior Признаки и интерпретация обновлено
Отбор признаков и утечка
Вопрос
Из 10 000 признаков отобрали 100 самых коррелирующих с целью на всём датасете, затем сделали кросс-валидацию. Качество отличное. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Отбор видел валидационные фолды: на шумовых признаках он дал бы такую же оценку; отбирать нужно внутри фолда. Классическая ловушка: среди 10 000 шумовых признаков найдутся 100, случайно коррелирующих с целью на этих данных, и CV их «подтвердит».
Варианты ответа
- Всё корректно: корреляцию можно считать на всём датасете, ведь она не использует обучение модели и утечки не даёт
- Проблема в том, что 100 признаков из 10 000 мало: модель недообучена, и CV показывает случайно завышенный результат
- Отбор видел валидационные фолды: на шумовых признаках он дал бы такую же оценку; отбирать нужно внутри фолдаправильный ответ
- Корреляцию нужно было считать на отложенном тесте, а кросс-валидацию запускать уже на трейне с этими признаками
Разбор
Классическая ловушка: среди 10 000 шумовых признаков найдутся 100, случайно коррелирующих с целью на этих данных, и CV их «подтвердит». Отбор признаков это часть обучения, его помещают в Pipeline и выполняют на трейне каждого фолда.
- Расчёт на всём датасете и есть утечка.
- Число признаков не причина завышения.
- Тест вообще нельзя использовать для отбора.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.