Выбор ответа Senior Пропуски, дубли и типы обновлено
Заполнение пропусков и утечка
Вопрос
Перед обучением модели пропуски в income заполнили средним по всему датасету, затем разбили на train и test. В чём проблема?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Утечка: статистика test попала в train, и качество завышено. Любые параметры предобработки (среднее, медиана, масштаб) должны считаться только на train и применяться к test, иначе модель косвенно видит данные теста.
Варианты ответа
- Проблемы нет: среднее устойчиво и одинаково для train и test
- Среднее хуже медианы на выбросах, и это единственная проблема
- Утечка: статистика test попала в train, и качество завышеноправильный ответ
- Нужно было удалить строки с пропусками, а не заполнять их
Разбор
Любые параметры предобработки (среднее, медиана, масштаб) должны считаться только на train и применяться к test, иначе модель косвенно видит данные теста. Медиана вместо среднего не решает утечку. Удаление строк теряет данные и смещает выборку, если пропуски не случайны. Правильно: сплит, затем SimpleImputer в Pipeline, обученный на train.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.