Неслучайные пропуски
Вопрос
Почему нельзя просто заполнить пропуски средним? Как тип пропусков влияет на выбор стратегии?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Три типа: MCAR (полностью случайные), MAR (зависят от наблюдаемых признаков), MNAR (зависят от самого значения)
Среднее сжимает дисперсию и рвёт связи между признаками
При MNAR любое заполнение смещает выводы: например, богатые не указывают доход
Варианты: заполнение по группе, модельное (KNN, итеративное), флаг пропуска
Статистики считать на train, без утечки
Проверить чувствительность выводов к способу заполнения
Что могут спросить следом
- Как проверить, что пропуски зависят от других признаков?
- Когда пропуск лучше оставить как отдельную категорию?
- Чем опасно ffill на временных рядах?
Разбор
Заполнение средним кажется безобидным, но у него две проблемы. Оно искусственно уменьшает разброс и ослабляет корреляции, потому что много объектов получают одно значение. И главное, оно предполагает, что пропуски случайны. Различают три случая. MCAR: пропуски полностью случайны, тогда удаление или простое заполнение почти не смещает выводы. MAR: пропуск зависит от наблюдаемых признаков, например молодые реже указывают доход, тогда заполняю по группам или моделью на других признаках. MNAR: пропуск зависит от самого значения, люди с высоким доходом его скрывают; тут любое заполнение смещает результат, и честнее добавить флаг пропуска и обсуждать ограничение. Проверяю тип, сравнивая распределения других признаков у строк с пропуском и без. Статистики заполнения считаю только на train и смотрю, меняются ли выводы при разных способах заполнения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.