Выбор ответа Junior Валидация и утечки спрашивают часто обновлено
Валидация для временных данных
Вопрос
Модель прогнозирует спрос по дням. Как правильно валидировать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Учить на прошлом, проверять на будущем: разбиение по времени или скользящее окно. В проде модель всегда предсказывает будущее по прошлому.
Варианты ответа
- Обычный перемешанный k-fold: он даёт самую устойчивую оценку на временных данных
- Стратифицированный k-fold по квантилям спроса, чтобы в каждом фолде были все уровни
- Учить на прошлом, проверять на будущем: разбиение по времени или скользящее окноправильный ответ
- Проверять на трейне: у моделей временных рядов переобучения практически не бывает
Разбор
В проде модель всегда предсказывает будущее по прошлому. Перемешанный k-fold подсматривает в будущее: соседние дни похожи, и модель, видевшая завтра, легко угадает сегодня. Используют TimeSeriesSplit или скользящее окно, иногда с зазором (gap) между трейном и валидацией.
- Перемешивание даёт оптимистичную и неправдивую оценку.
- Стратификация не решает проблему будущего.
- Переобучение у временных рядов есть, как и везде.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.