Выбор ответа Senior Валидация и утечки обновлено
Вложенная кросс-валидация
Вопрос
Зачем нужна вложенная (nested) кросс-валидация?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Внутренний цикл подбирает гиперпараметры, внешний честно оценивает всю процедуру подбора. Если подбирать гиперпараметры по CV и той же CV оценивать качество, оценка смещена вверх.
Варианты ответа
- Чтобы ускорить подбор гиперпараметров за счёт распараллеливания по внешним фолдам
- Чтобы увеличить обучающую выборку: внутренние фолды переиспользуют объекты внешних
- Это синоним стратифицированной кросс-валидации: внутри каждого класса делают свои отдельные фолды
- Внутренний цикл подбирает гиперпараметры, внешний честно оценивает всю процедуру подбораправильный ответ
Разбор
Если подбирать гиперпараметры по CV и той же CV оценивать качество, оценка смещена вверх. Вложенная схема: на каждом внешнем фолде внутри трейна запускается свой поиск, а лучшая модель проверяется на внешнем валидационном фолде. Это дорого, но честно, особенно на малых данных.
- Она медленнее, а не быстрее.
- Данных для обучения не прибавляется.
- Стратификация это про баланс классов в фолдах.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.