Выбор ответа Junior Валидация и утечки спрашивают часто обновлено
Зачем отдельная тестовая выборка
Вопрос
Гиперпараметры подбирали по валидационной выборке. Зачем ещё отложенный тест?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Валидация участвовала в выборе модели, поэтому её оценка оптимистична; тест даёт честную оценку. Каждый раз, когда мы выбираем лучшую из многих конфигураций по валидации, мы немного подгоняемся под неё.
Варианты ответа
- Валидация участвовала в выборе модели, поэтому её оценка оптимистична; тест даёт честную оценкуправильный ответ
- Тест нужен, чтобы в конце дообучить на нём лучшую модель и затем на нём же подтвердить качество
- Тест нужен только для нейросетей, где валидация уходит на early stopping и не годится для оценки
- Незачем: валидационная оценка несмещённая, ведь модель на валидационных объектах не обучалась
Разбор
Каждый раз, когда мы выбираем лучшую из многих конфигураций по валидации, мы немного подгоняемся под неё. Тест, на который мы не смотрели при выборе, даёт несмещённую оценку итоговой модели.
- Дообучать на тесте и затем на нём же оценивать нельзя.
- Правило общее для всех моделей.
- После многих сравнений валидационная оценка смещена вверх.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.