Выбор ответа Junior Валидация и утечки спрашивают часто обновлено
Как работает k-fold
Вопрос
Как устроена кросс-валидация на 5 фолдов?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Данные делят на 5 частей; 5 раз учат на 4 частях и проверяют на оставшейся, метрики усредняют. Каждый объект ровно один раз попадает в валидацию, оценка устойчивее, чем на одном разбиении, а среднее и разброс по фолдам показывают надёжность. - Обучение на всех данных не даёт оценки на новых. - Учить на 20% и проверять на 80% можно,…
Варианты ответа
- Модель учат 5 раз на всех данных с разными сидами и усредняют метрики на тех же данных
- Данные делят на 5 частей; 5 раз учат на 4 частях и проверяют на оставшейся, метрики усредняютправильный ответ
- Данные делят на 5 частей, учат на одной и проверяют на четырёх остальных, затем меняют часть
- Берут 5 случайных подвыборок с возвращением и проверяют на объектах, не попавших в подвыборку
Разбор
Каждый объект ровно один раз попадает в валидацию, оценка устойчивее, чем на одном разбиении, а среднее и разброс по фолдам показывают надёжность.
- Обучение на всех данных не даёт оценки на новых.
- Учить на 20% и проверять на 80% можно, но это не k-fold.
- Выборки с возвращением это бутстреп.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.