Выбор ответа Middle Валидация и утечки спрашивают часто обновлено
Группы в данных
Вопрос
В датасете снимки МРТ: по 20 снимков от каждого пациента. Как делить на трейн и валидацию?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: По пациентам (GroupKFold): все снимки одного пациента целиком в одной части. Снимки одного пациента сильно похожи.
Варианты ответа
- Случайно по снимкам: так в обеих частях больше разнообразия ракурсов
- Стратифицированно по диагнозу на уровне снимков, чтобы сохранить баланс
- Оставить в валидации по одному снимку от каждого пациента, остальные в трейн
- По пациентам (GroupKFold): все снимки одного пациента целиком в одной частиправильный ответ
Разбор
Снимки одного пациента сильно похожи. Если они попадут и в трейн, и в валидацию, модель учится узнавать пациента, а не болезнь, и оценка завышена. В проде придут новые пациенты, поэтому и в валидации должны быть новые. То же с пользователями, магазинами, сессиями.
- Случайное разбиение по снимкам и есть утечка через группу.
- Стратификация по диагнозу полезна, но поверх группировки (StratifiedGroupKFold).
- По снимку от пациента в валидации даёт ту же утечку.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.