Выбор ответа Junior PyTorch на практике обновлено
Перемешивание в DataLoader
Вопрос
Где нужен shuffle=True в DataLoader?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: В обучающем DataLoader, чтобы батчи были разнообразными; на валидации и тесте не нужен. Если трейн отсортирован по классам или времени, без перемешивания модель видит длинные серии одного класса и обучение колеблется.
Варианты ответа
- Только на валидации, чтобы метрика не зависела от порядка объектов в датасете и была честной
- Нигде: перемешивание ломает воспроизводимость и вредит сходимости
- Везде, включая тест, иначе метрика смещена в сторону первых батчей
- В обучающем DataLoader, чтобы батчи были разнообразными; на валидации и тесте не нуженправильный ответ
Разбор
Если трейн отсортирован по классам или времени, без перемешивания модель видит длинные серии одного класса и обучение колеблется. На валидации метрика от порядка не зависит, а фиксированный порядок удобен для сравнения предсказаний.
- На валидации перемешивание бесполезно.
- На трейне без него обучение хуже.
- Для теста перемешивание не нужно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.