Выбор ответа Middle Регуляризация обновлено
Аугментации на валидации
Вопрос
Можно ли применять случайные аугментации (повороты, кропы, цветовые искажения) к валидационной выборке при подсчёте метрики?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Нет: валидация детерминирована и похожа на прод; допустимы resize, center crop, нормализация. Случайные аугментации делают метрику шумной и смещённой: модель оценивается на искажённых данных, которых в проде нет.
Варианты ответа
- Да: это увеличит валидационную выборку и сделает оценку качества устойчивее к шуму
- Да, но только повороты: они не меняют распределение пикселей, в отличие от цвета
- Обязательно: без аугментаций модель видит на валидации знакомые данные, и метрика завышена
- Нет: валидация детерминирована и похожа на прод; допустимы resize, center crop, нормализацияправильный ответ
Разбор
Случайные аугментации делают метрику шумной и смещённой: модель оценивается на искажённых данных, которых в проде нет. Test-time augmentation (усреднение по нескольким фиксированным аугментациям) это отдельный приём для инференса, и его тоже фиксируют.
- Это не увеличивает информацию о качестве, а добавляет шум.
- Повороты ничем не лучше других случайных искажений.
- Метрика без аугментаций честнее, а не завышена.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.