Выбор ответа Senior Регуляризация обновлено
Mixup и CutMix
Вопрос
Что делает mixup?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Смешивает пары объектов и меток с коэффициентом λ: x = λx₁ + (1-λ)x₂. Mixup учит модель вести себя линейно между объектами, это сглаживает границы решений, улучшает обобщение и калибровку.
Варианты ответа
- Перемешивает порядок объектов в эпохе так, чтобы соседние батчи не повторялись
- Смешивает веса двух обученных моделей с коэффициентом λ для лучшего обобщения
- Заменяет часть пикселей шумом без изменения меток, как случайное стирание
- Смешивает пары объектов и меток с коэффициентом λ: x = λx₁ + (1-λ)x₂правильный ответ
Разбор
Mixup учит модель вести себя линейно между объектами, это сглаживает границы решений, улучшает обобщение и калибровку. CutMix вставляет прямоугольник одной картинки в другую, а метки смешивает пропорционально площади. λ обычно сэмплируют из бета-распределения.
- Перемешивание порядка это shuffle.
- Смешивание весов моделей это model soups или усреднение весов.
- Метки в mixup меняются вместе с входами.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.