Выбор ответа Junior Инициализация и нормализация спрашивают часто обновлено
Что делает BatchNorm
Вопрос
Что делает BatchNorm во время обучения?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Нормирует каждый признак по статистикам текущего батча, затем масштаб γ и сдвиг β. x̂ = (x - μB) / √(σ²B + ε), y = γx̂ + β.
Варианты ответа
- Нормирует каждый объект по его собственным признакам и затем применяет обучаемые γ и β
- Делит веса слоя на их норму, отделяя направление от масштаба
- Нормирует каждый признак по статистикам текущего батча, затем масштаб γ и сдвиг βправильный ответ
- Удаляет выбросы из батча, отсекая значения дальше трёх сигм от среднего
Разбор
x̂ = (x - μ_B) / √(σ²_B + ε), y = γx̂ + β. Параллельно копятся скользящие средние μ и σ², которые используются на инференсе (model.eval()). Ускоряет и стабилизирует обучение, позволяет больший lr.
- Нормировка по признакам одного объекта это LayerNorm.
- Нормировка весов это weight normalization.
- Выбросы BatchNorm не удаляет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.