Зачем нужна нормализация

Без нормализации масштаб активаций дрейфует от слоя к слою и по ходу обучения, из-за чего нужен маленький lr и аккуратная инициализация. Нормализация приводит активации к стандартному масштабу, а обучаемые γ и β возвращают сети гибкость. Обучение ускоряется, можно брать больший lr; есть и лёгкий регуляризующий эффект. BatchNorm нормирует каждый канал по объектам батча; на обучении использует статистики батча, на инференсе накопленные, поэтому критично вызывать model.eval(). Он хорош в CNN с батчем от 16-32, но страдает на маленьких батчах и последовательностях. LayerNorm нормирует признаки каждого объекта и ведёт себя одинаково в обоих режимах, поэтому это стандарт трансформеров, а в современных LLM его облегчённая версия RMSNorm. При маленьком батче в CV помогают GroupNorm или SyncBatchNorm. Исходное объяснение через internal covariate shift сейчас считают неполным: важнее, что нормализация сглаживает ландшафт потерь.