RMSNorm: что это
Коротко
RMSNorm: нормализация y = x / √(mean(x²) + ε) · γ: как LayerNorm, но без вычитания среднего и без сдвига β. Дешевле и на практике не хуже, стандарт во многих современных LLM.
Определение
Нормализация y = x / √(mean(x²) + ε) · γ: как LayerNorm, но без вычитания среднего и без сдвига β. Дешевле и на практике не хуже, стандарт во многих современных LLM.
Из урока «Инициализация, нормализация и residual за 7 минут»
RMSNorm делит на корень из среднего квадрата без вычитания среднего и без β.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Глубокое обучение проверят, что термин понятен в деле.