Карточка Middle Инициализация и нормализация обновлено
RMSNorm
Вопрос
Что такое RMSNorm?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Нормализация y = x / √(mean(x²) + ε) · γ: как LayerNorm, но без вычитания среднего и без сдвига β. Дешевле и на практике не хуже, стандарт во многих современных LLM.
Ответ
Нормализация y = x / √(mean(x²) + ε) · γ: как LayerNorm, но без вычитания среднего и без сдвига β. Дешевле и на практике не хуже, стандарт во многих современных LLM.
Разбор
Нормализация y = x / √(mean(x²) + ε) · γ: как LayerNorm, но без вычитания среднего и без сдвига β. Дешевле и на практике не хуже, стандарт во многих современных LLM.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.