Выбор ответа Senior Оптимизаторы и обучение обновлено
Weight decay и группы параметров
Вопрос
Почему в трансформерах weight decay часто не применяют к смещениям, LayerNorm и эмбеддингам позиций?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Они задают масштаб и сдвиг, стягивание их к нулю не регуляризует, а мешает; weightdecay = 0. Weight decay ограничивает норму весов матриц. γ у LayerNorm по смыслу должна быть около 1, а смещения не влияют на «сложность» функции.
Варианты ответа
- Потому что у этих параметров нет градиентов, и decay к ним просто не применяется
- Они задают масштаб и сдвиг, стягивание их к нулю не регуляризует, а мешает; weight_decay = 0правильный ответ
- Потому что AdamW не поддерживает такие параметры и падает с ошибкой при их передаче
- Потому что они слишком большие по объёму, и decay на них заметно замедляет каждый шаг оптимизатора
Разбор
Weight decay ограничивает норму весов матриц. γ у LayerNorm по смыслу должна быть около 1, а смещения не влияют на «сложность» функции. Поэтому параметры делят на группы: матрицы с decay, остальное без. Это частый вопрос про детали обучения LLM.
- Градиенты у них есть.
- AdamW поддерживает группы параметров с разными настройками.
- Размер тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.