Выбор ответа Senior SGD, momentum и Adam обновлено
Adam против AdamW
Вопрос
Чем AdamW отличается от Adam с L2-регуляризацией в функции потерь?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: В AdamW weight decay применяется к весам напрямую, отдельно от деления на √v. В Adam с L2 слагаемое λw попадает в градиент и затем делится на √v: у параметров с большими градиентами регуляризация почти исчезает.
Варианты ответа
- AdamW не использует momentum, а нормирует шаг только по корню из второго момента √v
- В AdamW weight decay применяется к весам напрямую, отдельно от деления на √vправильный ответ
- AdamW использует диагональ гессиана вместо второго момента
- Ничем: это одно и то же, AdamW просто имя реализации в PyTorch
Разбор
В Adam с L2 слагаемое λw попадает в градиент и затем делится на √v: у параметров с большими градиентами регуляризация почти исчезает. AdamW (decoupled weight decay) делает отдельно w ← w - ηλw, и затухание одинаково для всех. Для SGD эти варианты эквивалентны с точностью до масштаба λ, для Adam нет. AdamW стандарт для трансформеров.
- Momentum в AdamW такой же, как в Adam.
- Второго порядка там нет.
- Разница именно в том, проходит ли затухание через адаптивную нормировку.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.