Карточка Middle Оптимизаторы и обучение обновлено
AdamW
Вопрос
Чем AdamW отличается от Adam?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Weight decay применяется к весам напрямую (w ← w - ηλw), отдельно от адаптивного шага, а не добавляется в градиент как L2. В Adam с L2 регуляризация делится на √v и для параметров с большими градиентами почти пропадает.
Ответ
Weight decay применяется к весам напрямую (w ← w - ηλw), отдельно от адаптивного шага, а не добавляется в градиент как L2. В Adam с L2 регуляризация делится на √v и для параметров с большими градиентами почти пропадает.
Разбор
Weight decay применяется к весам напрямую (w ← w - ηλw), отдельно от адаптивного шага, а не добавляется в градиент как L2. В Adam с L2 регуляризация делится на √v и для параметров с большими градиентами почти пропадает.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.