Карточка Middle SGD, momentum и Adam обновлено
Формулы Adam
Вопрос
Запишите шаг Adam.
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
m ← β₁m + (1-β₁)g; v ← β₂v + (1-β₂)g²; m̂ = m/(1-β₁ᵗ); v̂ = v/(1-β₂ᵗ); w ← w - η·m̂/(√v̂ + ε). По умолчанию β₁ = 0.9, β₂ = 0.999, ε = 1e-8.
Ответ
m ← β₁m + (1-β₁)g; v ← β₂v + (1-β₂)g²; m̂ = m/(1-β₁ᵗ); v̂ = v/(1-β₂ᵗ); w ← w - η·m̂/(√v̂ + ε). По умолчанию β₁ = 0.9, β₂ = 0.999, ε = 1e-8.
Разбор
m ← β₁m + (1-β₁)g; v ← β₂v + (1-β₂)g²; m̂ = m/(1-β₁ᵗ); v̂ = v/(1-β₂ᵗ); w ← w - η·m̂/(√v̂ + ε). По умолчанию β₁ = 0.9, β₂ = 0.999, ε = 1e-8.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.