Выбор ответа Middle SGD, momentum и Adam спрашивают часто обновлено
Как устроен Adam
Вопрос
Что из перечисленного верно описывает Adam?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Momentum по первому моменту плюс деление на корень из среднего квадрата градиента. m ← β₁m + (1-β₁)g, v ← β₂v + (1-β₂)g², шаг w ← w - η·m̂ / (√v̂ + ε). m сглаживает направление, v нормирует шаг каждого параметра по типичной величине его градиента.
Варианты ответа
- SGD с убывающим по формуле 1/t learning rate и поправкой на смещение
- Метод второго порядка, использующий полный гессиан и его скользящее среднее по шагам
- SGD, который выбирает размер батча адаптивно по дисперсии градиента
- Momentum по первому моменту плюс деление на корень из среднего квадрата градиентаправильный ответ
Разбор
m ← β₁m + (1-β₁)g, v ← β₂v + (1-β₂)g², шаг w ← w - η·m̂ / (√v̂ + ε). m сглаживает направление, v нормирует шаг каждого параметра по типичной величине его градиента. Типичные значения β₁ = 0.9, β₂ = 0.999.
- Расписания lr могут сочетаться с Adam, но это не его суть.
- Гессиан Adam не считает, v это лишь диагональное приближение масштаба.
- Батч Adam не меняет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.