Карточка Middle SGD, momentum и Adam обновлено
RMSProp
Вопрос
Что делает RMSProp?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Держит скользящее среднее квадратов градиента v ← βv + (1-β)g² и делит шаг на √v + ε. Параметры с большими градиентами получают меньший шаг, с маленькими больший.
Ответ
Держит скользящее среднее квадратов градиента v ← βv + (1-β)g² и делит шаг на √v + ε. Параметры с большими градиентами получают меньший шаг, с маленькими больший. Adam = RMSProp + momentum + поправка смещения.
Разбор
Держит скользящее среднее квадратов градиента v ← βv + (1-β)g² и делит шаг на √v + ε. Параметры с большими градиентами получают меньший шаг, с маленькими больший. Adam = RMSProp + momentum + поправка смещения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.