Пропуски Middle SGD, momentum и Adam обновлено
Два шага с momentum
Вопрос
Momentum: v ← 0.9·v + g, w ← w - 0.1·v. Старт w = 0, v = 0. Градиент на обоих шагах g = 1. После первого шага w = (1), после второго v = (2) и w = (3).
Попробуйте сами
Заполните пропуски по номерам.
1
2
3
Показать ответ и разбор
Коротко
Шаг 1: v = 1, w = -0.1. Шаг 2: v = 0.9 + 1 = 1.9, w = -0.1 - 0.19 = -0.29.
Что в пропусках
1
-0.1 или -0,1
2
1.9 или 1,9
3
-0.29 или -0,29
Разбор
Шаг 1: v = 1, w = -0.1. Шаг 2: v = 0.9 + 1 = 1.9, w = -0.1 - 0.19 = -0.29. Скорость растёт, пока градиент стабилен, предел 1/(1 - 0.9) = 10 градиентов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.