Выбор ответа Junior SGD, momentum и Adam спрашивают часто обновлено
Что даёт momentum
Вопрос
Что делает momentum в SGD?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Копит экспоненциальное среднее градиентов: ускоряет вдоль стабильного направления. v ← βv + g, w ← w - ηv.
Варианты ответа
- Подбирает свой learning rate для каждого параметра по истории его градиентов на шагах
- Случайно перемешивает данные между эпохами, чтобы градиент не застревал
- Копит экспоненциальное среднее градиентов: ускоряет вдоль стабильного направленияправильный ответ
- Обнуляет маленькие градиенты, чтобы шум не сбивал направление движения
Разбор
v ← βv + g, w ← w - ηv. Если градиент стабильно указывает в одну сторону, скорость растёт до ~1/(1-β) от одного шага. Если знак скачет (зигзаг в овраге), вклады взаимно гасятся.
- Свой lr для каждого параметра дают AdaGrad, RMSProp и Adam.
- Перемешивание данных к оптимизатору не относится.
- Обнуление маленьких градиентов ничего общего с momentum не имеет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.