Выбор ответа Junior Градиентный спуск и выпуклость спрашивают часто обновлено
Формула шага градиентного спуска
Вопрос
Как выглядит шаг обычного градиентного спуска с learning rate η?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: w ← w - η·∇L(w). Идём против градиента на долю η от его величины. - Плюс означает подъём по функции потерь (это градиентный подъём, им максимизируют). - Деление на η переворачивает смысл: маленький η давал бы огромный шаг. - Умножение весов на η это не…
Варианты ответа
- w ← w - η·∇L(w)правильный ответ
- w ← w + η·∇L(w)
- w ← w - ∇L(w) / η
- w ← η·w - ∇L(w)
Разбор
Идём против градиента на долю η от его величины.
- Плюс означает подъём по функции потерь (это градиентный подъём, им максимизируют).
- Деление на η переворачивает смысл: маленький η давал бы огромный шаг.
- Умножение весов на η это не спуск, а странное масштабирование.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.