Выбор ответа Senior Градиентный спуск и выпуклость обновлено
Безопасный learning rate
Вопрос
Функция выпукла, а её градиент липшицев с константой L (кривизна не больше L). При каком шаге η градиентный спуск гарантированно уменьшает функцию?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: η ≤ 1/L (сходится при η < 2/L). Для L-гладкой функции f(w - η∇f) ≤ f(w) - η(1 - Lη/2)∇f², и при η < 2/L значение убывает, классический выбор η = 1/L.
Варианты ответа
- η ≥ L: чем круче функция, тем больше шаг
- η = L², с запасом по кривизне функции
- При любом η > 0, раз функция выпукла
- η ≤ 1/L (сходится при η < 2/L)правильный ответ
Разбор
Для L-гладкой функции f(w - η∇f) ≤ f(w) - η(1 - Lη/2)|∇f|², и при η < 2/L значение убывает, классический выбор η = 1/L. Для квадратичной функции L равно наибольшему собственному значению гессиана. Интуиция: чем круче кривизна, тем меньше безопасный шаг.
- Шаг порядка L и больше как раз перелетает минимум.
- L² не имеет смысла по размерности.
- При слишком большом η спуск расходится даже на параболе.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.