Выбор ответа Senior Градиентный спуск и выпуклость обновлено
Метод Ньютона
Вопрос
Почему метод Ньютона (шаг w ← w - H⁻¹∇L) почти не используют для обучения нейросетей?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Гессиан n×n для миллионов параметров не хранится и не обращается, а шаг может вести к седлу. Для модели с n = 10⁸ параметров гессиан содержит 10¹⁶ чисел, а обращение стоит O(n³).
Варианты ответа
- Метод Ньютона сходится медленнее градиентного спуска, особенно вблизи минимума функции потерь
- Метод Ньютона не работает для гладких функций, ему нужны кусочно-линейные
- Гессиан n×n для миллионов параметров не хранится и не обращается, а шаг может вести к седлуправильный ответ
- Для метода Ньютона нужен в разы больший learning rate, и обучение расходится
Разбор
Для модели с n = 10⁸ параметров гессиан содержит 10¹⁶ чисел, а обращение стоит O(n³). Кроме того, у невыпуклой функции гессиан не положительно определён, и шаг Ньютона притягивается к седлам. Используют приближения: L-BFGS для небольших моделей, диагональные масштабирования вроде Adam, K-FAC и Shampoo.
- Около минимума Ньютон сходится квадратично, быстрее спуска.
- Он как раз создан для гладких функций.
- В чистом методе Ньютона lr вообще равен 1.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.