Выбор ответа Senior Градиентный спуск и выпуклость обновлено
Седловые точки в нейросетях
Вопрос
Что считается основной проблемой оптимизации в пространствах с миллионами параметров?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Седловые точки и плато, а не плохие локальные минимумы. Чтобы точка была локальным минимумом, кривизна должна быть положительной по всем миллионам направлений одновременно, это редкость.
Варианты ответа
- Множество плохих локальных минимумов, из которых нельзя выбраться
- Седловые точки и плато, а не плохие локальные минимумыправильный ответ
- Отсутствие минимума: loss не ограничен снизу
- Слишком быстрая сходимость к первому минимуму
Разбор
Чтобы точка была локальным минимумом, кривизна должна быть положительной по всем миллионам направлений одновременно, это редкость. Гораздо чаще встречаются седла, где по части направлений спуск продолжается, и плато с маленьким градиентом. Стохастический шум SGD и momentum помогают из них выходить, а найденные минимумы у больших сетей обычно близки по качеству.
- Плохие локальные минимумы существуют, но эмпирически не главная беда.
- Loss ограничен снизу (например нулём), минимум есть.
- Слишком быстрая сходимость проблемой не считается.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.