Выбор ответа Middle Градиентный спуск и выпуклость спрашивают часто обновлено
Масштаб признаков и спуск
Вопрос
Почему градиентный спуск для линейной регрессии сходится медленнее, если один признак в диапазоне 0..1, а другой 0..100000?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Линии уровня вытянуты: один lr велик для одного направления и мал для другого. Гессиан MSE пропорционален XᵀX, при разных масштабах у него очень разные собственные значения, и число обусловленности огромно.
Варианты ответа
- Линии уровня вытянуты: один lr велик для одного направления и мал для другогоправильный ответ
- Большие значения признака дают переполнение float32 при подсчёте градиента
- Модель становится невыпуклой, и спуск застревает в локальных минимумах
- Градиент по маленькому признаку равен нулю, и его вес не обучается
Разбор
Гессиан MSE пропорционален XᵀX, при разных масштабах у него очень разные собственные значения, и число обусловленности огромно. Шаг, устойчивый вдоль крутого направления, крошечный вдоль пологого, и спуск идёт зигзагом. Стандартизация признаков делает линии уровня ближе к окружностям.
- Переполнения при таких числах нет.
- Линейное масштабирование признаков не ломает выпуклость.
- Градиент по маленькому признаку не нулевой, он просто масштабирован иначе.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.