Выбор ответа Junior Градиентный спуск и выпуклость обновлено
Выпуклость и локальный минимум
Вопрос
Чем хороши выпуклые функции потерь для оптимизации?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Любой локальный минимум является глобальным. Для выпуклой функции отрезок между точками графика лежит не ниже графика, поэтому «застрять» в плохом локальном минимуме невозможно.
Варианты ответа
- У них всегда ровно один минимум
- Градиентный спуск на них сходится за один шаг
- Любой локальный минимум является глобальнымправильный ответ
- Их можно оптимизировать без градиента
Разбор
Для выпуклой функции отрезок между точками графика лежит не ниже графика, поэтому «застрять» в плохом локальном минимуме невозможно. Выпуклы MSE линейной регрессии, log loss логистической, hinge loss SVM.
- Минимум может быть не единственным (плато), единственность даёт строгая выпуклость.
- Число шагов зависит от обусловленности и lr.
- Градиент по-прежнему полезен, просто есть гарантии.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.