Learning rate
Вопрос
Что такое learning rate и как он влияет на обучение?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Множитель шага градиентного спуска. Слишком большой: loss скачет и расходится. Слишком маленький: обучение медленное и может застревать на плато. Обычно его подбирают по сетке в логарифмической шкале и меняют расписанием (warmup, косинусное затухание).
Разбор
Множитель шага градиентного спуска. Слишком большой: loss скачет и расходится. Слишком маленький: обучение медленное и может застревать на плато. Обычно его подбирают по сетке в логарифмической шкале и меняют расписанием (warmup, косинусное затухание).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.