Learning rate: что это
Коротко
Learning rate: множитель шага градиентного спуска. Слишком большой: loss скачет и расходится.
Определение
Множитель шага градиентного спуска. Слишком большой: loss скачет и расходится. Слишком маленький: обучение медленное и может застревать на плато. Обычно его подбирают по сетке в логарифмической шкале и меняют расписанием (warmup, косинусное затухание).
Из урока «Градиентный спуск и выпуклость за 6 минут»
Формула шага, что делает learning rate, как понять по графику, что он плохой.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Математика для ML проверят, что термин понятен в деле.