Расписания learning rate

Adam адаптирует шаг между параметрами, но общий масштаб по-прежнему задаёт lr, и он важен. В начале нужен warmup: несколько сотен или тысяч шагов линейного роста, чтобы модель и статистики оптимизатора стабилизировались. Затем lr уменьшают: ступенчато в разы на определённых эпохах, косинусом до малого значения или линейно до нуля. Большой шаг быстро идёт к хорошей области, маленький в конце позволяет осесть точнее, без шума. Есть one-cycle: подъём и затем спад за один цикл, и косинус с перезапусками. Важно, что расписание привязано к запланированному числу шагов: если обучение удлинили, расписание надо пересчитать. При дообучении с чекпоинта обычно берут lr заметно меньше исходного и короткий warmup.