Выбор ответа Junior Оптимизаторы и обучение обновлено
Warmup и косинус
Вопрос
Как выглядит популярное расписание learning rate «warmup + cosine»?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Линейный рост от 0 до пикового lr за N шагов, затем косинусное убывание к малому значению. Warmup даёт стабилизироваться статистикам Adam и модели, косинус плавно снижает шаг, чтобы осесть в хорошей области.
Варианты ответа
- Линейный рост от 0 до пикового lr за N шагов, затем косинусное убывание к малому значениюправильный ответ
- Постоянный lr на всё обучение, а на последних 10% шагов резкое падение до нуля
- Случайный lr на каждом шаге из косинусного распределения вокруг пикового значения
- Косинусные колебания lr вокруг пикового значения на протяжении всего обучения с warmup
Разбор
Warmup даёт стабилизироваться статистикам Adam и модели, косинус плавно снижает шаг, чтобы осесть в хорошей области. Расписание привязано к общему числу шагов, его задают заранее.
- Ступенчатое расписание бывает, но это не косинус.
- Случайного lr никто не использует.
- Колебания с перезапусками (SGDR) отдельный вариант, а не классический «warmup + cosine».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Ревью: шаг обучения с клиппингом и AMP
Следующий вопрос
Weight decay и группы параметров