Выбор ответа Junior Оптимизаторы и обучение спрашивают часто обновлено
Оптимизатор по умолчанию
Вопрос
Какой оптимизатор чаще всего берут по умолчанию для обучения трансформера?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: AdamW с warmup и затуханием learning rate. AdamW стал стандартом для трансформеров: адаптивные шаги, отделённый weight decay, плюс warmup первые сотни или тысячи шагов и косинусное или линейное затухание. - Голый SGD на трансформерах учится плохо. - Метод Ньютона не масштабируется…
Варианты ответа
- AdamW с warmup и затуханием learning rateправильный ответ
- Обычный SGD без momentum с постоянным lr
- Метод Ньютона с аппроксимацией гессиана L-BFGS
- Adagrad без расписания и без weight decay
Разбор
AdamW стал стандартом для трансформеров: адаптивные шаги, отделённый weight decay, плюс warmup первые сотни или тысячи шагов и косинусное или линейное затухание.
- Голый SGD на трансформерах учится плохо.
- Метод Ньютона не масштабируется на миллионы параметров.
- Adagrad слишком быстро гасит lr на длинном обучении.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.