Выбор ответа Senior SGD, momentum и Adam обновлено
Батч и learning rate
Вопрос
Батч увеличили с 256 до 1024 на тех же данных и той же эпохе. Что обычно делают с learning rate для SGD?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Увеличивают примерно в 4 раза (линейное правило) и добавляют warmup. Шагов за эпоху стало в 4 раза меньше, а шум градиента меньше.
Варианты ответа
- Увеличивают примерно в 4 раза (линейное правило) и добавляют warmupправильный ответ
- Уменьшают в 4 раза, потому что градиент по большому батчу точнее
- Оставляют прежним: размер батча не влияет на величину шага
- Увеличивают в 16 раз, пропорционально квадрату размера батча
Разбор
Шагов за эпоху стало в 4 раза меньше, а шум градиента меньше. Линейное правило масштабирования (lr ∝ размер батча) с warmup хорошо работает для SGD до умеренно больших батчей. Для Adam часто растят мягче, например как корень. Это эвристики, их проверяют.
- Уменьшение lr при большем батче ещё сильнее замедлит обучение на эпоху.
- Число шагов меняется, поэтому оставить lr как есть значит учиться медленнее.
- Квадратичное правило не используется.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.