Карточка Junior Оптимизаторы и обучение обновлено
Gradient accumulation
Вопрос
Что такое накопление градиентов?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Несколько forward и backward на мини-батчах без optimizer.step(): градиенты суммируются в .grad. Loss делят на число шагов накопления, затем один шаг оптимизатора и обнуление.
Ответ
Несколько forward и backward на мини-батчах без optimizer.step(): градиенты суммируются в .grad. Loss делят на число шагов накопления, затем один шаг оптимизатора и обнуление. Эмулирует большой батч при ограниченной памяти.
Разбор
Несколько forward и backward на мини-батчах без optimizer.step(): градиенты суммируются в .grad. Loss делят на число шагов накопления, затем один шаг оптимизатора и обнуление. Эмулирует большой батч при ограниченной памяти.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.