Накопление градиентов: что это
Коротко
Накопление градиентов: несколько forward и backward на мини-батчах без optimizer.step(): градиенты суммируются в .grad. Loss делят на число шагов накопления, затем один шаг оптимизатора и обнуление.
Определение
Несколько forward и backward на мини-батчах без optimizer.step(): градиенты суммируются в .grad. Loss делят на число шагов накопления, затем один шаг оптимизатора и обнуление. Эмулирует большой батч при ограниченной памяти.
Вопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Глубокое обучение проверят, что термин понятен в деле.