Autograd
Вопрос
Как работает autograd в PyTorch?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Операции над тензорами с requires_grad=True записываются в динамический граф. loss.backward() проходит его в обратном порядке и складывает градиенты в .grad листовых тензоров (параметров). Граф строится заново на каждом forward и после backward освобождается.
Разбор
Операции над тензорами с requires_grad=True записываются в динамический граф. loss.backward() проходит его в обратном порядке и складывает градиенты в .grad листовых тензоров (параметров). Граф строится заново на каждом forward и после backward освобождается.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.