Карточка Middle Цепное правило и autodiff обновлено
Локальный градиент
Вопрос
Что такое локальный градиент узла в backprop?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Производная выхода узла по его входам, вычисленная на значениях прямого прохода. В backward узел умножает пришедший сверху градиент на свой локальный и передаёт вниз.
Ответ
Производная выхода узла по его входам, вычисленная на значениях прямого прохода. В backward узел умножает пришедший сверху градиент на свой локальный и передаёт вниз. Каждому узлу нужно знать только свою операцию.
Разбор
Производная выхода узла по его входам, вычисленная на значениях прямого прохода. В backward узел умножает пришедший сверху градиент на свой локальный и передаёт вниз. Каждому узлу нужно знать только свою операцию.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.