Сопоставление Middle Цепное правило и autodiff обновлено
Узел графа и его backward
Вопрос
Сопоставьте операцию в вычислительном графе и то, как она передаёт градиент назад.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Эти пять правил покрывают почти любой ручной backprop на собесе. Узел max и ReLU маршрутизируют градиент, сумма раздаёт, умножение меняет множители местами, разветвление суммирует.
Правильные пары
z = x + yКопирует градиент на оба входа
z = x·yУмножает градиент на значение другого входа
z = max(x, y)Передаёт градиент только большему входу
z = ReLU(x)Пропускает градиент при x > 0, иначе ноль
x используется в двух местахГрадиенты от обоих мест складываются
Разбор
Эти пять правил покрывают почти любой ручной backprop на собесе. Узел max и ReLU маршрутизируют градиент, сумма раздаёт, умножение меняет множители местами, разветвление суммирует.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.