Выбор ответа Junior Цепное правило и autodiff обновлено
Градиент через сумму
Вопрос
В вычислительном графе z = x + y, сверху пришёл градиент ∂L/∂z = 5. Какие градиенты получат x и y?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Оба по 5: узел сложения копирует градиент. ∂z/∂x = ∂z/∂y = 1, по цепному правилу каждый получает 5·1 = 5.
Варианты ответа
- Оба по 5: узел сложения копирует градиентправильный ответ
- По 2.5: градиент делится поровну между входами
- x получит 5, y получит 0: градиент идёт в первый вход
- Зависит от значений x и y: пропорционально их величине
Разбор
∂z/∂x = ∂z/∂y = 1, по цепному правилу каждый получает 5·1 = 5. Узел сложения раздаёт градиент без изменений, поэтому через residual-соединения градиент проходит свободно.
- Делить поровну нет причин: производная по каждому слагаемому равна 1.
- Обнулять одну ветку будет узел max, а не сумма.
- Значения входов влияют на градиент в узле умножения, а не сложения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.