Выбор ответа Middle Нейрон и backprop обновлено
Градиент по весам слоя
Вопрос
Слой y = Wx (без смещения), пришёл градиент ∂L/∂y. Чему равен ∂L/∂W для одного объекта?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Внешнему произведению (∂L/∂y)·xᵀ. Каждый вес Wᵢⱼ влияет на yᵢ с коэффициентом xⱼ, поэтому ∂L/∂Wᵢⱼ = (∂L/∂yᵢ)·xⱼ, это матрица того же размера, что W.
Варианты ответа
- Произведению Wᵀ·(∂L/∂y)
- Самому x
- Скалярному произведению ∂L/∂y и x
- Внешнему произведению (∂L/∂y)·xᵀправильный ответ
Разбор
Каждый вес Wᵢⱼ влияет на yᵢ с коэффициентом xⱼ, поэтому ∂L/∂Wᵢⱼ = (∂L/∂yᵢ)·xⱼ, это матрица того же размера, что W. Для батча суммируют по объектам: Gᵀ·X. Поэтому для backward нужно хранить вход слоя.
- Wᵀ·∂L/∂y это градиент по входу x, его передают в предыдущий слой.
- x без градиента сверху ничего не говорит о потере.
- Скалярное произведение даёт число, а нужна матрица.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.