Backprop
Вопрос
Что такое обратное распространение ошибки?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Алгоритм вычисления градиента функции потерь по всем параметрам: прямой проход сохраняет активации, обратный идёт от loss к входу и применяет цепное правило слой за слоем. Для слоя y = Wx: ∂L/∂W = δ·xᵀ, ∂L/∂x = Wᵀδ. Стоимость сопоставима с прямым проходом.
Разбор
Алгоритм вычисления градиента функции потерь по всем параметрам: прямой проход сохраняет активации, обратный идёт от loss к входу и применяет цепное правило слой за слоем. Для слоя y = Wx: ∂L/∂W = δ·xᵀ, ∂L/∂x = Wᵀδ. Стоимость сопоставима с прямым проходом.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.