Обратное распространение ошибки: что это
Коротко
Обратное распространение ошибки: алгоритм вычисления градиента функции потерь по всем параметрам: прямой проход сохраняет активации, обратный идёт от loss к входу и применяет цепное правило слой за слоем. Для слоя y = Wx: ∂L/∂W = δ·xᵀ, ∂L/∂x = Wᵀδ.
Определение
Алгоритм вычисления градиента функции потерь по всем параметрам: прямой проход сохраняет активации, обратный идёт от loss к входу и применяет цепное правило слой за слоем. Для слоя y = Wx: ∂L/∂W = δ·xᵀ, ∂L/∂x = Wᵀδ. Стоимость сопоставима с прямым проходом.
Вопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Глубокое обучение проверят, что термин понятен в деле.