Карточка Middle RNN и LSTM обновлено
BPTT
Вопрос
Что такое backpropagation through time?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Обратное распространение по развёрнутой во времени RNN: градиенты от всех шагов суммируются в общие веса. На длинных последовательностях используют truncated BPTT: разворачивают только последние k шагов.
Ответ
Обратное распространение по развёрнутой во времени RNN: градиенты от всех шагов суммируются в общие веса. На длинных последовательностях используют truncated BPTT: разворачивают только последние k шагов.
Разбор
Обратное распространение по развёрнутой во времени RNN: градиенты от всех шагов суммируются в общие веса. На длинных последовательностях используют truncated BPTT: разворачивают только последние k шагов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.