Выбор ответа Middle RNN и LSTM спрашивают часто обновлено
Затухание в RNN
Вопрос
Почему простая RNN плохо запоминает зависимости на 100 шагов назад?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: При BPTT градиент 100 раз умножается на Wh и производную tanh и затухает или взрывается. BPTT разворачивает сеть во времени, и градиент от шага t к шагу t - k содержит произведение k якобианов.
Варианты ответа
- У простой RNN мало параметров, и их не хватает на 100 шагов памяти
- При BPTT градиент 100 раз умножается на W_h и производную tanh и затухает или взрываетсяправильный ответ
- tanh не дифференцируема на больших входах, и градиент обрывается после пары десятков шагов
- RNN обрабатывает последовательность параллельно, и далёкие шаги не влияют на текущий
Разбор
BPTT разворачивает сеть во времени, и градиент от шага t к шагу t - k содержит произведение k якобианов. Если спектральная норма меньше 1, сигнал экспоненциально затухает, если больше, взрывается (лечат клиппингом). LSTM и GRU добавляют аддитивный путь для памяти.
- Параметры есть.
- tanh гладкая.
- RNN как раз последовательна, это отдельный её минус.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.