Выбор ответа Middle RNN и LSTM обновлено
Почему LSTM помнит дольше
Вопрос
Что в LSTM позволяет градиенту проходить через много шагов?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ячейка обновляется аддитивно: cₜ = fₜ⊙cₜ₋₁ + iₜ⊙c̃ₜ; при fₜ около 1 градиент не затухает. В простой RNN состояние каждый шаг проходит через матрицу и tanh.
Варианты ответа
- LSTM не использует нелинейности на пути состояния, поэтому градиент не насыщается
- LSTM обрабатывает всю последовательность за один шаг, без разворачивания во времени
- Ячейка обновляется аддитивно: cₜ = fₜ⊙cₜ₋₁ + iₜ⊙c̃ₜ; при fₜ около 1 градиент не затухаетправильный ответ
- LSTM хранит все прошлые входы явно в ячейке памяти и читает их через output gate
Разбор
В простой RNN состояние каждый шаг проходит через матрицу и tanh. В LSTM путь по ячейке cₜ это поэлементное умножение на forget gate и сложение, градиент ∂cₜ/∂cₜ₋₁ = fₜ. Гейты (forget, input, output) учатся решать, что хранить, добавлять и выдавать. Смещение forget gate часто инициализируют положительным.
- Сигмоиды гейтов и tanh в LSTM есть.
- Обработка всё равно пошаговая.
- Прошлые входы явно не хранятся, только сжатое состояние.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.