RNN, LSTM и их ограничения

Рекуррентная сеть обрабатывает последовательность по шагам: состояние hₜ вычисляется из текущего входа и прошлого состояния с одними и теми же весами, так что длина последовательности может быть любой. Обучают её обратным распространением во времени, и тут проблема: градиент от далёкого шага проходит через произведение многих якобианов и затухает или взрывается, поэтому простая RNN плохо держит зависимости на десятки шагов. Взрыв лечат клиппингом, а затухание LSTM: у неё есть ячейка памяти, которая обновляется аддитивно через forget и input gate, и при forget около 1 информация и градиент проходят почти без потерь. GRU делает то же проще. Но рекуррентность остаётся последовательной: на обучении нельзя распараллелить по времени, а вся история сжимается в вектор фиксированного размера. Трансформер обрабатывает все позиции параллельно и через attention напрямую связывает любые токены, поэтому масштабируется на огромные данные. LSTM всё ещё уместны в лёгких моделях на устройствах и в потоковых задачах, а идеи рекуррентности вернулись в моделях пространства состояний вроде Mamba.