Карточка Middle RNN и LSTM обновлено
Гейты LSTM
Вопрос
Какие гейты есть в LSTM и что они делают?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Forget gate fₜ решает, что стереть из ячейки; input gate iₜ, что добавить из кандидата c̃ₜ; output gate oₜ, что выдать в hₜ = oₜ⊙tanh(cₜ). Все гейты это сигмоиды от xₜ и hₜ₋₁.
Ответ
Forget gate fₜ решает, что стереть из ячейки; input gate iₜ, что добавить из кандидата c̃ₜ; output gate oₜ, что выдать в hₜ = oₜ⊙tanh(cₜ). Все гейты это сигмоиды от xₜ и hₜ₋₁. Ячейка: cₜ = fₜ⊙cₜ₋₁ + iₜ⊙c̃ₜ.
Разбор
Forget gate fₜ решает, что стереть из ячейки; input gate iₜ, что добавить из кандидата c̃ₜ; output gate oₜ, что выдать в hₜ = oₜ⊙tanh(cₜ). Все гейты это сигмоиды от xₜ и hₜ₋₁. Ячейка: cₜ = fₜ⊙cₜ₋₁ + iₜ⊙c̃ₜ.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.