Выбор ответа Junior RNN и LSTM обновлено
Шаг простой RNN
Вопрос
Как обновляется скрытое состояние простой (ванильной) RNN?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: hₜ = tanh(Wx·xₜ + Wh·hₜ₋₁ + b), одни и те же веса на всех шагах. Состояние несёт информацию о прошлом, а веса разделены по времени: сеть применима к последовательностям любой длины. - Без hₜ₋₁ это обычный слой, памяти нет. - Накопление входов без нелинейности и без обучаемого перехода состояния ничего…
Варианты ответа
- hₜ = tanh(W_x·xₜ + W_h·hₜ₋₁ + b), одни и те же веса на всех шагахправильный ответ
- hₜ = tanh(W·xₜ + b), без зависимости от прошлых шагов
- hₜ = hₜ₋₁ + W·xₜ, состояние просто накапливает входы
- hₜ = tanh(W_t·xₜ + W_h·hₜ₋₁), у каждого шага t свои отдельные веса W_t
Разбор
Состояние несёт информацию о прошлом, а веса разделены по времени: сеть применима к последовательностям любой длины.
- Без hₜ₋₁ это обычный слой, памяти нет.
- Накопление входов без нелинейности и без обучаемого перехода состояния ничего сложного не выучит.
- Отдельные веса на каждый шаг не дали бы обрабатывать произвольную длину.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.