Сопоставление Middle RNN и LSTM обновлено
Рекуррентная архитектура и её черта
Вопрос
Сопоставьте архитектуру и её отличительную черту.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Attention впервые появился именно в seq2seq для перевода, чтобы декодер не зависел от одного сжатого вектора. Отсюда шаг к трансформеру, где рекуррентность убрали совсем.
Правильные пары
Простая RNNОдно состояние, tanh, быстро забывает
LSTMЯчейка памяти и три гейта
GRUДва гейта и нет отдельной ячейки
Двунаправленная RNNВидит и левый, и правый контекст
Seq2seq с attentionДекодер на каждом шаге смотрит на все состояния кодировщика
Разбор
Attention впервые появился именно в seq2seq для перевода, чтобы декодер не зависел от одного сжатого вектора. Отсюда шаг к трансформеру, где рекуррентность убрали совсем.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.