Выбор ответа Middle RNN и LSTM спрашивают часто обновлено
Почему трансформеры вытеснили RNN
Вопрос
Почему трансформеры вытеснили RNN в обработке текста?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Параллельная обработка позиций на обучении и прямой доступ attention к любому токену. RNN должна пройти последовательность шаг за шагом, это плохо параллелится на GPU, а информация о далёких токенах проходит через много сжатий.
Варианты ответа
- RNN не умеют обрабатывать текст с переменной длиной без фиксированного паддинга
- Параллельная обработка позиций на обучении и прямой доступ attention к любому токенуправильный ответ
- Трансформеры не требуют больших данных для обучения благодаря встроенным предположениям
- У трансформеров меньше параметров при том же качестве, поэтому они дешевле
Разбор
RNN должна пройти последовательность шаг за шагом, это плохо параллелится на GPU, а информация о далёких токенах проходит через много сжатий. Self-attention связывает любые позиции за один слой и обучается параллельно. Цена: квадратичная по длине сложность attention. Интерес к рекуррентности вернулся в моделях пространства состояний (Mamba) и линейном attention.
- RNN обрабатывали текст годами.
- Трансформерам нужно много данных.
- Параметров у них обычно больше.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.