Выбор ответа Junior RNN и LSTM обновлено
Двунаправленная RNN
Вопрос
Когда можно использовать двунаправленную RNN, а когда нельзя?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Когда последовательность известна целиком (разметка, классификация); не для генерации и онлайна. Bi-RNN проходит последовательность в обе стороны и склеивает состояния, каждый токен видит и левый, и правый контекст.
Варианты ответа
- Всегда можно: двунаправленная сеть строго лучше однонаправленной, потому что видит больше контекста в любой задаче
- Только для временных рядов, где прошлое и будущее симметричны
- Только для генерации текста, где модель уточняет токены в обе стороны
- Когда последовательность известна целиком (разметка, классификация); не для генерации и онлайнаправильный ответ
Разбор
Bi-RNN проходит последовательность в обе стороны и склеивает состояния, каждый токен видит и левый, и правый контекст. При генерации или прогнозе в реальном времени правый контекст это будущее, использовать его означает утечку.
- Не всегда допустимо.
- Для прогноза рядов как раз опасно.
- Генерация требует однонаправленности.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.