Выбор ответа Senior RNN и LSTM обновлено
Teacher forcing
Вопрос
Что такое teacher forcing при обучении seq2seq и какая с ним проблема?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: На вход шага декодера подают истинный прошлый токен; на инференсе модель видит свои ошибки (exposure bias). Teacher forcing ускоряет и стабилизирует обучение и позволяет считать все шаги параллельно (в трансформере это причинная маска).
Варианты ответа
- Учитель-модель генерирует метки для ученика, и ученик повторяет её ошибки на инференсе
- Обучение только на коротких последовательностях, из-за чего модель потом не обобщается на длинные тексты при генерации
- На вход шага декодера подают истинный прошлый токен; на инференсе модель видит свои ошибки (exposure bias)правильный ответ
- Принудительное обнуление скрытого состояния на каждом шаге, из-за чего теряется контекст
Разбор
Teacher forcing ускоряет и стабилизирует обучение и позволяет считать все шаги параллельно (в трансформере это причинная маска). Но на генерации ошибка на раннем шаге уводит модель в незнакомые состояния. Смягчают scheduled sampling, обучением на своих генерациях и RL-дообучением.
- Учитель-ученик это дистилляция.
- Длина последовательностей тут ни при чём.
- Состояние не обнуляется.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.