Выбор ответа Junior Attention и трансформеры спрашивают часто обновлено
Причинная маска
Вопрос
Зачем в декодере (GPT-подобной модели) нужна причинная (causal) маска?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы токен не видел будущие токены при обучении и не подсмотрел ответ. Модель учится предсказывать следующий токен по всем позициям одновременно.
Варианты ответа
- Чтобы игнорировать паддинг в конце коротких последовательностей батча
- Чтобы ускорить вычисление softmax вдвое за счёт нулевой половины матрицы
- Чтобы токен не видел будущие токены при обучении и не подсмотрел ответправильный ответ
- Чтобы attention смотрел только на соседние токены в окне фиксированной ширины
Разбор
Модель учится предсказывать следующий токен по всем позициям одновременно. Без маски позиция t видела бы токен t + 1, задача стала бы тривиальной, а на генерации будущего нет. Маска ставит -∞ в логиты над диагональю.
- Паддинг закрывает отдельная маска.
- Скорость маска не даёт.
- Локальное окно это другой вид attention.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.