Выбор ответа Junior Как устроены LLM обновлено
Каузальная маска в декодере
Вопрос
Зачем в decoder-only трансформере каузальная маска внимания?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Чтобы токен видел только себя и предыдущие, и следующий токен учился параллельно. Маска обнуляет внимание на будущие позиции.
Варианты ответа
- Чтобы ускорить инференс за счёт пропуска половины слоёв для уже сгенерированных токенов
- Чтобы модель не видела системный промпт и не могла пересказать его пользователю
- Чтобы токен видел только себя и предыдущие, и следующий токен учился параллельноправильный ответ
- Чтобы запретить модели генерировать запрещённые слова, обнуляя их вероятность
Разбор
Маска обнуляет внимание на будущие позиции. На обучении это позволяет за один проход посчитать потерю для каждой позиции, не подглядывая в ответ. Слои она не пропускает. Системный промпт стоит в начале и как раз виден всем. К фильтрации слов маска внимания отношения не имеет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.