По порядку Middle Attention и трансформеры обновлено
Прямой проход decoder-only модели
Вопрос
Расставьте шаги прямого прохода GPT-подобной модели для предсказания следующего токена.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Токенизировать текст в id
- 2Финальная нормализация
- 3Взять эмбеддинги токенов (позиции добавятся через RoPE в attention)
- 4Линейная проекция в логиты словаря
- 5Softmax по логитам последней позиции и выбор следующего токена
- 6Пройти N блоков: нормализация, маскированный self-attention, residual, нормализация, MLP, residual
Показать ответ и разбор
Коротко
Так устроены современные LLM с pre-norm. В обучении логиты считаются для всех позиций сразу, и потеря это кросс-энтропия со сдвинутыми на один токен целями.
Правильный порядок
- 1Токенизировать текст в id
- 2Взять эмбеддинги токенов (позиции добавятся через RoPE в attention)
- 3Пройти N блоков: нормализация, маскированный self-attention, residual, нормализация, MLP, residual
- 4Финальная нормализация
- 5Линейная проекция в логиты словаря
- 6Softmax по логитам последней позиции и выбор следующего токена
Разбор
Так устроены современные LLM с pre-norm. В обучении логиты считаются для всех позиций сразу, и потеря это кросс-энтропия со сдвинутыми на один токен целями.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.