По порядку Junior Как устроены LLM обновлено
Путь запроса через модель
Вопрос
Расставьте шаги обработки запроса языковой моделью по порядку.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Логиты превращаются в вероятности, выбирается следующий токен
- 2Векторы проходят слои трансформера (внимание и MLP)
- 3Токен добавляется в контекст, цикл повторяется до стоп-токена
- 4Токенайзер режет текст на токены
- 5Номера токенов превращаются в векторы эмбеддингов
- 6Последний слой выдаёт логиты по словарю
Показать ответ и разбор
Коротко
Генерация авторегрессионная: каждый новый токен зависит от всех предыдущих, поэтому последние три шага повторяются в цикле. Детокенизация собирает текст обратно из номеров.
Правильный порядок
- 1Токенайзер режет текст на токены
- 2Номера токенов превращаются в векторы эмбеддингов
- 3Векторы проходят слои трансформера (внимание и MLP)
- 4Последний слой выдаёт логиты по словарю
- 5Логиты превращаются в вероятности, выбирается следующий токен
- 6Токен добавляется в контекст, цикл повторяется до стоп-токена
Разбор
Генерация авторегрессионная: каждый новый токен зависит от всех предыдущих, поэтому последние три шага повторяются в цикле. Детокенизация собирает текст обратно из номеров.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.