Как работает LLM: объяснить на собесе
Вопрос
Объясните, как языковая модель превращает ваш вопрос в ответ.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Текст режется токенайзером на токены, у каждого номер в словаре
Токены превращаются в векторы, проходят слои трансформера с вниманием
На выходе распределение вероятностей следующего токена
Токен выбирается сэмплированием и добавляется в контекст, цикл повторяется
Состояния между запросами нет, всё знание о диалоге в контексте
Галлюцинации: модель выдаёт правдоподобное, а не проверенное
Что могут спросить следом
- Почему модель плохо считает буквы в слове?
- Что изменится, если поднять температуру?
- Чем базовая модель отличается от чат-модели?
Разбор
Образцовый ответ: «Сначала токенайзер режет текст на токены, это куски слов, у каждого номер в словаре. Номера превращаются в векторы-эмбеддинги, и они проходят через десятки слоёв трансформера. В каждом слое self-attention даёт каждому токену посмотреть на предыдущие и собрать нужный контекст, а MLP обрабатывает результат. На выходе последнего слоя получаем вероятности для каждого токена словаря. Один токен выбирается, жадно или сэмплированием с температурой, приписывается к тексту, и всё повторяется до стоп-токена или лимита. Важно, что модель ничего не помнит между запросами: история чата отправляется заново. И она оптимизирована выдавать правдоподобный текст, поэтому может уверенно ошибаться, если нужного факта нет в весах или контексте».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Self-attention: объяснить механизм
Следующий вопрос
Что на самом деле предсказывает LLM