Выбор ответа Junior Как устроены LLM спрашивают часто обновлено
Что на самом деле предсказывает LLM
Вопрос
Что делает языковая модель на каждом шаге генерации?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Выдаёт распределение вероятностей следующего токена по всему словарю. На каждом шаге модель получает все токены контекста и выдаёт вероятности для каждого токена словаря, затем один токен выбирается (сэмплируется) и добавляется в контекст.
Варианты ответа
- Ищет готовый ответ в базе знаний, собранной при обучении, и пересказывает его
- Выдаёт распределение вероятностей следующего токена по всему словарюправильный ответ
- Генерирует сразу целое предложение и затем проверяет его грамматику
- Выбирает наиболее похожий ответ из обучающих диалогов по эмбеддингу
Разбор
На каждом шаге модель получает все токены контекста и выдаёт вероятности для каждого токена словаря, затем один токен выбирается (сэмплируется) и добавляется в контекст. Базы ответов внутри нет: знания размазаны по весам. Предложения целиком модель не генерирует, только токен за токеном. Поиска по обучающим диалогам при генерации тоже нет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.