Выбор ответа Junior Как устроены LLM спрашивают часто обновлено
Помнит ли модель прошлые диалоги
Вопрос
Пользователь вчера рассказал чат-боту своё имя, сегодня открыл новый чат, и бот его не знает. Почему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Модель не хранит состояние между запросами, она видит только текущий контекст. Веса модели при общении не меняются, состояния между вызовами нет.
Варианты ответа
- Модель дообучается на диалогах пользователей раз в неделю, а обновление ещё не вышло
- Модель не хранит состояние между запросами, она видит только текущий контекстправильный ответ
- Имя удалила сборка мусора в KV-кеше, который хранит данные пользователя сутки
- Контекстное окно переполнилось вчерашним диалогом, и старые сообщения вытеснились
Разбор
Веса модели при общении не меняются, состояния между вызовами нет. «Память» чата это история сообщений, которую приложение каждый раз отправляет заново. Если продукту нужна долгая память, её хранит приложение и подкладывает в контекст. Еженедельного дообучения на диалогах в такой схеме нет. KV-кеш живёт в пределах запроса или сессии кеширования. Новый чат начинается с пустой истории, окно тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.