Выбор ответа Middle ИИ-фичи в продукте обновлено
Как работает кеш промпта
Вопрос
Провайдер поддерживает кеширование промпта. Как построить запрос, чтобы кеш срабатывал чаще?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Стабильную часть ставить в начало, изменчивую часть в конец. Кеш промпта переиспользует обработку совпадающего префикса.
Варианты ответа
- Вставлять текущую дату и имя пользователя в самое начало промпта
- Стабильную часть ставить в начало, изменчивую часть в конецправильный ответ
- Перемешивать порядок инструкций, чтобы модель не привыкала к ним
- Разбивать системный промпт на много коротких сообщений подряд
Разбор
Кеш промпта переиспользует обработку совпадающего префикса. Значит, длинная неизменная часть (инструкции, документ) должна идти первой, а меняющаяся (вопрос, дата, имя) в конце. Дата в начале ломает совпадение с первого же токена. Перемешивание и дробление мешают совпадению префикса.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.