Два кеша в ИИ-фиче
Вопрос
Чем кеш промпта у провайдера отличается от своего кеша ответов?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Кеш промпта у провайдера переиспользует обработку одинакового префикса запроса: дешевле и быстрее, но модель всё равно генерирует новый ответ. Для него стабильную часть ставят в начало. Свой кеш ответов отдаёт готовый ответ без вызова модели. Его ключ должен включать вопрос, модель, версию промпта и область доступа пользователя.
Разбор
Кеш промпта у провайдера переиспользует обработку одинакового префикса запроса: дешевле и быстрее, но модель всё равно генерирует новый ответ. Для него стабильную часть ставят в начало. Свой кеш ответов отдаёт готовый ответ без вызова модели. Его ключ должен включать вопрос, модель, версию промпта и область доступа пользователя.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.