Карточка Middle LLM в проде обновлено
Prompt caching
Вопрос
Как получить выгоду от prompt caching у провайдера?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ставить стабильную часть (системный промпт, инструкции, справочник, примеры) в начало, а изменяемую (вопрос, свежий контекст) в конец. Кеш работает по совпадающему префиксу, любое изменение в начале промпта ломает попадание.
Ответ
Ставить стабильную часть (системный промпт, инструкции, справочник, примеры) в начало, а изменяемую (вопрос, свежий контекст) в конец. Кеш работает по совпадающему префиксу, любое изменение в начале промпта ломает попадание.
Разбор
Ставить стабильную часть (системный промпт, инструкции, справочник, примеры) в начало, а изменяемую (вопрос, свежий контекст) в конец. Кеш работает по совпадающему префиксу, любое изменение в начале промпта ломает попадание.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.