Выбор ответа Middle LLM в проде спрашивают часто обновлено
Риски семантического кеша
Вопрос
Какой главный риск семантического кеша ответов (по близости эмбеддингов запроса)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Близкие по эмбеддингу вопросы требуют разных ответов: «как отменить» и «как не отменять заказ». Эмбеддинги ловят тему, но плохо различают отрицания, числа и детали.
Варианты ответа
- Семантический кеш медленнее вызова модели: поиск по эмбеддингам обычно дольше генерации ответа
- Он не работает с русским языком: эмбеддинги кириллицы хуже сравниваются по косинусу
- Близкие по эмбеддингу вопросы требуют разных ответов: «как отменить» и «как не отменять заказ»правильный ответ
- Он вдвое увеличивает стоимость каждого запроса, потому что эмбеддинг считается дважды
Разбор
Эмбеддинги ловят тему, но плохо различают отрицания, числа и детали. При слишком низком пороге сходства кеш отдаёт неверные ответы. Порог подбирают на размеченных парах, кешируют только ответы, не зависящие от пользователя, и ставят срок жизни. По скорости кеш выигрывает: эмбеддинг и поиск быстрее генерации. Язык поддерживается, если поддерживает эмбеддинг-модель. Стоимость падает за счёт попаданий.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.