Выбор ответа Senior LLM в проде обновлено
Зачем LLM-шлюз
Вопрос
В компании 15 сервисов вызывают модели напрямую со своими ключами. Что даст общий LLM-шлюз?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Единые маршрутизация, фолбэки, квоты и учёт стоимости по командам, кеш, логи и ключи. Шлюз централизует сквозные задачи: какие модели доступны, лимиты и бюджеты, фолбэк при сбое провайдера, единые логи и трейсы, ключи не разбросаны по сервисам.
Варианты ответа
- Ускорит каждую модель в два раза за счёт общего пула соединений и батчинга
- Уберёт необходимость в оценке качества: шлюз сам выбирает лучшую модель по ответам
- Позволит не платить провайдеру за повторные запросы благодаря общим ключам компании
- Единые маршрутизация, фолбэки, квоты и учёт стоимости по командам, кеш, логи и ключиправильный ответ
Разбор
Шлюз централизует сквозные задачи: какие модели доступны, лимиты и бюджеты, фолбэк при сбое провайдера, единые логи и трейсы, ключи не разбросаны по сервисам. Платой становится ещё один критичный компонент, который нужно делать отказоустойчивым. Модели он не ускоряет. Оценка качества остаётся задачей команд. Платить провайдеру по-прежнему нужно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.