Выбор ответа Junior LLM в проде обновлено
Какую задержку мерить
Вопрос
Средняя задержка ответа бота 2 секунды, но пользователи жалуются на «зависания». Какая метрика покажет проблему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Перцентили p95 и p99: у LLM длинный хвост, и редкие 20-30 секунд тонут в среднем. Средняя скрывает хвост: длинные промпты, длинные ответы, ретраи и очереди дают редкие, но очень долгие запросы.
Варианты ответа
- Медиана задержки: она устойчивее среднего и не искажается выбросами
- Минимальная задержка за день: она показывает, когда сервис работает плохо
- Число запросов в секунду: именно рост нагрузки и вызывает зависания у пользователей бота
- Перцентили p95 и p99: у LLM длинный хвост, и редкие 20-30 секунд тонут в среднемправильный ответ
Разбор
Средняя скрывает хвост: длинные промпты, длинные ответы, ретраи и очереди дают редкие, но очень долгие запросы. Перцентили показывают, сколько ждут худшие 5% и 1%. Медиана тоже не видит хвоста. Минимум бесполезен. RPS говорит о нагрузке, а не о задержке.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.