Выбор ответа Senior Нагрузочное тестирование обновлено

Усреднение перцентилей

Вопрос

Четыре нагрузочных агента прислали p95: 300, 320, 310 и 900 мс. Можно ли получить общий p95 как среднее (457 мс)?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Нельзя: перцентили не усредняются, нужны объединённые данные. Перцентиль зависит от всего распределения: агент с 900 мс мог обработать в разы больше или меньше запросов, и среднее его p95 ничего не значит.

Варианты ответа

  1. Можно: так считают сводный p95 в отчётах большинства инструментов
  2. Можно, если взять не среднее, а медиану этих четырёх значений p95
  3. Общий p95 равен максимальному из них, то есть 900 мс, это и есть ответ
  4. Нельзя: перцентили не усредняются, нужны объединённые данныеправильный ответ

Разбор

Перцентиль зависит от всего распределения: агент с 900 мс мог обработать в разы больше или меньше запросов, и среднее его p95 ничего не значит. Правильно собирать сырые значения или сливаемые гистограммы (как делают Prometheus и HdrHistogram). Максимум даёт лишь грубую верхнюю оценку, а медиана перцентилей так же некорректна.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Термины по теме