Ответ вслух Senior CUPED и снижение дисперсии обновлено

Как тестировать ratio-метрики

Вопрос

Как правильно сравнить средний чек (выручка / число заказов) между группами A/B?

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Средний чек это отношение двух сумм: выручки и числа заказов по всем пользователям группы. Рандомизировали по пользователям, а заказы одного пользователя зависимы, поэтому t-тест по заказам занизит дисперсию.

Что должно прозвучать в ответе

  • Это ratio-метрика: числитель и знаменатель суммируются по пользователям

  • Нельзя считать каждый заказ независимым наблюдением при рандомизации по пользователям

  • Дельта-метод: дисперсия через дисперсии и ковариацию пользовательских сумм

  • Линеаризация `L = x - R_A·y` и обычный t-тест

  • Бутстреп по пользователям как проверка

  • Средний чек может расти из-за падения числа заказов: смотреть вместе с выручкой на пользователя

Что могут спросить следом

  • Выведите дисперсию отношения дельта-методом.
  • Почему линеаризация сохраняет знак эффекта?
  • Когда средний чек плохая целевая метрика?

Разбор

Средний чек это отношение двух сумм: выручки и числа заказов по всем пользователям группы. Рандомизировали по пользователям, а заказы одного пользователя зависимы, поэтому t-тест по заказам занизит дисперсию. Есть три корректных пути. Дельта-метод: считаю средние, дисперсии и ковариацию пользовательских выручки и числа заказов и подставляю в формулу дисперсии отношения, дальше z-тест. Линеаризация: для каждого пользователя L = выручка - R_A·заказы, где R_A средний чек контроля, и обычный t-тест по L, к L ещё и CUPED применяется. Бутстреп по пользователям как контроль на небольших данных. И содержательно: средний чек может вырасти, потому что отвалились мелкие заказы, поэтому решение принимаю по выручке на пользователя, а средний чек объясняет механизм.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.