Как тестировать ratio-метрики
Вопрос
Как правильно сравнить средний чек (выручка / число заказов) между группами A/B?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Это ratio-метрика: числитель и знаменатель суммируются по пользователям
Нельзя считать каждый заказ независимым наблюдением при рандомизации по пользователям
Дельта-метод: дисперсия через дисперсии и ковариацию пользовательских сумм
Линеаризация `L = x - R_A·y` и обычный t-тест
Бутстреп по пользователям как проверка
Средний чек может расти из-за падения числа заказов: смотреть вместе с выручкой на пользователя
Что могут спросить следом
- Выведите дисперсию отношения дельта-методом.
- Почему линеаризация сохраняет знак эффекта?
- Когда средний чек плохая целевая метрика?
Разбор
Средний чек это отношение двух сумм: выручки и числа заказов по всем пользователям группы. Рандомизировали по пользователям, а заказы одного пользователя зависимы, поэтому t-тест по заказам занизит дисперсию. Есть три корректных пути. Дельта-метод: считаю средние, дисперсии и ковариацию пользовательских выручки и числа заказов и подставляю в формулу дисперсии отношения, дальше z-тест. Линеаризация: для каждого пользователя L = выручка - R_A·заказы, где R_A средний чек контроля, и обычный t-тест по L, к L ещё и CUPED применяется. Бутстреп по пользователям как контроль на небольших данных. И содержательно: средний чек может вырасти, потому что отвалились мелкие заказы, поэтому решение принимаю по выручке на пользователя, а средний чек объясняет механизм.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Ковариата за период теста