Объясните CUPED
Вопрос
Расскажите, что такое CUPED и как его применить в A/B-тесте выручки.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Идея: вычесть часть дисперсии, объясняемую поведением до теста
Формула `Y - θ·(X - mean(X))`, `θ = cov/var`
Среднее и эффект несмещены, дисперсия падает в `(1 - ρ²)` раз
Ковариата строго до теста, θ общее для групп
Новые пользователи без истории: ноль плюс признак
Эффект: короче тест или меньший MDE
Что могут спросить следом
- Почему нельзя брать данные за период теста?
- Что даст CUPED при корреляции 0.3?
- Как CUPED связан с линейной регрессией?
Разбор
Разброс выручки между пользователями в основном объясняется тем, кто они: кто платил много до теста, платит много и в тесте. CUPED вычитает эту предсказуемую часть. Беру ковариату X, выручку пользователя за месяц до теста, считаю θ = cov(X, Y) / var(X) по обеим группам вместе и строю Y_cuped = Y - θ·(X - mean(X)). Среднее не меняется, потому что X измерен до теста и в ожидании одинаков в группах, значит оценка эффекта несмещённая, а дисперсия падает в 1 - ρ² раз: при корреляции 0.7 примерно вдвое. Дальше обычный t-тест по скорректированной метрике. Новым пользователям без истории ставлю ноль и признак «новый». Главное правило: ковариата только из периода до теста, иначе вычту часть самого эффекта. По сути это регрессия Y на группу и X, CUPED её частный случай.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Насколько CUPED снижает дисперсию