Ответ вслух Middle CUPED и снижение дисперсии спрашивают часто обновлено

Объясните CUPED

Вопрос

Расскажите, что такое CUPED и как его применить в A/B-тесте выручки.

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Разброс выручки между пользователями в основном объясняется тем, кто они: кто платил много до теста, платит много и в тесте. CUPED вычитает эту предсказуемую часть.

Что должно прозвучать в ответе

  • Идея: вычесть часть дисперсии, объясняемую поведением до теста

  • Формула `Y - θ·(X - mean(X))`, `θ = cov/var`

  • Среднее и эффект несмещены, дисперсия падает в `(1 - ρ²)` раз

  • Ковариата строго до теста, θ общее для групп

  • Новые пользователи без истории: ноль плюс признак

  • Эффект: короче тест или меньший MDE

Что могут спросить следом

  • Почему нельзя брать данные за период теста?
  • Что даст CUPED при корреляции 0.3?
  • Как CUPED связан с линейной регрессией?

Разбор

Разброс выручки между пользователями в основном объясняется тем, кто они: кто платил много до теста, платит много и в тесте. CUPED вычитает эту предсказуемую часть. Беру ковариату X, выручку пользователя за месяц до теста, считаю θ = cov(X, Y) / var(X) по обеим группам вместе и строю Y_cuped = Y - θ·(X - mean(X)). Среднее не меняется, потому что X измерен до теста и в ожидании одинаков в группах, значит оценка эффекта несмещённая, а дисперсия падает в 1 - ρ² раз: при корреляции 0.7 примерно вдвое. Дальше обычный t-тест по скорректированной метрике. Новым пользователям без истории ставлю ноль и признак «новый». Главное правило: ковариата только из периода до теста, иначе вычту часть самого эффекта. По сути это регрессия Y на группу и X, CUPED её частный случай.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.