Выбор ответа Middle CUPED и снижение дисперсии обновлено
Кейс: CUPED и много новых пользователей
Вопрос
В тесте 40% пользователей новые, у них нет истории. Команда хочет применить CUPED по выручке за прошлый месяц. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Новым поставить ноль и добавить признак «новый». Ковариата с нулём для новых пользователей всё ещё не зависит от теста, поэтому несмещённость сохраняется.
Варианты ответа
- Исключить новых пользователей из теста и анализа
- Отказаться от CUPED, раз у части нет истории
- Новым поставить ноль и добавить признак «новый»правильный ответ
- CUPED только к старым, новых без поправки, итоги сложить
Разбор
Ковариата с нулём для новых пользователей всё ещё не зависит от теста, поэтому несмещённость сохраняется. Признак «новый» в регрессии помогает учесть, что ноль у них означает «нет данных», а не «ничего не купил». Исключение новых меняет популяцию теста, отказ от CUPED теряет мощность, а ручное склеивание частей без весов легко исказить.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.