Выбор ответа Middle CUPED и снижение дисперсии обновлено
Почему CUPED не смещает эффект
Вопрос
Почему CUPED не смещает оценку эффекта теста?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ковариата не зависит от воздействия, поправка в группах одинакова. Поправка θ·(X - mean(X)) в ожидании одинакова в A и B, так как X измерен до теста и рандомизация уравнивает группы.
Варианты ответа
- Ковариата не зависит от воздействия, поправка в группах одинаковаправильный ответ
- Потому что θ меньше 1 и поправка не может перевесить эффект
- Потому что CUPED применяют к контрольной группе, а тест не трогают
- Потому что дисперсия не влияет на среднее ни в одной группе
Разбор
Поправка θ·(X - mean(X)) в ожидании одинакова в A и B, так как X измерен до теста и рандомизация уравнивает группы. Разница средних после поправки остаётся несмещённой. θ может быть больше 1. Поправку применяют к обеим группам одинаково. Последний вариант звучит верно, но не объясняет: если X зависел бы от теста, смещение появилось бы.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Ковариата за период теста