Дисперсия CTR: дельта-метод
Вопрос
Для CTR = клики / показы в тесте с рандомизацией по пользователям дисперсию считают дельта-методом. Почему не биномиальной формулой p(1-p)/N_показов?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Биномиальная формула не работает для долей меньше 5%
- Показы зависимы, а бином считает их независимымиправильный ответ
- Дельта-метод точнее на малых выборках, а бином на больших
- Биномиальная формула завышает дисперсию и снижает мощность
Разбор
Единица рандомизации пользователь, а показы внутри пользователя коррелируют. Биномиальная формула опирается на независимость показов и занижает дисперсию, отсюда лишние ложные срабатывания. Дельта-метод считает дисперсию отношения через дисперсии и ковариацию пользовательских сумм. Ограничение «долей меньше 5%» выдумано, дельта-метод асимптотический и нужен как раз на больших выборках, а занижение, а не завышение, главная проблема.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Ковариата за период теста