Выбор ответа Senior CUPED и снижение дисперсии спрашивают часто обновлено
Ковариата за период теста
Вопрос
В CUPED в качестве ковариаты взяли число сессий пользователя за время теста. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ковариата зависит от теста и вычтет часть эффекта. Главное требование к ковариате: она не должна зависеть от тестируемого изменения.
Варианты ответа
- Ничего: чем ближе по времени, тем выше корреляция
- Ковариата в CUPED должна быть бинарной, а не счётной
- θ нужно считать отдельно для каждой группы
- Ковариата зависит от теста и вычтет часть эффектаправильный ответ
Разбор
Главное требование к ковариате: она не должна зависеть от тестируемого изменения. Данные за период теста могли измениться из-за самого теста, и CUPED «объяснит» эффект ковариатой, исказив результат. Берут данные строго до начала эксперимента. Бинарность не требуется, а θ, наоборот, считают одинаково для обеих групп.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Формула CUPED
- Насколько CUPED снижает дисперсию