Выбор ответа Junior CUPED и снижение дисперсии спрашивают часто обновлено
Зачем снижать дисперсию метрики
Вопрос
Почему в A/B-тестах так ценят снижение дисперсии метрики?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Нужная выборка пропорциональна дисперсии: тест короче. Размер выборки при фиксированных α, мощности и MDE прямо пропорционален дисперсии: снизили её вдвое, нужно примерно вдвое меньше пользователей.
Варианты ответа
- Нужная выборка пропорциональна дисперсии: тест корочеправильный ответ
- Меньшая дисперсия увеличивает сам эффект изменения
- Без снижения дисперсии t-тест неприменим к выручке
- Это уменьшает ошибку первого рода ниже заданного α
Разбор
Размер выборки при фиксированных α, мощности и MDE прямо пропорционален дисперсии: снизили её вдвое, нужно примерно вдвое меньше пользователей. Сам эффект от этого не меняется. t-тест применим и без снижения дисперсии, а ошибка первого рода задаётся порогом α, её контролирует критерий, а не дисперсия.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Ковариата за период теста