Кейс: перекос платформ в группах
Вопрос
В тесте случайно получилось 55% iOS в B и 50% в A, а у iOS выручка вдвое выше. Эффект на выручку +6%, значим. Как корректно оценить эффект?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Выкатывать: рандомизация случайна, значит всё честно
- Перезапустить тест, пока доли iOS не совпадут
- Сравнить только Android, где перекоса нет
- Постстратификация: эффект по платформам, взвешенныйправильный ответ
Разбор
Перекос в пределах случайности не смещает оценку в среднем, но в конкретном тесте добавляет ошибку, и тут часть «эффекта» объясняется составом групп. Постстратификация сравнивает группы внутри платформ и взвешивает по общим долям, это корректно и снижает дисперсию. Перезапуск до совпадения и анализ одной платформы выбрасывают данные. В будущих тестах доли заранее уравнивает стратифицированная рандомизация.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: один оптовик в группе B
Следующий вопрос
CUPED на Python: θ и снижение дисперсии