Стратификация в A/B
Вопрос
Чем стратифицированная рандомизация отличается от постстратификации?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Стратифицированная рандомизация делит 50/50 внутри каждого сегмента заранее, доли сегментов в группах совпадают точно. Постстратификация считается после теста: средние внутри сегментов взвешиваются по долям сегментов во всей выборке. Обе убирают дисперсию, связанную с перекосом сегментов.
Разбор
Стратифицированная рандомизация делит 50/50 внутри каждого сегмента заранее, доли сегментов в группах совпадают точно. Постстратификация считается после теста: средние внутри сегментов взвешиваются по долям сегментов во всей выборке. Обе убирают дисперсию, связанную с перекосом сегментов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «CUPED и снижение дисперсии»
- Кейс: CTR значим по показам
- Кейс: CUPED и много новых пользователей
- Кейс: один оптовик в группе B
- Кейс: перекос платформ в группах
- CUPED на Python: θ и снижение дисперсии
- Дельта-метод для CTR на Python
- Постстратифицированное среднее
- Ковариата за период теста