Выбор ответа Middle Ловушки A/B обновлено
Парадокс Симпсона в A/B
Вопрос
В B конверсия выше и на мобильных, и на десктопе, а в сумме ниже. Что это скорее всего значит для рандомизированного теста?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Доли сегментов в группах разные: рандомизация сломана. Парадокс Симпсона возникает, когда сегменты с разной базовой конверсией по-разному представлены в группах.
Варианты ответа
- Эффект отрицательный, а сегментный анализ ошибочен
- Нормальная ситуация, верить надо итогу по всем
- Нормальная ситуация, верить надо сегментам
- Доли сегментов в группах разные: рандомизация сломанаправильный ответ
Разбор
Парадокс Симпсона возникает, когда сегменты с разной базовой конверсией по-разному представлены в группах. При корректной рандомизации доли сегментов в A и B почти совпадают, и парадокса не будет. Поэтому первым делом проверяют SRM по сегментам и не меняли ли сплит по ходу теста. Выбирать «верную» цифру до этой проверки нельзя.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.