Выбор ответа Senior Ловушки A/B обновлено
Кейс: поменяли сплит посреди теста
Вопрос
Первую неделю тест шёл 10/90 (10% в B), со второй переключили на 50/50. Аналитик сложил все дни и сравнил конверсию. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Пропорции менялись: возможен Симпсон, периоды отдельно. В первую неделю в B почти не было пользователей, во вторую много.
Варианты ответа
- Ничего: больше данных, точнее результат по сумме
- Нужно проверить SRM для периода 50/50 и доверять сумме
- Пропорции менялись: возможен Симпсон, периоды отдельноправильный ответ
- Нужно домножить конверсию B первой недели на 5
Разбор
В первую неделю в B почти не было пользователей, во вторую много. Если конверсия по неделям меняется (например, акция в первую неделю), то A перевешена первой неделей, B второй, и сумма сравнивает разные периоды. Корректно сравнивать внутри периодов и объединять стратифицированно, или использовать только данные после смены. SRM-проверка тут тоже сработает ложно на сумме, а домножение бессмысленно.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.