Выбор ответа Middle Дизайн A/B-теста спрашивают часто обновлено
Кейс: SRM и рост конверсии
Вопрос
Тест 50/50, 14 дней. В A 100 000 пользователей, в B 97 800, SRM-проверка дала p < 0.0001. Конверсия в B выше на 4%, p = 0.01. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не доверять, искать причину перекоса и перезапустить тест. SRM означает, что в B по какой-то причине теряются или отбираются пользователи, и группы больше не сравнимы.
Варианты ответа
- Выкатывать: эффект значим, а перекос групп всего 2%
- Взвесить группы до равного размера и пересчитать эффект
- Не доверять, искать причину перекоса и перезапустить тестправильный ответ
- Продлить тест на неделю, пока размеры групп не выровняются
Разбор
SRM означает, что в B по какой-то причине теряются или отбираются пользователи, и группы больше не сравнимы. Например, у части пользователей B падает страница, и остаются самые мотивированные: конверсия растёт искусственно. Перевзвешивание не убирает смещение отбора, а продление теста причину не лечит. Сначала диагностика, потом перезапуск.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.