Как спроектировать A/B-тест
Вопрос
Нам нужно протестировать новую кнопку оплаты в одном клике. Как спроектируете тест?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Гипотеза с механизмом и ожидаемым эффектом
Целевая метрика (конверсия в оплату), прокси и guardrail (ошибки оплаты, возвраты, скорость)
Единица рандомизации: пользователь; анализ по дошедшим до оплаты
MDE, альфа, мощность: размер выборки и длительность целыми неделями
Проверки: A/A, SRM, критерий решения заранее
Что делаем при каждом исходе
Что могут спросить следом
- Какой MDE вы бы выбрали и почему?
- Что делать, если конверсия выросла, а средний чек упал?
- Как поступите, если обнаружили SRM?
Разбор
Начинаю с гипотезы: оплата в один клик убирает шаги, поэтому конверсия из корзины в оплату вырастет. Целевая метрика: конверсия в оплату на пользователя, дошедшего до корзины. Guardrail: доля ошибок оплаты, отмены и возвраты, время загрузки. Рандомизирую по пользователю, чтобы он всегда видел одну версию, а анализирую тех, кто дошёл до корзины, по одинаковому правилу в обеих группах. Выбираю MDE, исходя из того, какой эффект окупает разработку, считаю выборку для альфы 5% и мощности 80% и перевожу в длительность целыми неделями. До старта фиксирую критерий решения. Во время теста смотрю только SRM и guardrail, результат по целевой метрике один раз в конце.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.