Спланируйте A/B-тест
Вопрос
Мы хотим заменить пошаговую регистрацию одним экраном. Как вы спланируете эксперимент?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Гипотеза с причиной и ожидаемым эффектом
Главная метрика: конверсия в зарегистрированного или активированного
Защитные метрики: качество аккаунтов, активация, спам
Минимальный значимый эффект, размер выборки, длительность полными неделями
Единица рандомизации и проверка корректного деления
Правило решения до запуска
Что могут спросить следом
- Что если регистраций стало больше, а активация упала?
- Почему тест должен идти полными неделями?
- Что такое эффект новизны?
Разбор
Гипотеза: один экран сократит потери на втором и третьем шаге, и доля завершивших регистрацию вырастет с 55 до 60%. Главная метрика лучше не просто регистрация, а активация: дошёл ли человек до первого ключевого действия, иначе можем натащить мусорных аккаунтов. Защитные: доля подтверждённых email, жалобы, спам-регистрации. Считаю размер выборки по минимальному эффекту, который важен бизнесу, и запускаю на целое число недель, чтобы покрыть разные дни. Делю по пользователю или устройству, проверяю, что группы получились равными. До старта фиксирую: если активация выросла, а защитные в норме, внедряем.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Этапы A/B-теста
- Консьерж или Оз
- Конфликт метрик
- Фейковая дверь
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы