Ответ вслух Middle Гипотезы, MVP и эксперименты спрашивают часто обновлено

Спланируйте A/B-тест

Вопрос

Мы хотим заменить пошаговую регистрацию одним экраном. Как вы спланируете эксперимент?

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Гипотеза: один экран сократит потери на втором и третьем шаге, и доля завершивших регистрацию вырастет с 55 до 60%. Главная метрика лучше не просто регистрация, а активация: дошёл ли человек до первого ключевого действия, иначе можем натащить мусорных аккаунтов.

Что должно прозвучать в ответе

  • Гипотеза с причиной и ожидаемым эффектом

  • Главная метрика: конверсия в зарегистрированного или активированного

  • Защитные метрики: качество аккаунтов, активация, спам

  • Минимальный значимый эффект, размер выборки, длительность полными неделями

  • Единица рандомизации и проверка корректного деления

  • Правило решения до запуска

Что могут спросить следом

  • Что если регистраций стало больше, а активация упала?
  • Почему тест должен идти полными неделями?
  • Что такое эффект новизны?

Разбор

Гипотеза: один экран сократит потери на втором и третьем шаге, и доля завершивших регистрацию вырастет с 55 до 60%. Главная метрика лучше не просто регистрация, а активация: дошёл ли человек до первого ключевого действия, иначе можем натащить мусорных аккаунтов. Защитные: доля подтверждённых email, жалобы, спам-регистрации. Считаю размер выборки по минимальному эффекту, который важен бизнесу, и запускаю на целое число недель, чтобы покрыть разные дни. Делю по пользователю или устройству, проверяю, что группы получились равными. До старта фиксирую: если активация выросла, а защитные в норме, внедряем.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.