Тест не подтвердил гипотезу
Вопрос
Ваша фича, над которой команда работала два месяца, в A/B-тесте не дала эффекта. Что дальше?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Проверить корректность теста: деление, логирование, срок
Разобрать сегменты как источник новых гипотез, а не как повод внедрить
Понять почему: интервью, записи сессий
Решить судьбу фичи: убрать, если мешает, или оставить, если дешева в поддержке
Рассказать стейкхолдерам честно и что узнали
Вывод для процесса: проверять дешевле до разработки
Что могут спросить следом
- Можно ли внедрить, если в одном сегменте рост?
- Как поддержать команду после такого результата?
Разбор
Сначала проверяю сам тест: равны ли группы, правильно ли логируется метрика, хватило ли мощности. Если всё корректно, результат нулевой. Сегменты смотрю, но рост в одном сегменте считаю гипотезой для нового теста, а не основанием внедрять. Разбираюсь в причинах через интервью и записи: может, фичу не находят. Дальше решение: если фича усложняет продукт или требует поддержки, убираю. Стейкхолдерам и команде рассказываю, что узнали, без поиска виноватых. Для процесса вывод: такую гипотезу можно было проверить за две недели фейковой дверью или прототипом.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Этапы A/B-теста
- Консьерж или Оз
- Конфликт метрик
- Фейковая дверь
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы