Продакт работает в условиях неопределённости. Любая идея это гипотеза, пока её не подтвердили данные. Задача: проверить как можно дешевле и быстрее.
Формула гипотезы
Если мы [изменение] для [сегмент], то [метрика] изменится на [величина], потому что [причина].
Пример: «Если показывать новым пользователям в первый день три подсказки по ключевому действию, то доля дошедших до первого отчёта вырастет с 30 до 36%, потому что в интервью половина не нашла кнопку создания».
Без метрики и величины гипотезу нельзя опровергнуть, а значит, нельзя и проверить.
Риски, которые снимаем
Марти Каган выделяет четыре риска:
- ценность: купят ли, будут ли пользоваться;
- удобство: разберутся ли;
- реализуемость: сможем ли построить;
- бизнес-жизнеспособность: сходится ли экономика, юристы, продажи.
Сначала проверяют самый опасный и дешёвый в проверке.
MVP это способ учиться
MVP (minimum viable product) это минимальная версия, которая позволяет проверить главную гипотезу на реальном поведении. Не «урезанный продукт», а эксперимент.
Виды:
- лендинг / фейковая дверь: кнопка или страница продукта, которого ещё нет, меряем клики и заявки;
- консьерж: услугу вручную оказывает команда, пользователь знает, что это человек;
- Волшебник страны Оз: пользователь думает, что работает автоматика, а за ней человек;
- прототип для юзабилити;
- пилот с платящим клиентом.
A/B-тест глазами продакта
A/B-тест доказывает причинный эффект: случайно делим пользователей, одной группе показываем изменение, сравниваем метрику. Продакт отвечает за:
- гипотезу и главную метрику заранее;
- защитные метрики (guardrails): что не должно ухудшиться, например выручка, скорость, жалобы;
- минимальный эффект, который имеет смысл бизнесу, и отсюда размер выборки и длительность;
- решение по итогам: внедрить, доработать, отказаться.
Ошибки: подглядывать и останавливать тест при первом «значимом» результате, менять метрику после теста, тестировать на неделе с аномалиями, игнорировать новизну (эффект первых дней).
Когда A/B не нужен
- Трафика мало: тест будет идти месяцами.
- Изменение обязательное (закон, безопасность).
- Решение легко откатить, а риск мал: можно выкатить и смотреть до/после, понимая ограничения.
Решение по результату
Отрицательный результат тоже результат: сэкономили разработку. Важно заранее договориться, какой исход что значит.
Что спросят на собесе
- Сформулируйте гипотезу для фичи X.
- Что такое MVP? Приведите примеры разных видов.
- Как спланировать A/B-тест и какие метрики взять?
- Тест показал рост конверсии и падение выручки. Что делать?