Выбор ответа Senior Гипотезы, MVP и эксперименты обновлено
Когда не делать A/B
Вопрос
В каком случае A/B-тест, скорее всего, не лучший способ проверки?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: B2B-продукт, 300 активных клиентов, ожидаемый эффект на конверсию около 2%. На 300 клиентах эффект в 2% не обнаружить за разумный срок: нужны десятки тысяч наблюдений.
Варианты ответа
- В приложении 2 млн DAU, меняется текст кнопки покупки на экране товара
- Маркетплейс меняет алгоритм ранжирования выдачи для части пользователей
- Сервис такси тестирует новую формулу подсказки цены сразу в нескольких городах
- B2B-продукт, 300 активных клиентов, ожидаемый эффект на конверсию около 2%правильный ответ
Разбор
На 300 клиентах эффект в 2% не обнаружить за разумный срок: нужны десятки тысяч наблюдений. Там лучше интервью, пилоты и анализ до/после. В остальных случаях трафика достаточно и эффект измерим. Для маркетплейса и такси могут понадобиться особые схемы деления из-за влияния групп друг на друга, но эксперимент всё равно уместен.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Этапы A/B-теста
- Консьерж или Оз
- Конфликт метрик
- Фейковая дверь
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы