Выбор ответа Senior Гипотезы, MVP и эксперименты обновлено
Конфликт метрик
Вопрос
В A/B-тесте скидочного баннера конверсия в покупку выросла на 8%, а выручка на пользователя упала на 3%, оба эффекта значимы. Что вы сделаете?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не внедрять: смотреть на выручку и искать вариант без её потери. Конверсия выросла за счёт скидки, а бизнесу важна выручка и маржа.
Варианты ответа
- Не внедрять: смотреть на выручку и искать вариант без её потериправильный ответ
- Внедрить: конверсия главная метрика воронки, выручка подтянется
- Повторить тест ещё раз, пока падение выручки не станет незначимым
- Внедрить только для мобильных, там конверсия выросла сильнее всего
Разбор
Конверсия выросла за счёт скидки, а бизнесу важна выручка и маржа. Решение принимают по метрике, которая ближе к цели бизнеса, и ищут другой вариант: меньше скидка, другой сегмент. Перезапуск до нужного результата это подгонка. Выбор среза по итогам без гипотезы тоже подгонка.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Этапы A/B-теста
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы
- Четыре риска
- MVP для идеи
- Что такое MVP