Кейс: p = 0.07, продакт хочет выкатить
Вопрос
Тест новой корзины длился запланированные 2 недели. Конверсия выросла на 2% (относительно), p = 0.07 при заранее выбранном α = 0.05. Guardrail-метрики в норме. Продакт: «почти значимо, выкатываем как успех». Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Согласиться: 0.07 почти 0.05, а guardrail в норме
- Продлить тест, пока p не станет меньше 0.05
- Эффект не доказан; выкатка возможна как продуктовое решениеправильный ответ
- Пересчитать тест односторонним, раз эффект положительный
Разбор
По заранее заданным правилам результат незначим, называть его «успехом» нельзя. Это не значит «вред», и если фича дешёвая и безопасная, её можно выкатить как продуктовое решение с учётом цены ошибки, честно записав, что эффект не подтверждён. Продление «до значимости» это подглядывание, а смена стороны теста после просмотра данных удваивает ошибку I рода.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.