Выбор ответа Senior Проверка гипотез обновлено
Кейс: значимо, но эффект ниже окупаемости
Вопрос
Тест рекомендаций: выручка на пользователя +0.4%, 95% интервал [+0.1%; +0.7%], p = 0.01. Поддержка новой модели стоит столько, что окупается от +1%. Что рекомендовать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Не выкатывать: даже верхняя граница ниже окупаемости. Значимость говорит, что эффект не ноль, интервал показывает, что он с большой вероятностью меньше +1%.
Варианты ответа
- Выкатывать: эффект значим и интервал не содержит ноль
- Не выкатывать: даже верхняя граница ниже окупаемостиправильный ответ
- Перезапустить тест на большей выборке, чтобы эффект вырос
- Считать тест неудачным из-за слишком маленького p-value
Разбор
Значимость говорит, что эффект не ноль, интервал показывает, что он с большой вероятностью меньше +1%. Сравнивать нужно с порогом окупаемости, а не с нулём. Перезапуск не увеличит истинный эффект, а маленький p-value признак уверенности, а не неудачи.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.