Выбор ответа Senior ЦПТ и доверительные интервалы спрашивают часто обновлено
Решение по интервалу эффекта
Вопрос
Тест показал: прирост выручки на пользователя +1.5%, 95% интервал [-0.3%; +3.3%]. Фича окупается только при эффекте от +2%. Что сказать продакту?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Данные совместимы и с нулём, и с +2%: продлить или решать по цене. Интервал содержит 0, значит на уровне 5% эффект не доказан, но верхняя граница 3.3% выше порога окупаемости, так что исключить нужный эффект тоже нельзя.
Варианты ответа
- Эффект значим, выкатываем: точечная оценка выше нуля
- Эффекта точно нет: интервал содержит ноль, фичу закрываем
- Пересчитать с 90% интервалом, тогда результат станет значимым
- Данные совместимы и с нулём, и с +2%: продлить или решать по ценеправильный ответ
Разбор
Интервал содержит 0, значит на уровне 5% эффект не доказан, но верхняя граница 3.3% выше порога окупаемости, так что исключить нужный эффект тоже нельзя. Честный ответ: недостаточно данных. «Эффекта точно нет» это ошибка «отсутствие доказательств как доказательство отсутствия», а подбор уровня доверия после результата это подгонка.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.