Доверительный интервал простыми словами
Вопрос
Объясните продакт-менеджеру, что такое доверительный интервал эффекта в A/B-тесте и как им пользоваться.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Оценка эффекта по выборке неточна, интервал показывает диапазон правдоподобных значений
Ширина зависит от размера выборки и разброса метрики
95% это свойство метода: в 95% повторов такой интервал накрывает истину
Если интервал не содержит 0, эффект значим
Сравнить границы с порогом окупаемости, а не только с нулём
Широкий интервал означает «мало данных», а не «эффекта нет»
Что могут спросить следом
- Чем интервал полезнее p-value?
- Почему нельзя сказать «с вероятностью 95% эффект в интервале»?
- Что делать, если интервал [−1%; +4%]?
Разбор
Мы посмотрели не на всех пользователей, а на выборку, поэтому измеренный эффект, скажем +2%, неточен: в другом запуске получилось бы +1.5% или +2.7%. Доверительный интервал показывает диапазон значений, которые хорошо согласуются с данными, например от +0.5% до +3.5%. Его ширина зависит от числа пользователей и разброса метрики: больше данных, уже интервал. Формально 95% означает, что метод в 95% повторов накрывает истинный эффект. Пользоваться просто: если интервал не содержит ноль, эффект значим, а дальше смотрим, где он относительно порога окупаемости. Если вся полоса выше порога, выкатываем уверенно. Если интервал широкий и захватывает и ноль, и хороший эффект, это не «эффекта нет», а «данных мало».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.