Как объяснить P(B > A)
Вопрос
Байесовский отчёт показал P(B > A) = 92%. Как вы объясните это менеджеру и что предложите?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
С учётом данных и prior вероятность, что B лучше A, 92%
Это не p-value и не 92% пользователей
Важна величина эффекта: достоверный интервал uplift
Ожидаемые потери, если выбрать B
Решение зависит от цены ошибки и затрат на внедрение
Что могут спросить следом
- А что если нужно 95%?
- Чем 92% отличается от p = 0.08?
Разбор
Говорю так: с учётом данных теста и наших исходных предположений вероятность, что B лучше A, около 92%. То есть в 8% случаев мы можем ошибиться. Это не доля пользователей и не p-value. Дальше показываю, насколько лучше: достоверный интервал uplift, например от -0.2% до +1.5%, и ожидаемые потери, если выберем B и окажемся неправы, скажем 0.02 п.п. конверсии. Если изменение дешёвое и откатываемое, а потери малы, 92% достаточно для выкатки. Если внедрение дорогое или необратимое, предлагаю добрать данных до заранее заданного срока.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Байесовский подход»
- Формула Байеса: тест на редкую болезнь
- Среднее Beta-распределения
- Информативный Beta-prior
- Обновление Beta-распределения
- Кейс: правило остановки по ожидаемым потерям
- Кейс: P(B > A) = 96%
- Кейс: байесовский тест на 40 пользователях
- Кейс: сильный prior на малой выборке