Ответ вслух Junior Байесовский подход обновлено

Как объяснить P(B > A)

Вопрос

Байесовский отчёт показал P(B > A) = 92%. Как вы объясните это менеджеру и что предложите?

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Говорю так: с учётом данных теста и наших исходных предположений вероятность, что B лучше A, около 92%. То есть в 8% случаев мы можем ошибиться.

Что должно прозвучать в ответе

  • С учётом данных и prior вероятность, что B лучше A, 92%

  • Это не p-value и не 92% пользователей

  • Важна величина эффекта: достоверный интервал uplift

  • Ожидаемые потери, если выбрать B

  • Решение зависит от цены ошибки и затрат на внедрение

Что могут спросить следом

  • А что если нужно 95%?
  • Чем 92% отличается от p = 0.08?

Разбор

Говорю так: с учётом данных теста и наших исходных предположений вероятность, что B лучше A, около 92%. То есть в 8% случаев мы можем ошибиться. Это не доля пользователей и не p-value. Дальше показываю, насколько лучше: достоверный интервал uplift, например от -0.2% до +1.5%, и ожидаемые потери, если выберем B и окажемся неправы, скажем 0.02 п.п. конверсии. Если изменение дешёвое и откатываемое, а потери малы, 92% достаточно для выкатки. Если внедрение дорогое или необратимое, предлагаю добрать данных до заранее заданного срока.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.

Термины по теме