Частотный и байесовский A/B

В частотном подходе эффект фиксированное неизвестное число, а p-value отвечает на вопрос, насколько странны данные при отсутствии эффекта. В байесовском эффект случайная величина: задаю prior, обновляю его данными и получаю posterior, из которого напрямую считаю вероятность, что B лучше, достоверный интервал эффекта и ожидаемые потери. Бизнесу байесовская формулировка понятнее: «с вероятностью 97% B лучше, ожидаемый прирост 1.2%». Цена: нужен prior, его выбор надо обосновать и проверить чувствительность. При этом байесовский подход не снимает проблем: при маленькой выборке posterior широкий, а частые проверки с порогом раздувают ложные выкатки. На больших выборках со слабым prior выводы обычно совпадают. Частотный беру, когда в компании отлажена платформа и нужна строгая гарантия ошибки, байесовский, когда важна интерпретация для бизнеса и есть хорошая история для prior.