Кейс: P(B > A) = 96%
Вопрос
Байесовский отчёт: P(B > A) = 96%, ожидаемый uplift +0.3%, ожидаемые потери при выборе B 0.01 п.п. Внедрение B требует поддержки нового сервиса за 2 млн ₽ в год. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Выкатывать: вероятность выше 95%, а потери ничтожны
- Перезапустить тест частотным методом и сравнить выводы
- Сравнить выгоду +0.3% с затратами: 96% не значит окупитсяправильный ответ
- Не выкатывать: 96% мало, нужно хотя бы 99% для решения
Разбор
P(B > A) говорит, что B, скорее всего, не хуже, но ничего не говорит о размере выгоды. Решение принимают по ожидаемому эффекту в деньгах против затрат: +0.3% может не покрыть 2 млн ₽ в год. Порог 95% сам по себе ни «достаточен», ни «мал», а перезапуск другим методом ответа на экономический вопрос не даст.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: правило остановки по ожидаемым потерям
Следующий вопрос
Кейс: байесовский тест на 40 пользователях