Выбор ответа Senior Байесовский подход обновлено
Кейс: правило остановки по ожидаемым потерям
Вопрос
Продукт хочет байесовское правило выкатки. Какое из правил разумнее всего?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Мин. длительность целыми неделями и порог ожидаемых потерь. Ожидаемые потери учитывают и вероятность ошибки, и её цену, а минимальная длительность защищает от сезонности и новизны.
Варианты ответа
- Выкатывать, как только P(B > A) > 90%, проверяя ежечасно
- Выкатывать, если posterior-среднее B выше A хотя бы день
- Выкатывать, если P(B > A) > 50% на конец любой недели
- Мин. длительность целыми неделями и порог ожидаемых потерьправильный ответ
Разбор
Ожидаемые потери учитывают и вероятность ошибки, и её цену, а минимальная длительность защищает от сезонности и новизны. Ежечасная проверка по порогу вероятности раздувает ложные выкатки. Сравнение средних за один день и порог 50% фактически означают выкатку по шуму.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Байесовский подход»
- Формула Байеса: тест на редкую болезнь
- Среднее Beta-распределения
- Информативный Beta-prior
- Кейс: байесовский тест на 40 пользователях
- Кейс: сильный prior на малой выборке
- Beta-постериор конверсии на Python
- Вероятность, что B лучше A
- Сопряжённое распределение