Карточка Senior Байесовский подход обновлено
Ожидаемые потери в байесовском A/B
Вопрос
Что такое ожидаемые потери (expected loss) в байесовском A/B?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Средняя величина, которую потеряем, если выберем B, а лучше окажется A: E[max(pA - pB, 0)] по posterior. Правило решения: выкатывать, когда потери ниже допустимого порога.
Ответ
Средняя величина, которую потеряем, если выберем B, а лучше окажется A: E[max(p_A - p_B, 0)] по posterior. Правило решения: выкатывать, когда потери ниже допустимого порога. Учитывает и вероятность ошибки, и её размер.
Разбор
Средняя величина, которую потеряем, если выберем B, а лучше окажется A: E[max(p_A - p_B, 0)] по posterior. Правило решения: выкатывать, когда потери ниже допустимого порога. Учитывает и вероятность ошибки, и её размер.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Байесовский подход»
- Формула Байеса: тест на редкую болезнь
- Среднее Beta-распределения
- Информативный Beta-prior
- Обновление Beta-распределения
- Кейс: правило остановки по ожидаемым потерям
- Кейс: P(B > A) = 96%
- Кейс: байесовский тест на 40 пользователях
- Кейс: сильный prior на малой выборке