Выбор ответа Senior Байесовский подход спрашивают часто обновлено
Байесовский тест и подглядывание
Вопрос
Команда перешла на байесовский A/B и останавливает тест, как только P(B > A) > 95%, проверяя каждый день. Что верно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: При нулевом эффекте такое правило чаще даёт ложные выкатки. Апостериорное распределение математически корректно при любой остановке, но частота ошибочных решений при правиле «стоп при первом пересечении порога» растёт так же, как при частотном подглядывании, чаще, чем при одной проверке в конце.
Варианты ответа
- Проблем нет: posterior корректен в любой момент, подглядывание не влияет
- Достаточно взять более сильный prior, и проблема исчезнет
- Байесовский подход запрещает промежуточные проверки
- При нулевом эффекте такое правило чаще даёт ложные выкаткиправильный ответ
Разбор
Апостериорное распределение математически корректно при любой остановке, но частота ошибочных решений при правиле «стоп при первом пересечении порога» растёт так же, как при частотном подглядывании, чаще, чем при одной проверке в конце. Более сильный prior лишь замедляет пересечение. Промежуточные проверки не запрещены, но решение по ним требует продуманного правила, например на ожидаемых потерях и минимальной выборке.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Байесовский подход»
- Формула Байеса: тест на редкую болезнь
- Среднее Beta-распределения
- Информативный Beta-prior
- Обновление Beta-распределения
- Кейс: правило остановки по ожидаемым потерям
- Кейс: P(B > A) = 96%
- Кейс: байесовский тест на 40 пользователях
- Кейс: сильный prior на малой выборке