Кейс: сильный prior на малой выборке
Вопрос
В тесте 300 пользователей на группу. Аналитик взял prior Beta(500, 9500) из истории (конверсия 5%), и posterior в обеих группах почти совпадает с prior. P(B > A) = 55%. Что верно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Варианты ответа
- Prior весит как 10 000 наблюдений против 300: проверить слабееправильный ответ
- Тест доказал, что эффекта нет: posterior совпадает в группах
- Нужно заменить prior на Beta(0, 0), он полностью нейтрален
- Подобрать prior так, чтобы P(B > A) стало больше 95%
Разбор
Beta(500, 9500) эквивалентен 10 000 псевдонаблюдений, данные из 300 пользователей его почти не сдвигают. Вывод «эффекта нет» в основном следствие prior. Нормальная практика: анализ чувствительности к более слабому prior и достаточная выборка. Beta(0, 0) несобственный и не решает проблему малых данных, а подбор prior под желаемый ответ это подгонка.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Предыдущий вопрос
Кейс: байесовский тест на 40 пользователях
Следующий вопрос
Beta-постериор конверсии на Python