Выбор ответа Middle Байесовский подход обновлено
Кейс: байесовский тест на 40 пользователях
Вопрос
B2B-продукт: 40 клиентов в тесте. Менеджер предлагает «байесовский тест, потому что ему не нужна большая выборка». Что ответить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Posterior будет широким: малый эффект на 40 не увидеть. Малую выборку нельзя компенсировать сменой парадигмы: posterior будет широким, и решение почти случайным.
Варианты ответа
- Согласиться: байесовскому методу размер выборки не важен
- Posterior будет широким: малый эффект на 40 не увидетьправильный ответ
- Предложить t-тест: он работает на малых выборках лучше
- Взять сильный prior из истории, чтобы интервал сузился
Разбор
Малую выборку нельзя компенсировать сменой парадигмы: posterior будет широким, и решение почти случайным. Сильный prior сузит интервал только за счёт предположений, а t-тест страдает от той же нехватки данных. Честный ответ: оценить, какой эффект вообще различим, и дополнить тест качественными данными или более чувствительной метрикой.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.