Выбор ответа Junior Ловушки A/B спрашивают часто обновлено
Сегменты после теста
Вопрос
Тест не прокрасился. Аналитик проверил 20 сегментов и нашёл значимый рост у одного (p = 0.03). Как к этому относиться?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Как к гипотезе для нового теста: при 20 проверках это ожидаемо. При 20 независимых проверках шанс хотя бы одного p < 0.05 без всякого эффекта около 64%.
Варианты ответа
- Как к гипотезе для нового теста: при 20 проверках это ожидаемоправильный ответ
- Выкатить изменение на этот сегмент, раз там рост значим
- Применить ко всем: раз где-то работает, значит работает везде
- Увеличить порог до 0.1 и проверить ещё десяток сегментов
Разбор
При 20 независимых проверках шанс хотя бы одного p < 0.05 без всякого эффекта около 64%. Найденный сегмент это гипотеза, которую проверяют отдельным тестом с заранее заданным сегментом. Выкатка по нему или на всех основана на шуме, а ослабление порога только добавит ложных находок.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.