Выбор ответа Middle Множественные проверки спрашивают часто обновлено
A/B: эффект нашёлся только в одном сегменте
Вопрос
В целом тест не значим (p = 0.4). Аналитик разбил результат на 24 сегмента (платформа × город × новый/старый) и нашёл: «iOS, Казань, новые» +15%, p = 0.02. Что делать?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Шум при 24 проверках: проверить сегмент отдельным тестом. При 24 проверках хотя бы одна «значимая» на уровне 0.05 почти неизбежна.
Варианты ответа
- Раскатить фичу на этот сегмент, раз там эффект значим
- Шум при 24 проверках: проверить сегмент отдельным тестомправильный ответ
- Сделать поправку Бонферрони и раскатить, если p < 0.05
- Увеличить тест вдвое и смотреть снова все 24 сегмента
Разбор
При 24 проверках хотя бы одна «значимая» на уровне 0.05 почти неизбежна. Сегмент, выбранный после взгляда на данные, это гипотеза, а не вывод. Поправка Бонферрони тут даёт порог 0.002, и 0.02 его не проходит, раскатывать нечего. Повторный перебор тех же 24 сегментов на большей выборке оставляет ту же проблему.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.