Выбор ответа Senior Множественные проверки обновлено
Подглядывание как множественные проверки
Вопрос
Аналитик проверяет p-value одного теста каждый день 30 дней и остановит тест при первом p < 0.05. Что происходит с ошибкой I рода?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сильно выше 5%: много проверок одной гипотезы. Каждый ежедневный взгляд это ещё одна проверка, и шанс хотя бы раз случайно пересечь порог растёт (до десятков процентов при 30 взглядах).
Варианты ответа
- Остаётся 5%, ведь тест и гипотеза одни
- Становится меньше 5%, потому что данных больше
- Сильно выше 5%: много проверок одной гипотезыправильный ответ
- Ровно 1 - 0.95^30 ≈ 79%, как для 30 тестов
Разбор
Каждый ежедневный взгляд это ещё одна проверка, и шанс хотя бы раз случайно пересечь порог растёт (до десятков процентов при 30 взглядах). Проверки сильно коррелированы, поэтому это не 1 - 0.95^30 ≈ 79%, а меньше, хотя и намного больше 5%. Решение: фиксированный горизонт или последовательные тесты (alpha spending, mSPRT).
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.