Выбор ответа Senior Распределения обновлено
Распределение p-value в A/A-тестах
Вопрос
Вы запустили 1000 A/A-тестов (группы одинаковые) с непрерывной метрикой и правильным тестом. Как должны распределиться p-value?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Равномерно от 0 до 1, около 5% ниже 0.05. При верной H0 и корректном тесте p-value равномерно распределено на [0; 1], поэтому доля p < 0.05 равна 5%: это и есть ошибка I рода.
Варианты ответа
- Почти все около 1, раз эффекта нет
- Нормально вокруг 0.5 с узким разбросом
- Почти все меньше 0.05 из-за большой выборки
- Равномерно от 0 до 1, около 5% ниже 0.05правильный ответ
Разбор
При верной H0 и корректном тесте p-value равномерно распределено на [0; 1], поэтому доля p < 0.05 равна 5%: это и есть ошибка I рода. Перекос к нулю означает, что тест врёт (например, неучтённая зависимость наблюдений). Скопление около 1 или колокол вокруг 0.5 тоже признак неверного метода.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.