Выбор ответа Senior Проверка гипотез обновлено
A/A-тесты с 15% значимых
Вопрос
Платформа экспериментов прогнала 200 A/A-тестов (группы идентичны), и 30 из них значимы при α = 0.05. О чём это говорит?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: 15% вместо 5%: метод врёт (зависимость или сплит). В A/A ожидается около 5% значимых, то есть около 10 из 200.
Варианты ответа
- Всё нормально, это случайность при 200 тестах
- Нужно снизить α до 0.01, и доля станет нормальной
- Платформа работает идеально: она очень чувствительная
- 15% вместо 5%: метод врёт (зависимость или сплит)правильный ответ
Разбор
В A/A ожидается около 5% значимых, то есть около 10 из 200. 30 далеко за пределами случайного разброса: настоящая ошибка I рода выше заявленной. Частые причины: дисперсия считается не по единице рандомизации, ratio-метрики без дельта-метода, кривой сплит. Снижение α замаскирует проблему, а не исправит её.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.