Выбор ответа Middle Дизайн A/B-теста обновлено
Порог для SRM-проверки
Вопрос
Почему SRM обычно проверяют с порогом p < 0.001, а не 0.05?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: SRM проверяют на каждом тесте, при 0.05 тревога в каждом двадцатом. SRM-проверку запускают автоматически на всех тестах и часто много раз.
Варианты ответа
- SRM проверяют на каждом тесте, при 0.05 тревога в каждом двадцатомправильный ответ
- Так хи-квадрат точнее на больших выборках и не завышает статистику
- При пороге 0.05 SRM не находится вообще из-за малой мощности
- Порог 0.001 нужен для групп 50/50, а для 10/90 берут 0.05
Разбор
SRM-проверку запускают автоматически на всех тестах и часто много раз. При пороге 0.05 каждый двадцатый здоровый тест получал бы тревогу. Строгий порог оставляет тревоги для реальных поломок, а реальный SRM на больших выборках даёт p-value на порядки меньше. Точность критерия и соотношение групп тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.