Выбор ответа Senior Ловушки A/B обновлено
Как останавливать тест досрочно корректно
Вопрос
Бизнес хочет иметь право остановить тест досрочно при явном эффекте. Что предложить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Последовательный дизайн с расходованием альфы или mSPRT. Последовательные методы (заранее заданные промежуточные проверки с границами О'Брайена-Флеминга или mSPRT) учитывают число и время проверок и сохраняют общую ошибку первого рода на уровне α: на ранних проверках порог очень строгий.
Варианты ответа
- Последовательный дизайн с расходованием альфы или mSPRTправильный ответ
- Проверять каждый день с порогом 0.05, но если эффект больше MDE
- Смотреть каждый день и стоп при p < 0.05 два дня подряд
- Удвоить выборку, тогда подглядывание почти не влияет
Разбор
Последовательные методы (заранее заданные промежуточные проверки с границами О'Брайена-Флеминга или mSPRT) учитывают число и время проверок и сохраняют общую ошибку первого рода на уровне α: на ранних проверках порог очень строгий. Условие на величину эффекта или «два дня подряд» снижают, но не контролируют инфляцию ошибки. Увеличение выборки не отменяет многократных проверок.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.