Выбор ответа Senior Проверка гипотез обновлено

Односторонний тест после просмотра данных

Вопрос

Двусторонний тест дал p = 0.08, эффект положительный. Аналитик предлагает «перейти на односторонний», тогда p = 0.04. Можно ли?

Попробуйте сами

Выберите вариант, и откроется разбор.

Показать ответ и разбор

Коротко

Правильный ответ: Нет: сторону выбирают до теста, иначе ошибка I рода удвоится. Если выбирать сторону после того, как увидели знак эффекта, реальная вероятность ложного срабатывания становится 10%, а не 5%.

Варианты ответа

  1. Да: эффект положительный, значит односторонний корректен
  2. Нет: сторону выбирают до теста, иначе ошибка I рода удвоитсяправильный ответ
  3. Да, если одновременно поменять α на 0.1 для честности
  4. Да, если пересчитать мощность под односторонний тест

Разбор

Если выбирать сторону после того, как увидели знак эффекта, реальная вероятность ложного срабатывания становится 10%, а не 5%. Односторонний тест допустим, только если до теста решили, что эффект в обратную сторону нас не интересует и не повлияет на решение. Смена α или пересчёт мощности тоже подгонка под результат.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.