Выбор ответа Senior t-тест и z-тест обновлено
Односторонний тест после взгляда на данные
Вопрос
Двусторонний тест дал p = 0.08. Аналитик видит, что B больше A, и переходит на односторонний тест: p = 0.04. Что не так?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Сторона выбрана по данным: реальная ошибка выше 5%. Выбор стороны после взгляда на знак эффекта удваивает шанс ложной находки: по сути это двусторонний тест на уровне 10%.
Варианты ответа
- Всё верно: односторонний тест мощнее, и его можно выбрать
- Сторона выбрана по данным: реальная ошибка выше 5%правильный ответ
- Односторонние тесты запрещены в A/B по стандартам
- p-value одностороннего теста больше, вывод не меняется
Разбор
Выбор стороны после взгляда на знак эффекта удваивает шанс ложной находки: по сути это двусторонний тест на уровне 10%. Односторонний тест допустим, если направление зафиксировано до эксперимента и эффект в другую сторону не меняет решения. Запрета нет, а p-value одностороннего теста в сторону эффекта как раз вдвое меньше.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.