Выбор ответа Junior Ловушки A/B спрашивают часто обновлено
Почему нельзя подглядывать в A/B-тест
Вопрос
Аналитик каждый день смотрит p-value и останавливает тест, как только p < 0.05. Что происходит с долей ложных побед?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Растёт выше 5%: p-value блуждает и ныряет под порог. Гарантия 5% относится к одной проверке при заранее заданной выборке.
Варианты ответа
- Остаётся 5%: порог одинаковый на каждой проверке
- Уменьшается: тест останавливается раньше и меньше шумит
- Растёт выше 5%: p-value блуждает и ныряет под порогправильный ответ
- Зависит от размера выборки, а не от числа проверок
Разбор
Гарантия 5% относится к одной проверке при заранее заданной выборке. Каждая промежуточная проверка даёт ещё один шанс случайно пересечь порог, и при ежедневных взглядах ложных побед становится в разы больше. Ранняя остановка не уменьшает ошибку, а именно и создаёт её. Число проверок как раз ключевой фактор.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.