Выбор ответа Senior Множественные проверки спрашивают часто обновлено
A/B: из 40 метрик прокрасились 3
Вопрос
В отчёте теста 40 метрик. Главная метрика не изменилась, зато прокрасились «глубина просмотра», «доля ночных сессий» и «клики по футеру» (p от 0.01 до 0.04). Продукт хочет считать тест успешным. Что ответить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Решает главная метрика, 2-3 значимых из 40 ожидаются случайно. При 40 проверках на уровне 0.05 случайно ожидается около двух значимых метрик, поэтому три находки шумом объясняются легко.
Варианты ответа
- Тест успешный: три метрики значимо выросли, это эффект
- Тест провален, а все 40 метрик надо выбросить из отчёта
- Посчитать среднее p-value по всем метрикам и решить по нему
- Решает главная метрика, 2-3 значимых из 40 ожидаются случайноправильный ответ
Разбор
При 40 проверках на уровне 0.05 случайно ожидается около двух значимых метрик, поэтому три находки шумом объясняются легко. Метрику решения выбирают до теста, и она не изменилась. Выбрасывать вспомогательные метрики не нужно: они помогают понять механику и придумать следующие гипотезы. Среднее p-value не имеет статистического смысла.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.