Выбор ответа Middle Проверка гипотез спрашивают часто обновлено
Значимо, но неважно
Вопрос
На 20 млн пользователей тест показал рост конверсии с 4.00% до 4.01%, p = 0.003. Что верно?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Значимо, но эффект крошечный: решать по его ценности. На огромной выборке даже ничтожный эффект даёт маленький p-value. p-value говорит, что эффект, скорее всего, не ноль, но ничего не говорит о его величине.
Варианты ответа
- Эффект большой, раз p-value так мало при такой выборке
- Значимость доказывает, что фичу надо выкатывать всем
- Значимо, но эффект крошечный: решать по его ценностиправильный ответ
- При таком p-value нужно перезапустить тест на меньшей выборке
Разбор
На огромной выборке даже ничтожный эффект даёт маленький p-value. p-value говорит, что эффект, скорее всего, не ноль, но ничего не говорит о его величине. Выкатывать или нет, решают размер эффекта, интервал, стоимость фичи и guardrail-метрики. Перезапуск ничего не добавит.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.