Объясните p-value продакту
Вопрос
Объясните продакт-менеджеру без формул, что такое p-value и как читать результат теста.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Предполагаем, что эффекта нет
p-value: как часто случайность дала бы такую же или большую разницу
Маленький p-value: случайностью объяснить трудно, отвергаем H0
Не вероятность того, что гипотеза верна, и не размер эффекта
Порог α выбран заранее, обычно 5%
Большой p-value: эффект не доказан, а не доказано отсутствие
Что могут спросить следом
- Почему p = 0.04 не значит «B лучше с вероятностью 96%»?
- Что вы скажете, если p = 0.051?
- Почему маленький p-value на миллионах пользователей ещё не повод выкатывать?
Разбор
Представим, что новая версия на самом деле ничего не меняет. Даже тогда группы будут немного отличаться из-за случайности. p-value отвечает на вопрос: если эффекта нет, как часто мы бы увидели разницу такую же или больше, чем сейчас? Если это случалось бы, скажем, в 2% запусков, то объяснять результат случайностью неправдоподобно, и мы считаем эффект реальным. Порог, обычно 5%, выбираем до теста. Важно, чем p-value не является: это не вероятность того, что новая версия лучше, и не размер эффекта, на большом трафике даже копеечный эффект даёт крошечный p-value. А если p-value большой, это значит «не смогли доказать», а не «доказали, что не работает». Поэтому рядом всегда смотрим интервал эффекта.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.