Объяснить менеджеру вред подглядывания
Вопрос
Менеджер спрашивает: «Почему нельзя остановить тест, как только он стал значимым? Это же экономит время». Объясните.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
5% ошибки гарантированы только для одной проверки в конце
Каждая промежуточная проверка даёт ещё шанс случайно пересечь порог
При ежедневных проверках ложных побед в разы больше
Ранние дни не покрывают недельную сезонность и новизну
Если досрочная остановка нужна, её закладывают в дизайн: последовательные тесты
Промежуточно можно смотреть guardrail и SRM
Что могут спросить следом
- Как работает расходование альфы?
- А если эффект огромный, например +30%?
- Почему можно смотреть guardrail-метрики?
Разбор
Порог 0.05 означает: если эффекта нет, тест ошибочно покажет победу в 5% случаев, но только если мы смотрим один раз в конце. Когда смотрим каждый день, у случайного шума появляется двадцать-тридцать шансов нырнуть под порог, и при нулевом эффекте мы «победим» гораздо чаще. Это как бросать монету до первой серии из пяти орлов: при достаточном числе бросков серия обязательно выпадет. Вдобавок первые дни не покрывают выходные и полны эффекта новизны. Если бизнесу важно останавливать раньше, есть последовательные тесты: заранее планируем несколько проверок с очень строгим порогом на ранних, и общая ошибка остаётся 5%. А смотреть по ходу на поломки, guardrail и SRM можно и нужно: это решение «остановить вредный тест», а не «объявить победу».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.