Какая ошибка дороже
Вопрос
Как вы выбираете α и мощность для теста? Какая ошибка дороже в продукте?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
α и мощность задают цену ложного срабатывания и пропуска
Стандарт 5% и 80% не догма
Рискованное изменение (цены, платёжный поток): строже α, жёсткие guardrail
Дешёвые обратимые изменения: можно мягче α ради скорости
Пропуск эффекта дорог, если трафика мало и тестов мало
Решение фиксируется до теста
Что могут спросить следом
- Когда можно взять α = 0.1?
- Как учитывать то, что большинство идей не работает?
Разбор
α это цена ложного срабатывания: выкатили бесполезную или вредную вещь, β цена пропуска: выкинули работающую. Стандарт 5% и 80% это договорённость, а не закон. Если изменение рискованное и дорогое в поддержке, например новая модель цен или изменение платёжного потока, я держу строгий α и жёсткие guardrail-метрики. Если изменение дешёвое и легко откатывается, а трафика мало, иногда разумно ослабить α до 10% ради скорости, потому что пропущенные хорошие идеи тоже стоят денег. Ещё учитываю, что большинство идей в продукте не работает, и доля ложных среди «значимых» результатов выше, чем кажется по α. Всё это фиксирую в дизайне до запуска, а не после того, как увидел цифры.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.