По порядку Middle Гипотезы, MVP и эксперименты обновлено
Этапы A/B-теста
Вопрос
Расставьте этапы эксперимента по порядку.
Попробуйте сами
Расставьте шаги по порядку стрелками.
- 1Выбрать защитные метрики и минимальный эффект
- 2Принять решение по заранее заданному правилу
- 3Сформулировать гипотезу и главную метрику
- 4Рассчитать размер выборки и длительность
- 5Дождаться запланированного срока и подвести итог
- 6Запустить и проверить корректность деления
Показать ответ и разбор
Коротко
Все решения о метриках и выборке принимаются до запуска. Иначе появляется соблазн подогнать анализ под желаемый результат.
Правильный порядок
- 1Сформулировать гипотезу и главную метрику
- 2Выбрать защитные метрики и минимальный эффект
- 3Рассчитать размер выборки и длительность
- 4Запустить и проверить корректность деления
- 5Дождаться запланированного срока и подвести итог
- 6Принять решение по заранее заданному правилу
Разбор
Все решения о метриках и выборке принимаются до запуска. Иначе появляется соблазн подогнать анализ под желаемый результат.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Гипотезы, MVP и эксперименты»
- Конфликт метрик
- Фейковая дверь
- Проверяемая гипотеза
- Защитная метрика
- Защитные метрики
- Шаблон гипотезы
- Четыре риска
- MVP для идеи