Как рассчитать размер и длительность теста
Вопрос
Вы планируете A/B-тест новой страницы оплаты. Как рассчитаете размер выборки и длительность?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Целевая метрика и её базовое значение и дисперсия по историческим данным
MDE из экономики изменения
α и мощность (обычно 5% и 80%), двусторонний тест
Формула или калькулятор: n на группу
Длительность по трафику, минимум полная неделя
Если долго: снижение дисперсии, прокси-метрика, больший MDE
Что могут спросить следом
- Как изменится расчёт для ratio-метрики?
- Что делать, если трафик сильно колеблется по дням?
- Как учесть несколько тестовых групп?
Разбор
Беру целевую метрику, например конверсию в оплату, и по историческим данным оцениваю её уровень и дисперсию, для доли это p(1 - p). Вместе с продактом выбираю MDE: какой минимальный рост окупает изменение или реалистичен, и уточняю, абсолютный он или относительный. Фиксирую α = 5% и мощность 80%, тест двусторонний. По формуле n = (z₁₋α/₂ + z₁₋β)² · 2σ²/δ² получаю размер на группу, умножаю на число групп и делю на дневной трафик, который реально попадёт в тест. Округляю до целых недель, минимум одна полная. Если выходит слишком долго, ищу, как снизить дисперсию (CUPED, винзоризация), беру метрику ближе к изменению или пересматриваю MDE. Всё это фиксирую в дизайне до запуска.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.