Выбор ответа Middle Мощность и размер выборки спрашивают часто обновлено
Кейс: тест на маленьком трафике
Вопрос
Расчёт показал: чтобы поймать ожидаемый эффект +3% на конверсии, нужно 9 месяцев трафика. Продакт хочет запустить тест на 2 недели «и посмотреть». Что предложить?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: За 2 недели ничего не увидеть: менять MDE, метрику, дисперсию. При мощности в несколько процентов незначимый результат ничего не скажет, а случайное значимое срабатывание сильно завысит эффект.
Варианты ответа
- Запустить на 2 недели и решить по p-value
- Запустить на 2 недели, но с α = 0.2
- За 2 недели ничего не увидеть: менять MDE, метрику, дисперсиюправильный ответ
- Запустить и останавливать, как только станет значимо
Разбор
При мощности в несколько процентов незначимый результат ничего не скажет, а случайное значимое срабатывание сильно завысит эффект. Рабочие варианты: прокси-метрика ближе к изменению (клик по кнопке вместо покупки), CUPED, больший MDE (смелое изменение), объединение трафика. Ослабить α до 0.2 значит смириться с 20% ложных срабатываний, а остановка по значимости это подглядывание.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.