Мощность на малом трафике

Сначала считаю, какой MDE доступен: при 2000 компаниях он часто десятки процентов, и мелкие улучшения тестом не увидеть. Поэтому выбираю метрики ближе к изменению, например использование функции, а не выручку, и снижаю дисперсию: CUPED на доэкспериментальном поведении и стратификация по размеру клиента, чтобы крупные компании не оказались все в одной группе. Тестирую смелые изменения с большим ожидаемым эффектом и держу тесты дольше. Где тест невозможен, использую поэтапный запуск с мониторингом, качественные интервью и сравнение до и после с оговорками. И главное правило: незначимый результат на маленьком трафике это «не знаем», а не «не работает».