«Метрика упала на 15%, что будете делать?» Самый частый метрический кейс на собесе продакта и аналитика. Проверяют не угадывание причины, а системность.
Шаг 1. Данные верны?
Прежде чем искать причину, убедитесь, что изменение реально:
- не сломался ли трекинг (новая версия приложения, изменение событий, блокировщики);
- не изменилось ли определение или расчёт (фильтры, часовой пояс, источник);
- не запоздали ли данные (неполный последний день);
- сверка с независимым источником (биллинг, база заказов).
Шаг 2. Форма и масштаб
- Резкая ступенька в конкретный момент: релиз, сбой, изменение настроек, выключенная кампания.
- Плавное снижение: тренд, сезонность, конкуренты, ухудшение качества трафика.
- Разовый провал с восстановлением: сбой, праздник, погода.
Насколько изменение больше обычного разброса? Колебание в 3% при обычных колебаниях 5% может быть шумом.
Шаг 3. Внешние и внутренние причины
Внешние: сезонность (сравните с тем же периодом прошлого года), праздники, погода, действия конкурентов, изменения в магазинах приложений, законах, платёжных системах.
Внутренние: релизы, A/B-тесты, изменения цен, маркетинга, ассортимента, сбои инфраструктуры.
Шаг 4. Декомпозиция
Разложите метрику на множители или слагаемые:
- выручка = пользователи × конверсия × частота × средний чек;
- заказы = новые + повторные;
- DAU = новые + вернувшиеся + реактивированные.
Найдите компонент, который изменился.
Шаг 5. Срезы
Платформа, версия приложения, страна и город, канал, новые и старые, устройство, браузер. Если проблема в одном срезе, это почти всегда локальная причина (баг, канал). Если во всех одинаково, причина общая.
Смена микса и парадокс Симпсона
Общая метрика это средневзвешенное по сегментам. Она может упасть, даже если в каждом сегменте выросла, если вырос вес сегмента с низким значением.
| Период A | Период B | |||
|---|---|---|---|---|
| визиты | конверсия | визиты | конверсия | |
| Десктоп | 5000 | 6% | 2000 | 6,5% |
| Мобильные | 5000 | 2% | 8000 | 2,2% |
| Итого | 10 000 | 4% | 10 000 | 3,06% |
Обе платформы улучшились, но общая конверсия упала, потому что трафик ушёл в мобильные. Вывод про «продукт стал хуже» был бы ошибкой.
Шаг 6. Гипотеза, проверка, действие
Сформулируйте 1-3 гипотезы, проверьте данными (или откатом, или экспериментом), исправьте, сообщите стейкхолдерам и добавьте алерт, чтобы следующий раз узнать за часы.
Метрика выросла
Неожиданный рост разбирают так же: это может быть бот, двойная отправка событий или ошибка расчёта.
Что спросят на собесе
- Метрика X упала на N%. Ваши шаги?
- Что такое парадокс Симпсона? Пример.
- Как отличить сезонность от проблемы?
- Как понять, что изменение не шум?