Метрика упала на 15%
Вопрос
Число оплаченных заказов за неделю упало на 15%. Опишите свои шаги.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Проверка данных: трекинг, расчёт, сверка с биллингом
Форма и момент, сравнение с обычным разбросом и прошлым годом
Внешние причины: сезон, праздники, конкуренты, платёжные сбои
Внутренние: релизы, эксперименты, цены, маркетинг
Декомпозиция и срезы: платформа, версия, регион, канал, новые и старые
Гипотеза, проверка, исправление, коммуникация, алерт
Что могут спросить следом
- Что если все срезы упали одинаково?
- Что если причина в смене микса трафика?
- Как вы сообщите о проблеме руководству?
Разбор
Сначала проверяю, что падение реально: сверяю число оплат в аналитике с биллингом, смотрю, не менялись ли события и не загружены ли данные частично. Потом форма: ступенька в конкретный день или плавное снижение, и выходит ли оно за обычный разброс. Сравниваю с той же неделей прошлого года. Проверяю внешние факторы: праздники, погоду, акции конкурентов, сбои платёжных систем. И внутренние: релизы, эксперименты, изменения цен и рекламы. Раскладываю заказы на пользователей, конверсию и частоту и режу по платформе, версии, региону, каналу, новым и старым. Например, если упали только новые из одного канала, вопрос к закупке. Если только последняя версия Android, это баг. Проверяю гипотезу, исправляю, сообщаю стейкхолдерам и ставлю алерт.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Диагностика изменения метрики»
- Декомпозиция выручки
- Симптом и вероятная причина
- Порядок диагностики
- Неожиданный рост
- Метрика выросла
- Вклад смены микса
- Смена микса
- Шум или сигнал