Ответ вслух Middle Диагностика изменения метрики спрашивают часто обновлено

Метрика упала на 15%

Вопрос

Число оплаченных заказов за неделю упало на 15%. Опишите свои шаги.

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Сначала проверяю, что падение реально: сверяю число оплат в аналитике с биллингом, смотрю, не менялись ли события и не загружены ли данные частично. Потом форма: ступенька в конкретный день или плавное снижение, и выходит ли оно за обычный разброс.

Что должно прозвучать в ответе

  • Проверка данных: трекинг, расчёт, сверка с биллингом

  • Форма и момент, сравнение с обычным разбросом и прошлым годом

  • Внешние причины: сезон, праздники, конкуренты, платёжные сбои

  • Внутренние: релизы, эксперименты, цены, маркетинг

  • Декомпозиция и срезы: платформа, версия, регион, канал, новые и старые

  • Гипотеза, проверка, исправление, коммуникация, алерт

Что могут спросить следом

  • Что если все срезы упали одинаково?
  • Что если причина в смене микса трафика?
  • Как вы сообщите о проблеме руководству?

Разбор

Сначала проверяю, что падение реально: сверяю число оплат в аналитике с биллингом, смотрю, не менялись ли события и не загружены ли данные частично. Потом форма: ступенька в конкретный день или плавное снижение, и выходит ли оно за обычный разброс. Сравниваю с той же неделей прошлого года. Проверяю внешние факторы: праздники, погоду, акции конкурентов, сбои платёжных систем. И внутренние: релизы, эксперименты, изменения цен и рекламы. Раскладываю заказы на пользователей, конверсию и частоту и режу по платформе, версии, региону, каналу, новым и старым. Например, если упали только новые из одного канала, вопрос к закупке. Если только последняя версия Android, это баг. Проверяю гипотезу, исправляю, сообщаю стейкхолдерам и ставлю алерт.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.