Метрика упала на 15%
Вопрос
Число заказов в приложении доставки упало на 15% за неделю. Что вы будете делать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Проверить данные и трекинг
Форма и момент: резко или плавно, с какого дня
Внешние причины: сезон, праздники, погода, конкуренты, сбои
Внутренние: релизы, эксперименты, цены, маркетинг
Декомпозиция: пользователи × конверсия × частота, срезы по платформе, версии, региону, новым и старым
Гипотеза, проверка, план исправления и коммуникация
Что могут спросить следом
- Что если упало только на Android?
- Как отличить сезонность от проблемы?
- Кого и когда вы проинформируете?
Разбор
Сначала проверю данные: сравню с бэкендом и платёжными данными, нет ли поломки трекинга. Если падение реальное, смотрю форму: ступенька в конкретный день указывает на событие, плавное снижение на тренд. Проверяю внешнее: прошлогодний период, праздники, погоду, акции конкурентов, сбои платёжного провайдера. Затем внутреннее: релизы, эксперименты, изменения цен и доставки, маркетинговые кампании. Раскладываю заказы на число активных пользователей, конверсию в заказ и частоту, и режу по платформе, версии, региону, каналу, новым и старым. Например, если упала конверсия только на последней версии Android, вероятен баг в оформлении. Проверяю гипотезу, исправляю, сообщаю стейкхолдерам и ставлю алерт, чтобы ловить такое за часы, а не за неделю.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.