Урок по треку Продуктовые метрики 5 мин

Дашборды и BI за 5 минут

Трекинг событий, качество данных, устройство дашборда, BI-инструменты и алерты.

Метрики полезны, только если данные верны, а нужные люди видят их вовремя.

Трекинг событий

План трекинга (tracking plan) это документ, где для каждого события записано: название, когда отправляется, свойства, кто владелец. Без него события называются по-разному в разных платформах, а аналитика ломается при каждом релизе.

Правила:

  • единый стиль имён: объект + действие в прошедшем времени, например order_completed, cart_item_added;
  • свойства вместо разных событий: не button_red_clicked и button_blue_clicked, а button_clicked со свойством color;
  • серверные события для денег и важных действий: клиентские теряются из-за блокировщиков и плохой сети;
  • идентификатор пользователя и устройства, чтобы склеивать вход до и после логина.

Качество данных

  • сверять ключевые числа с источником правды (биллинг, база заказов);
  • алерты на пропуски и аномалии в потоке событий;
  • исключать тестовые аккаунты, ботов, сотрудников;
  • версия определения метрики и журнал изменений.

Каким должен быть дашборд

  • Один вопрос, один дашборд: «как дела у онбординга», а не всё подряд.
  • Сверху ключевые метрики, ниже их разбивки.
  • Сравнение с прошлым периодом, планом или целью: число без контекста бесполезно.
  • Подписи определений и источника.
  • Минимум украшений, понятные оси, одинаковые шкалы на соседних графиках.
  • Владелец и дата обновления.

Типы: стратегический (руководству, раз в неделю или месяц), операционный (команде, каждый день), аналитический (для исследования, с фильтрами).

Инструменты

BI-системы строят дашборды поверх хранилища: Yandex DataLens, Apache Superset, Metabase, Power BI, Tableau, Looker. Продуктовая аналитика событий: AppMetrica, Amplitude, Mixpanel. Веб-аналитика: Яндекс Метрика. Хранилища для аналитики часто колоночные, например ClickHouse.

Алерты вместо разглядывания

Ключевые метрики должны сами сообщать о проблеме: падение конверсии оплаты на 20% за час, ноль событий с платформы. Порог учитывает обычный разброс и сезонность по часам и дням, иначе алерты будут шуметь и их начнут игнорировать.

Частые ошибки

  • 50 графиков на одном экране.
  • Нет сравнения и целей.
  • Разные определения одной метрики в разных дашбордах.
  • Клиентские события для выручки.

Что спросят на собесе

  • Как вы спроектируете дашборд для продукта X?
  • Что такое план трекинга и зачем он?
  • Как убедиться, что данным можно верить?
  • Какие BI-инструменты использовали?

Закрепите за 5 минут

После урока в тренажёре 3-5 проверочных вопросов, дальше модуль уходит в повторения.