Метрика это число, которое помогает принять решение. Если от значения метрики ничего не зависит, это не метрика, а украшение дашборда.
Абсолютные и относительные
- Абсолютные (счётчики): число заказов, выручка, DAU. Показывают масштаб, но растут просто вместе с аудиторией.
- Относительные (доли и отношения): конверсия, retention, средний чек. Показывают качество и их можно сравнивать между периодами и сегментами.
Хорошая практика: смотреть пару «счётчик + доля». Заказы выросли на 10%, а конверсия упала? Значит, рост дал трафик, а продукт стал хуже конвертировать.
Опережающие и запаздывающие
- Запаздывающие (lagging): выручка, отток за квартал, LTV. Важны, но узнаём о них поздно и повлиять уже трудно.
- Опережающие (leading): активация в первый день, число ключевых действий в неделю. Меняются быстро и предсказывают запаздывающие.
Команда работает с опережающими метриками, бизнес смотрит на запаздывающие. Связь между ними надо проверять на данных.
Метрики тщеславия
Vanity metrics красиво растут и ничего не говорят о ценности: число скачиваний за всё время, просмотры страницы, зарегистрированные пользователи нарастающим итогом. Признак: метрика только растёт и не подсказывает, что делать.
Свойства хорошей метрики
- Понятная: определение в одну фразу, все понимают одинаково.
- Чувствительная: меняется, когда меняется поведение, и в разумные сроки.
- Связанная с ценностью и с бизнес-результатом.
- Управляемая: команда может на неё влиять.
- Сравнимая: доля или нормированная, чтобы сравнивать периоды.
- Устойчивая к накрутке: её трудно улучшить, не улучшив продукт.
Определение метрики
У каждой метрики должно быть точное определение: что считаем, по каким пользователям, за какой период, с какими исключениями (тестовые аккаунты, боты, возвраты). «Активный пользователь» в двух отделах часто означает разное, и тогда цифры не сходятся.
Типы метрик в эксперименте
- Целевая (главная): по ней принимаем решение.
- Защитные (guardrail): не должны ухудшиться.
- Вспомогательные: объясняют, почему изменилась целевая.
Частые ошибки
- Смотреть только на счётчики и радоваться росту, который дал трафик.
- Менять определение метрики без версии и пометки.
- Ставить цели по метрике, которую легко накрутить.
Что спросят на собесе
- Чем опережающая метрика отличается от запаздывающей? Примеры.
- Что такое метрики тщеславия?
- Какими свойствами должна обладать хорошая метрика?
- Почему нужно смотреть и на абсолютные, и на относительные метрики?