Ответ вслух Senior Диагностика изменения метрики обновлено

Объясните парадокс Симпсона

Вопрос

Объясните парадокс Симпсона на продуктовом примере и как не попасться в эту ловушку.

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Парадокс Симпсона это когда в каждой группе метрика растёт, а в сумме падает, или наоборот. Причина в том, что общая метрика это средневзвешенное, и веса групп поменялись.

Что должно прозвучать в ответе

  • Определение: в каждой группе один тренд, в сумме обратный

  • Причина: изменение весов групп

  • Пример с платформами или каналами и числами

  • Как защищаться: смотреть метрики по сегментам и их доли

  • Стандартизация: пересчитать с прежними весами

  • Отделить эффект микса от эффекта внутри сегментов

Что могут спросить следом

  • Как разложить изменение на эффект микса и эффект внутри сегментов?
  • Где ещё это встречается?

Разбор

Парадокс Симпсона это когда в каждой группе метрика растёт, а в сумме падает, или наоборот. Причина в том, что общая метрика это средневзвешенное, и веса групп поменялись. Пример: конверсия десктопа выросла с 6 до 6,5%, мобильных с 2 до 2,2%, а общая упала с 4 до 3,06%, потому что доля мобильного трафика выросла с 50 до 80%. Защищаюсь так: всегда смотрю метрику по ключевым сегментам вместе с их долями. Можно пересчитать текущие значения с прошлыми весами: если стандартизованная метрика выросла, продукт стал лучше, а падение дал микс.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.