Объясните парадокс Симпсона
Вопрос
Объясните парадокс Симпсона на продуктовом примере и как не попасться в эту ловушку.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Определение: в каждой группе один тренд, в сумме обратный
Причина: изменение весов групп
Пример с платформами или каналами и числами
Как защищаться: смотреть метрики по сегментам и их доли
Стандартизация: пересчитать с прежними весами
Отделить эффект микса от эффекта внутри сегментов
Что могут спросить следом
- Как разложить изменение на эффект микса и эффект внутри сегментов?
- Где ещё это встречается?
Разбор
Парадокс Симпсона это когда в каждой группе метрика растёт, а в сумме падает, или наоборот. Причина в том, что общая метрика это средневзвешенное, и веса групп поменялись. Пример: конверсия десктопа выросла с 6 до 6,5%, мобильных с 2 до 2,2%, а общая упала с 4 до 3,06%, потому что доля мобильного трафика выросла с 50 до 80%. Защищаюсь так: всегда смотрю метрику по ключевым сегментам вместе с их долями. Можно пересчитать текущие значения с прошлыми весами: если стандартизованная метрика выросла, продукт стал лучше, а падение дал микс.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.
Термины по теме
Ещё по теме «Диагностика изменения метрики»
- Декомпозиция выручки
- Симптом и вероятная причина
- Порядок диагностики
- Шаги диагностики
- Метрика упала на 15%
- Первый шаг
- Неожиданный рост
- Метрика выросла