Ответ вслух Middle Распределения обновлено

Какие распределения встречаются в продуктовых метриках

Вопрос

Расскажите, какие распределения встречаются в продуктовой аналитике и что из этого следует для анализа.

Попробуйте сами

Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.

Показать ответ и разбор

Коротко

Конверсия, клик, удержание это бинарные метрики: каждое наблюдение Бернулли, сумма биномиальная, дисперсия p(1 - p) известна по самой доле. Счётные метрики, например число заказов, в теории пуассоновские, но в жизни у них почти всегда дисперсия больше среднего, потому что пользователи разные.

Что должно прозвучать в ответе

  • Бинарные метрики (конверсия): Бернулли и биномиальное, дисперсия p(1 - p)

  • Счётные (заказы, обращения): Пуассон, но часто сверхдисперсия

  • Деньги: логнормальные с тяжёлым хвостом, плюс много нулей

  • Время между событиями: экспоненциальное

  • Средние по большим выборкам почти нормальны благодаря ЦПТ

  • Выбор теста и размер выборки зависят от формы и дисперсии

Что могут спросить следом

  • Почему выручка на пользователя такая «плохая» метрика для тестов?
  • Что такое zero-inflated данные?
  • Когда ЦПТ не спасает?

Разбор

Конверсия, клик, удержание это бинарные метрики: каждое наблюдение Бернулли, сумма биномиальная, дисперсия p(1 - p) известна по самой доле. Счётные метрики, например число заказов, в теории пуассоновские, но в жизни у них почти всегда дисперсия больше среднего, потому что пользователи разные. Деньги обычно логнормальные с длинным хвостом, а выручка на пользователя ещё и смесь: большинство не платит, ноль, платящие дают скошенную сумму. Время между событиями похоже на экспоненциальное. Для тестов важно, что ЦПТ делает почти нормальным среднее, а не данные, и для тяжёлых хвостов нужны большие выборки, поэтому денежные метрики винзоризуют, логарифмируют или используют бутстреп.

Ответьте сами, а не прочитайте

В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.