Какие распределения встречаются в продуктовых метриках
Вопрос
Расскажите, какие распределения встречаются в продуктовой аналитике и что из этого следует для анализа.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Бинарные метрики (конверсия): Бернулли и биномиальное, дисперсия p(1 - p)
Счётные (заказы, обращения): Пуассон, но часто сверхдисперсия
Деньги: логнормальные с тяжёлым хвостом, плюс много нулей
Время между событиями: экспоненциальное
Средние по большим выборкам почти нормальны благодаря ЦПТ
Выбор теста и размер выборки зависят от формы и дисперсии
Что могут спросить следом
- Почему выручка на пользователя такая «плохая» метрика для тестов?
- Что такое zero-inflated данные?
- Когда ЦПТ не спасает?
Разбор
Конверсия, клик, удержание это бинарные метрики: каждое наблюдение Бернулли, сумма биномиальная, дисперсия p(1 - p) известна по самой доле. Счётные метрики, например число заказов, в теории пуассоновские, но в жизни у них почти всегда дисперсия больше среднего, потому что пользователи разные. Деньги обычно логнормальные с длинным хвостом, а выручка на пользователя ещё и смесь: большинство не платит, ноль, платящие дают скошенную сумму. Время между событиями похоже на экспоненциальное. Для тестов важно, что ЦПТ делает почти нормальным среднее, а не данные, и для тяжёлых хвостов нужны большие выборки, поэтому денежные метрики винзоризуют, логарифмируют или используют бутстреп.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.