Распределение описывает, какие значения принимает случайная величина и как часто. Знать нужно не формулы наизусть, а какие процессы каким распределением описываются и что из этого следует для тестов.
Дискретные
Бернулли. Один исход «да или нет» с вероятностью успеха p: купил или нет, кликнул или нет. Среднее p, дисперсия p(1 - p). Максимальная дисперсия при p = 0.5.
Биномиальное. Число успехов в n независимых испытаниях Бернулли с одинаковым p. Среднее np, дисперсия np(1 - p). Число покупок среди 1000 посетителей при конверсии 3% в среднем 30.
from math import comb
def binom_pmf(k, n, p):
return comb(n, k) * p**k * (1 - p)**(n - k)
binom_pmf(2, 10, 0.1) # 0.1937
Пуассона. Число событий за интервал, если события редкие и независимые: заказы в минуту, обращения в поддержку в час. Один параметр λ: он же среднее и он же дисперсия. Если в реальных данных дисперсия заметно больше среднего (сверхдисперсия), чистый Пуассон не подходит, это частая ситуация в продуктовых данных.
Геометрическое. Номер первого успеха: сколько попыток до первой покупки.
Непрерывные
Равномерное. Все значения на отрезке равновероятны. Так распределены p-value при верной нулевой гипотезе, это пригодится в A/A-тестах.
Нормальное. Колокол с параметрами μ и σ. Правило 68-95-99.7: в пределах одного, двух и трёх σ от среднего лежат примерно 68%, 95% и 99.7% значений. Точнее, 95% лежат в пределах 1.96σ.
from statistics import NormalDist
z = NormalDist() # стандартное нормальное
z.cdf(1.96) # 0.975
z.inv_cdf(0.975) # 1.96
Нормальное распределение важно не потому, что данные нормальны (обычно нет), а из-за центральной предельной теоремы: средние больших выборок распределены почти нормально.
Экспоненциальное. Время между событиями пуассоновского потока: время до следующего заказа. Свойство отсутствия памяти: если ждём уже 10 минут, вероятность прождать ещё 5 такая же, как с начала.
Логнормальное. Если логарифм величины нормален. Так часто выглядят деньги: чек, доход, выручка на пользователя. Длинный правый хвост, среднее сильно больше медианы.
t-распределение Стьюдента. Похоже на нормальное, но с тяжёлыми хвостами. Появляется, когда стандартное отклонение оценено по выборке. С ростом числа степеней свободы стремится к нормальному: при n больше 30-50 разница почти не видна.
Хи-квадрат. Распределение суммы квадратов стандартных нормальных величин. Используется в тесте хи-квадрат и для интервалов дисперсии.
PMF, PDF и CDF
- PMF (функция вероятности) для дискретных: P(X = k).
- PDF (плотность) для непрерывных. Плотность не вероятность: она может быть больше 1, а вероятность конкретной точки равна нулю. Вероятность это площадь под плотностью на отрезке.
- CDF (функция распределения): P(X ≤ x). Работает для обоих видов.
Смесь распределений
Выручка на пользователя обычно это смесь: большинство ничего не купили (ноль), остальные купили на логнормальную сумму. Поэтому её среднее и дисперсия ведут себя «плохо», а тесты для таких метрик требуют больших выборок или устойчивых методов.
Частые ошибки
- Считать, что t-тест требует нормальности самих данных. Требуется примерно нормальное распределение среднего, а это даёт ЦПТ на больших выборках.
- Путать плотность и вероятность.
- Применять Пуассона к данным со сверхдисперсией.
- Ожидать нормальности от денежных метрик.
Что спросят на собесе
- Какое распределение у числа покупок среди n посетителей?
- Чем распределение Пуассона отличается от биномиального и когда одно приближает другое?
- Почему денежные метрики часто логнормальные и что из этого следует?
- Чем плотность отличается от вероятности?
- Почему t-распределение, а не нормальное, и когда разница исчезает?