Функции потерь не берутся с потолка: MSE и кросс-энтропия выводятся из метода максимального правдоподобия, а регуляризация из априорного распределения. Это любимая тема собеседований DS, особенно на middle и senior.
Базовые распределения
| Распределение | Что описывает | Среднее | Дисперсия |
|---|---|---|---|
| Бернулли(p) | один исход «да или нет» | p | p(1-p) |
| Биномиальное(n, p) | число успехов в n испытаниях | np | np(1-p) |
| Пуассона(λ) | число событий за интервал | λ | λ |
| Нормальное(μ, σ²) | сумма многих мелких эффектов | μ | σ² |
| Экспоненциальное(λ) | время до события | 1/λ | 1/λ² |
Полезные факты:
- правило 68-95-99.7 для нормального: доля значений в ±1σ, ±2σ, ±3σ;
- у Пуассона среднее равно дисперсии; если дисперсия в данных больше, берут отрицательное биномиальное;
- экспоненциальное не имеет памяти: ожидаемое оставшееся время не зависит от прошедшего.
Правдоподобие и MLE
Правдоподобие это вероятность данных как функция параметров: L(θ) = Π p(xᵢ | θ). Оценка максимального правдоподобия выбирает θ, при которых данные наиболее вероятны.
Максимизируют логарифм: произведение становится суммой, нет underflow, а точка максимума не меняется.
Примеры:
- Бернулли: MLE p = k/n. Из 10 бросков 7 орлов, p = 0.7.
- Нормальное: μ = выборочное среднее, σ² = (1/n)Σ(xᵢ - x̄)². Эта оценка дисперсии смещена вниз, несмещённая делит на n - 1.
Функции потерь как MLE
- y = f(x) + ε, ε ~ N(0, σ²): отрицательный log-likelihood пропорционален Σ(y - f(x))², это MSE.
- Шум по Лапласу даёт MAE, то есть оценку медианы.
- y ~ Бернулли(σ(f(x))): получается binary cross-entropy.
- Категориальное распределение с softmax даёт кросс-энтропию для многих классов.
- Счётчики (число покупок): пуассоновское правдоподобие.
Так выбирают лосс осознанно: от предположения о шуме.
MAP и регуляризация
MAP максимизирует апостериорную вероятность:
θ_MAP = argmax [ log P(D | θ) + log P(θ) ]
- Гауссов приор на веса N(0, τ²) даёт L2 (ridge).
- Лапласов приор даёт L1 (lasso) и разреженные веса.
- Плоский приор даёт MAP = MLE.
Когда данных много, правдоподобие перевешивает приор, и оценки сближаются.
Сопряжённые приоры
Если апостериор из того же семейства, что и приор, обновление делается формулой. Главный пример: бета-приор для доли.
приор Beta(a, b), k успехов из n
апостериор Beta(a + k, b + n - k)
MAP = (k + a - 1) / (n + a + b - 2)
Из 10 бросков 7 орлов с приором Beta(2, 2): апостериор Beta(9, 5), MAP = 8/12 ≈ 0.67. На практике так сглаживают CTR новых объявлений: 1 клик из 2 показов не означает CTR 50%.
Частые ошибки
- Путать дисперсию биномиального и пуассоновского.
- Считать MLE дисперсии несмещённой.
- Не знать, откуда берутся MSE и кросс-энтропия.
- Думать, что MAP всегда сильно отличается от MLE: при больших данных они сходятся.
Что спросят на собесе
- Какое распределение у числа событий, времени ожидания, доли конверсий.
- Посчитать MLE для монеты, MLE для нормального и почему делят на n - 1.
- Вывести MSE и кросс-энтропию из максимального правдоподобия.
- Связь MAP с L1 и L2.
- Как оценить CTR объявления с малым числом показов.