Откуда берутся MSE и кросс-энтропия
Вопрос
Объясните, как MSE и кросс-энтропия выводятся из метода максимального правдоподобия.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
MLE: максимизировать Σ log p(yᵢ | xᵢ, θ), то есть минимизировать отрицательный log-likelihood
Регрессия: y ~ N(f(x), σ²) даёт MSE
Классификация: y ~ Бернулли(p(x)) даёт binary cross-entropy
Многоклассовая: категориальное распределение даёт softmax с кросс-энтропией
Другое распределение шума даёт другую потерю (Лаплас: MAE, Пуассон: Poisson loss)
Что могут спросить следом
- Какую потерю взять для числа покупок пользователя за неделю?
- Почему MSE плохо подходит для классификации?
Разбор
Функция потерь это отрицательный логарифм правдоподобия при выбранной модели шума. Если считать, что y = f(x) + ε с нормальным ε постоянной дисперсии, то -log p(y | x) = (y - f(x))²/(2σ²) + const, и максимизация правдоподобия совпадает с минимизацией MSE. Для бинарной классификации y ~ Бернулли(p), где p = σ(f(x)): -log p(y) = -(y log p + (1 - y) log(1 - p)), это binary cross-entropy. Для нескольких классов категориальное распределение с softmax даёт обычную кросс-энтропию. Это полезно как принцип выбора лосса: если шум с тяжёлыми хвостами, лапласово распределение даёт MAE и оценку медианы; для счётчиков вроде числа покупок естественно пуассоновское правдоподобие. MSE для классификации неудачна: с сигмоидой она невыпукла по весам и даёт слабый градиент на уверенных ошибках.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.