Почему классификаторы учат на кросс-энтропии
Вопрос
Почему для классификации используют кросс-энтропию, а не MSE между вероятностями и one-hot метками?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Кросс-энтропия это MLE для категориального распределения
Минимизация CE эквивалентна минимизации KL до истинного распределения
Градиент по логитам p - y: сильный на уверенных ошибках
MSE с сигмоидой или softmax даёт затухающий градиент при насыщении и невыпукла
CE штрафует уверенные ошибки неограниченно
Что могут спросить следом
- Что делать, если модель стала переуверенной?
- Как посчитать CE устойчиво, если p очень маленькое?
Разбор
Кросс-энтропия появляется естественно: это отрицательный логарифм правдоподобия категориального распределения, то есть обучение с ней это MLE. Ещё одна трактовка: H(p, q) = H(p) + KL(p‖q), и так как энтропия данных от модели не зависит, мы минимизируем KL между истинным распределением меток и предсказанием. Практическое преимущество в градиенте: для softmax с CE он по логитам равен p - y, то есть пропорционален ошибке, и на уверенной ошибке большой. У MSE поверх сигмоиды или softmax в градиент входит производная сигмоиды, которая при насыщении почти нулевая: модель, уверенно ошибающаяся, учится медленнее всего. Кроме того, MSE с сигмоидой невыпукла по весам даже для логистической регрессии. CE считают из логитов через log-softmax, иначе log от маленьких вероятностей даёт -inf. Против переуверенности помогают label smoothing и калибровка температурой.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.