Выбор ответа Junior Энтропия и KL обновлено
Уверенная ошибка в log loss
Вопрос
Модель выдала вероятность 0 для класса, который оказался правильным. Что с log loss на этом примере?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Он бесконечен: -log 0 = ∞; поэтому p обрезают или считают loss из логитов. Кросс-энтропия жёстко штрафует уверенные ошибки: -log p растёт до бесконечности при p → 0.
Варианты ответа
- Он равен 1, максимальному значению log loss для одного примера
- Он бесконечен: -log 0 = ∞; поэтому p обрезают или считают loss из логитовправильный ответ
- Он равен 0, потому что вероятность нулевая и произведение p·log p обнуляется
- Пример будет проигнорирован при усреднении, так как его вклад не определён
Разбор
Кросс-энтропия жёстко штрафует уверенные ошибки: -log p растёт до бесконечности при p → 0. На практике считают loss прямо из логитов (log-softmax), а в метриках обрезают p до [ε, 1 - ε].
- Log loss не ограничен сверху.
- Ноль это идеальное предсказание p = 1.
- Ничего не игнорируется, такой пример даёт inf или NaN в среднем.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.