Выбор ответа Senior Энтропия и KL обновлено
Label smoothing через энтропию
Вопрос
Что меняет label smoothing (цель 0.9 для верного класса и 0.1, размазанное по остальным) с точки зрения кросс-энтропии?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Минимум достигается на неуверенном q, и модель не гонит логиты в бесконечность. H(p, q) минимальна при q = p.
Варианты ответа
- Кросс-энтропия становится симметричной относительно p и q, как JS-дивергенция
- Минимум достигается на неуверенном q, и модель не гонит логиты в бесконечностьправильный ответ
- Loss может стать отрицательным на верных примерах, и его ограничивают снизу
- Минимум теперь при q с вероятностью 1 у верного класса, но достигается быстрее
Разбор
H(p, q) минимальна при q = p. С one-hot целью оптимум q = 1, и модель бесконечно растит логит верного класса, становясь переуверенной. С размазанной целью оптимум q = 0.9, логиты ограничены, калибровка часто лучше. Цена: модель хуже передаёт «тёмные знания» о похожести классов при дистилляции.
- Симметрия тут ни при чём.
- Кросс-энтропия не может быть отрицательной для распределений.
- Наоборот, предсказание 1 теперь штрафуется.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.