KL-дивергенция
Вопрос
Что такое KL-дивергенция и где она встречается в ML?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
KL(p‖q) = Σ p log(p/q): насколько q хуже описывает данные из p, чем сама p (лишние биты кода). ≥ 0, несимметрична. Встречается в кросс-энтропии (H(p,q) = H(p) + KL), в VAE (KL до приора), в дистилляции, в RLHF (штраф за уход от исходной модели), в мониторинге дрейфа.
Разбор
KL(p‖q) = Σ p log(p/q): насколько q хуже описывает данные из p, чем сама p (лишние биты кода). ≥ 0, несимметрична. Встречается в кросс-энтропии (H(p,q) = H(p) + KL), в VAE (KL до приора), в дистилляции, в RLHF (штраф за уход от исходной модели), в мониторинге дрейфа.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.