KL-дивергенция: что это
Коротко
KL-дивергенция: kL(p‖q) = Σ p log(p/q): насколько q хуже описывает данные из p, чем сама p (лишние биты кода). ≥ 0, несимметрична. Встречается в кросс-энтропии (H(p,q) = H(p) + KL), в VAE (KL до приора), в дистилляции, в RLHF (штраф за уход от исходной модели), в мониторинге дрейфа.
Определение
KL(p‖q) = Σ p log(p/q): насколько q хуже описывает данные из p, чем сама p (лишние биты кода). ≥ 0, несимметрична. Встречается в кросс-энтропии (H(p,q) = H(p) + KL), в VAE (KL до приора), в дистилляции, в RLHF (штраф за уход от исходной модели), в мониторинге дрейфа.
Из урока «Энтропия, кросс-энтропия и KL за 6 минут»
Теория информации объясняет, почему классификаторы учат на кросс-энтропии, что такое перплексия языковой модели и зачем в VAE, дистилляции и RLHF стоит KL-дивергенция.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Математика для ML проверят, что термин понятен в деле.