Выбор ответа Middle Энтропия и KL спрашивают часто обновлено
Свойства KL-дивергенции
Вопрос
Что верно про KL-дивергенцию KL(p‖q)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Неотрицательна и равна нулю только при p = q, но несимметрична и не метрика. KL(p‖q) = Σ p log(p/q) ≥ 0.
Варианты ответа
- Неотрицательна и равна нулю только при p = q, но несимметрична и не метрикаправильный ответ
- Она симметрична: KL(p‖q) = KL(q‖p), поэтому это расстояние между распределениями
- Она может быть отрицательной, если модель q лучше описывает данные, чем p
- Она удовлетворяет неравенству треугольника, но не является симметричной
Разбор
KL(p‖q) = Σ p log(p/q) ≥ 0. Но KL(p‖q) ≠ KL(q‖p) в общем случае и неравенство треугольника не выполняется, поэтому это дивергенция, а не расстояние. Симметричный вариант с конечными значениями это дивергенция Йенсена-Шеннона.
- Симметрии нет, пример легко посчитать.
- Неотрицательность следует из неравенства Йенсена.
- Неравенство треугольника не выполняется.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.