Выбор ответа Senior Энтропия и KL обновлено
Прямая и обратная KL
Вопрос
Приближаем бимодальное распределение p одной гауссианой q. Чем отличается минимизация KL(p‖q) от KL(q‖p)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: KL(p‖q) накрывает обе моды широкой q, KL(q‖p) садится на одну моду. В KL(p‖q) = Ep[log p/q] штраф огромен там, где p 0, а q ≈ 0, поэтому q растягивается, чтобы покрыть все моды (mass-covering).
Варианты ответа
- KL(p‖q) накрывает обе моды широкой q, KL(q‖p) садится на одну модуправильный ответ
- Обе дают одинаковый результат, KL при перестановке просто масштабируется
- KL(p‖q) садится на одну моду, а KL(q‖p) накрывает обе широкой гауссианой
- KL(q‖p) нельзя минимизировать: для бимодального p она всегда бесконечна
Разбор
В KL(p‖q) = E_p[log p/q] штраф огромен там, где p > 0, а q ≈ 0, поэтому q растягивается, чтобы покрыть все моды (mass-covering). Это MLE. В KL(q‖p) = E_q[log q/p] штраф там, где q > 0, а p ≈ 0, поэтому q прячется внутрь одной моды (mode-seeking). Так ведёт себя вариационный вывод, в том числе в VAE.
- Результаты разные, это главный смысл вопроса.
- Направления перепутаны.
- Обратная KL конечна, если q не кладёт массу туда, где p = 0.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.