Выбор ответа Middle Энтропия и KL спрашивают часто обновлено
Кросс-энтропия и энтропия
Вопрос
p истинное распределение, q модель. Как соотносятся кросс-энтропия H(p, q) и энтропия H(p)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: H(p, q) = H(p) + KL(p‖q) ≥ H(p), равенство при q = p. Кросс-энтропия это средняя длина кода при кодировании p кодом, оптимальным для q.
Варианты ответа
- H(p, q) ≤ H(p) всегда, модель только упрощает
- H(p, q) = H(q), энтропия модели, при любом p
- H(p, q) = H(p) - KL(p‖q) ≤ H(p), равенство при q = p
- H(p, q) = H(p) + KL(p‖q) ≥ H(p), равенство при q = pправильный ответ
Разбор
Кросс-энтропия это средняя длина кода при кодировании p кодом, оптимальным для q. Ошибка модели добавляет ровно KL(p‖q) ≥ 0. Поэтому минимизация кросс-энтропии по q то же самое, что минимизация KL: H(p) от модели не зависит.
- Меньше H(p) кросс-энтропия быть не может (неравенство Гиббса).
- H(q) не учитывает, откуда пришли данные.
- Знак у KL плюс, иначе кросс-энтропия опускалась бы ниже энтропии.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.