Карточка Junior Энтропия и KL обновлено
Энтропия
Вопрос
Что такое энтропия Шеннона?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
H(p) = -Σ pᵢ log pᵢ: средняя неопределённость (или средняя длина оптимального кода) исхода. В битах при log₂, в натах при ln.
Ответ
H(p) = -Σ pᵢ log pᵢ: средняя неопределённость (или средняя длина оптимального кода) исхода. В битах при log₂, в натах при ln. Ноль у детерминированного исхода, максимум log n у равномерного распределения.
Разбор
H(p) = -Σ pᵢ log pᵢ: средняя неопределённость (или средняя длина оптимального кода) исхода. В битах при log₂, в натах при ln. Ноль у детерминированного исхода, максимум log n у равномерного распределения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.