Энтропия Шеннона: что это
Коротко
Энтропия Шеннона: h(p) = -Σ pᵢ log pᵢ: средняя неопределённость (или средняя длина оптимального кода) исхода. В битах при log₂, в натах при ln.
Определение
H(p) = -Σ pᵢ log pᵢ: средняя неопределённость (или средняя длина оптимального кода) исхода. В битах при log₂, в натах при ln. Ноль у детерминированного исхода, максимум log n у равномерного распределения.
Вопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Математика для ML проверят, что термин понятен в деле.