Пропуски Junior Энтропия и KL обновлено
Посчитайте энтропию
Вопрос
Распределение (0.5, 0.25, 0.25). Энтропия в битах H = (1). Энтропия равномерного распределения на 4 исходах = (2) бита.
Попробуйте сами
Заполните пропуски по номерам.
1
2
Показать ответ и разбор
Коротко
H = 0.5·1 + 0.25·2 + 0.25·2 = 1.5 бита. Равномерное на 4 исходах: log₂4 = 2.
Что в пропусках
1
1.5 или 1,5
2
2
Разбор
H = 0.5·1 + 0.25·2 + 0.25·2 = 1.5 бита. Равномерное на 4 исходах: log₂4 = 2.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.