Выбор ответа Junior Энтропия и KL обновлено
Энтропия честной монеты
Вопрос
Чему равна энтропия честной монеты в битах?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: 1 бит. H = -0.5·log₂0.5 - 0.5·log₂0.5 = 1.
Варианты ответа
- 0.5 бита
- 1 битправильный ответ
- 2 бита
- 0 бит
Разбор
H = -0.5·log₂0.5 - 0.5·log₂0.5 = 1. Один бит это ровно информация одного равновероятного выбора из двух.
- 0.5 путают с вероятностью исхода.
- 2 бита у четырёх равновероятных исходов.
- 0 у монеты, которая всегда падает одной стороной.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.