Выбор ответа Junior Энтропия и KL обновлено
Когда энтропия максимальна
Вопрос
Для распределения на 8 исходах энтропия максимальна, когда…
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: все исходы равновероятны, и тогда она равна 3 битам. Энтропия меряет неопределённость, и максимальна она для равномерного распределения: log₂n = log₂8 = 3 бита. - Детерминированный исход даёт нулевую энтропию. - Неравномерные распределения дают меньше log₂n. - От вероятностей энтропия…
Варианты ответа
- один исход имеет вероятность 1, и тогда она равна 8 битам
- вероятности убывают геометрически, и тогда она равна 1 биту
- все исходы равновероятны, и тогда она равна 3 битамправильный ответ
- энтропия не зависит от вероятностей, она всегда равна log₂8
Разбор
Энтропия меряет неопределённость, и максимальна она для равномерного распределения: log₂n = log₂8 = 3 бита.
- Детерминированный исход даёт нулевую энтропию.
- Неравномерные распределения дают меньше log₂n.
- От вероятностей энтропия зависит, log₂n только верхняя граница.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.