Пропуски Middle Энтропия и KL обновлено
Кросс-энтропия и KL
Вопрос
p = (0.5, 0.5), q = (0.25, 0.75). В битах: H(p) = (1), H(p, q) = (2) (два знака), KL(p‖q) = (3) (два знака).
Попробуйте сами
Заполните пропуски по номерам.
1
2
3
Показать ответ и разбор
Коротко
H(p, q) = -0.5·log₂0.25 - 0.5·log₂0.75 = 0.5·2 + 0.5·0.415 = 1.2075 ≈ 1.21. KL = H(p, q) - H(p) ≈ 0.21.
Что в пропусках
1
1
2
1.21 или 1,21
3
0.21 или 0,21 или .21 или ,21
Разбор
H(p, q) = -0.5·log₂0.25 - 0.5·log₂0.75 = 0.5·2 + 0.5·0.415 = 1.2075 ≈ 1.21. KL = H(p, q) - H(p) ≈ 0.21.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.