Выбор ответа Senior Энтропия и KL обновлено
Взаимная информация
Вопрос
Что показывает взаимная информация I(X; Y)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: На сколько знание Y уменьшает неопределённость X: H(X) - H(X Y). I(X; Y) = H(X) - H(X Y) = KL(p(x, y)‖p(x)p(y)).
Варианты ответа
- Корреляцию Пирсона между X и Y, нормированную на их энтропии
- Сумму энтропий H(X) + H(Y), то есть общую неопределённость пары
- На сколько знание Y уменьшает неопределённость X: H(X) - H(X | Y)правильный ответ
- Вероятность того, что X = Y, взвешенную по распределению X
Разбор
I(X; Y) = H(X) - H(X | Y) = KL(p(x, y)‖p(x)p(y)). В отличие от корреляции, ловит любую зависимость, включая нелинейную. Используется для отбора признаков, а прирост информации в деревьях решений это ровно взаимная информация признака и класса.
- Корреляция видит только линейную связь.
- Сумма энтропий это H(X, Y) + I(X; Y), а не I.
- Вероятность совпадения к этому отношения не имеет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.