Выбор ответа Senior Деревья и ансамбли обновлено
Ловушка важности по нечистоте
Вопрос
В чём известная проблема встроенной важности признаков по уменьшению нечистоты (MDI) в случайном лесе?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Она завышает важность признаков с большим числом значений и считается на трейне, поэтому может хвалить шум. У непрерывного признака или id тысячи возможных порогов, и дерево находит среди них случайно удачные, особенно на трейне.
Варианты ответа
- Она равна нулю для категориальных признаков, потому что по ним дерево делит без снижения нечистоты
- Она завышает важность признаков с большим числом значений и считается на трейне, поэтому может хвалить шумправильный ответ
- Она не нормируется и не суммируется ни во что разумное, поэтому важности разных лесов несравнимы
- Её нельзя посчитать для регрессии: снижение нечистоты определено только для критериев Джини и энтропии классов
Разбор
У непрерывного признака или id тысячи возможных порогов, и дерево находит среди них случайно удачные, особенно на трейне. Поэтому MDI может ставить случайный id в топ. Надёжнее permutation importance на валидации или SHAP. При сильно коррелированных признаках проблемы есть у всех методов.
- Для категориальных признаков MDI считается.
- MDI нормируется и суммируется в 1.
- Для регрессии считается по снижению MSE.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.