Выбор ответа Middle Признаки и интерпретация обновлено
Permutation importance
Вопрос
Как считается permutation importance признака?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Перемешать значения признака на валидации и посмотреть, насколько упала метрика обученной модели. Перемешивание разрывает связь признака с целью, сохраняя его распределение.
Варианты ответа
- Перемешать значения признака на валидации и посмотреть, насколько упала метрика обученной моделиправильный ответ
- Переобучить модель без этого признака на тех же данных и сравнить метрики на валидации с полной моделью
- Посчитать, сколько раз признак использован в разбиениях деревьев, и нормировать на число деревьев
- Посчитать модуль корреляции Пирсона между признаком и целевой переменной на обучающей выборке
Разбор
Перемешивание разрывает связь признака с целью, сохраняя его распределение. Модель не переобучают, поэтому это быстро. Минус: при сильно коррелированных признаках важность размазывается, ведь модель берёт ту же информацию из соседа. Переобучение без признака (drop-column) честнее, но дорого.
- Это drop-column importance.
- Это split importance деревьев.
- Корреляция с целью не учитывает модель и нелинейности.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.