Выбор ответа Junior Деревья и ансамбли обновлено
Нужно ли масштабировать для деревьев
Вопрос
Нужно ли стандартизовать признаки перед обучением дерева или градиентного бустинга?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Нет: деревья делят по порогам, и монотонные преобразования признака не меняют разбиения. Порог «x 10» после стандартизации превращается в «z 0.3», а разбиение объектов остаётся тем же.
Варианты ответа
- Да: без стандартизации критерий Джини сравнивает признаки в разных единицах, и дерево выбирает не те
- Да: это сильно ускоряет обучение, потому что поиск порога идёт градиентным спуском по признаку
- Только для категориальных признаков после one-hot, иначе их веса несопоставимы с числовыми
- Нет: деревья делят по порогам, и монотонные преобразования признака не меняют разбиенияправильный ответ
Разбор
Порог «x > 10» после стандартизации превращается в «z > 0.3», а разбиение объектов остаётся тем же. Поэтому деревьям не нужны ни стандартизация, ни логарифмирование признаков. Целевую переменную в регрессии логарифмировать иногда полезно, это другой вопрос.
- Дерево обучится без масштабирования: нечистота считается по объектам в детях, а не по значениям признака.
- Порог ищут перебором, а не градиентом; гистограммные бустинги бинят признаки, масштаб на скорость не влияет.
- Категориальные признаки вообще не масштабируют.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.