Выбор ответа Junior Линейные модели обновлено
Регуляризация и масштаб признаков
Вопрос
Почему перед ridge или lasso признаки стандартизуют?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Штраф одинаков для всех весов, а величина веса зависит от единиц признака: регуляризация неравномерна. Признак в тысячах рублей получит в 1000 раз меньший вес, чем тот же признак в рублях, и штраф на него будет почти нулевым.
Варианты ответа
- Без масштабирования решатель ridge или lasso не сходится и модель не обучится вовсе
- Стандартизация убирает мультиколлинеарность, и регуляризация затем работает с независимыми признаками
- Штраф одинаков для всех весов, а величина веса зависит от единиц признака: регуляризация неравномернаправильный ответ
- Это нужно для совместимости с деревьями в ансамбле, сама линейная модель к масштабу безразлична
Разбор
Признак в тысячах рублей получит в 1000 раз меньший вес, чем тот же признак в рублях, и штраф на него будет почти нулевым. После стандартизации все веса в сравнимой шкале. Свободный член обычно не регуляризуют.
- Обучиться без масштабирования модель сможет, просто регуляризация будет кривой и градиентный спуск медленнее.
- Корреляции между признаками стандартизация не меняет.
- Деревьям масштаб как раз не важен.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.