Объясните регуляризацию
Вопрос
Объясните, что такое регуляризация в линейных моделях, чем отличаются L1 и L2 и как выбирать коэффициент.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Регуляризация штрафует сложность (величину весов) и снижает переобучение
L2 уменьшает веса равномерно, помогает при мультиколлинеарности
L1 обнуляет часть весов, работает как отбор признаков
Перед регуляризацией признаки нужно масштабировать
λ подбирается кросс-валидацией по логарифмической сетке
Что могут спросить следом
- Как регуляризация связана с MAP-оценкой?
- Почему свободный член обычно не регуляризуют?
Разбор
Регуляризация добавляет к функции потерь штраф за большие веса. Модель с огромными весами слишком чувствительна к шуму, а штраф заставляет её искать более простое решение: это снижает variance ценой небольшого роста bias. L2 (ridge) штрафует сумму квадратов: веса уменьшаются плавно, коррелированные признаки делят вес, решение стабильно. L1 (lasso) штрафует сумму модулей и обнуляет часть весов, поэтому делает отбор признаков, но на группах коррелированных признаков нестабилен; компромисс это Elastic Net. Поскольку штраф одинаков для всех весов, признаки надо стандартизовать. Коэффициент λ подбираю кросс-валидацией по логарифмической сетке. С вероятностной точки зрения L2 соответствует гауссовому приору на веса, L1 лапласову.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.