Выбор ответа Junior Линейные модели спрашивают часто обновлено
Чем L1 отличается от L2
Вопрос
Почему L1-регуляризация (lasso) часто обнуляет часть весов, а L2 (ridge) нет?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Штраф w имеет постоянный по величине градиент и угол в нуле, поэтому малые веса выгодно сделать нулём. У L2 градиент 2λw уменьшается вместе с весом, вес стремится к нулю, но почти никогда его не достигает.
Варианты ответа
- L1 штрафует веса сильнее, чем L2, при любых значениях, поэтому малые веса быстрее проваливаются в ноль
- Штраф |w| имеет постоянный по величине градиент и угол в нуле, поэтому малые веса выгодно сделать нулёмправильный ответ
- L2 тоже обнуляет веса не реже L1, просто при стандартном λ это происходит на других признаках
- L1 применяется только к признакам с большой дисперсией, а слабые признаки при этом сразу выкидываются из модели
Разбор
У L2 градиент 2λw уменьшается вместе с весом, вес стремится к нулю, но почти никогда его не достигает. У L1 субградиент λ·sign(w) не уменьшается, и оптимум часто оказывается в «углу» ромба ограничений, где часть координат равна нулю. Поэтому lasso работает как отбор признаков.
- При больших весах L2 штрафует сильнее (квадрат).
- Точных нулей L2 практически не даёт.
- L1 применяется ко всем весам одинаково.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.