Ridge и Lasso
Вопрос
Чем отличаются ridge и lasso?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Ridge добавляет λΣw², уменьшает веса, хорошо работает с мультиколлинеарностью, имеет решение в замкнутом виде (XᵀX + λI)⁻¹Xᵀy. Lasso добавляет λΣ|w|, обнуляет часть весов (отбор признаков), решается координатным спуском. λ подбирают кросс-валидацией.
Разбор
Ridge добавляет λΣw², уменьшает веса, хорошо работает с мультиколлинеарностью, имеет решение в замкнутом виде (XᵀX + λI)⁻¹Xᵀy. Lasso добавляет λΣ|w|, обнуляет часть весов (отбор признаков), решается координатным спуском. λ подбирают кросс-валидацией.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.