Линейные модели это бейзлайн почти любой задачи и любимая тема собесов: регуляризация, интерпретация весов, допущения, связь с вероятностями.
Линейная регрессия
ŷ = w·x + b
Обучается минимизацией MSE. Решение в замкнутом виде w = (XᵀX)⁻¹Xᵀy, на практике через QR или SVD, а на больших данных градиентными методами.
Линейность означает линейность по весам. Нелинейные зависимости описывают преобразованными признаками: log(площадь), площадь², индикаторы интервалов, сплайны.
Допущения классического МНК:
- линейность по параметрам;
- экзогенность: ошибки не коррелируют с признаками (иначе коэффициенты смещены, например из-за пропущенной переменной);
- полный ранг X (нет точной мультиколлинеарности);
- гомоскедастичность и независимость ошибок, нормальность нужны для корректных интервалов и тестов.
Регуляризация
- Ridge (L2): + λΣw². Плавно уменьшает веса, стабилизирует при мультиколлинеарности.
- Lasso (L1): + λΣ|w|. Обнуляет часть весов, работает как отбор признаков.
- Elastic Net: обе. Устойчивее lasso на группах коррелированных признаков.
Почему L1 даёт нули: штраф |w| имеет постоянный по величине градиент и острый угол в нуле. У L2 градиент 2λw исчезает вместе с весом, и вес никогда не становится ровно нулём.
Для одного признака без свободного члена ridge решается явно:
w = Σxy / (Σx² + λ)
Масштабируйте признаки перед регуляризацией: штраф одинаков для всех весов, а величина веса зависит от единиц признака. Статистики скейлера считаются только по трейну. λ подбирают кросс-валидацией по логарифмической сетке.
С вероятностной точки зрения L2 это гауссов приор на веса, L1 лапласов.
Логистическая регрессия
log(p / (1 - p)) = w·x + b, p = σ(w·x + b)
- Обучается на log loss, это MLE для Бернулли. Задача выпукла.
- Градиент по весам Σ(p - y)x / n.
- Вес интерпретируется через отношение шансов: рост признака на 1 умножает шансы на e^w. Вес ln 3 утраивает шансы, а не вероятность.
Пример: логит 0, шансы 1, p = 0.5. Признак с весом ln 4 вырос на 1: шансы 4, p = 0.8.
Мультикласс: softmax-регрессия учит классы совместно и даёт вероятности с суммой 1; one-vs-rest учит K независимых бинарных моделей.
Почему логрегрессия живёт в проде
- быстрая, стабильная, хорошо откалиброванные вероятности;
- интерпретируема, что требуют регуляторы в кредитовании (скоркарты с WoE);
- хороший бейзлайн для текстов на TF-IDF.
Ограничения: линейная граница, взаимодействия и нелинейности нужно закладывать признаками; без регуляризации на разделимых данных веса уходят в бесконечность.
Частые ошибки
- Говорить, что вес логрегрессии меняет вероятность на w процентных пунктов.
- Регуляризовать без масштабирования.
- Считать, что линейная модель не может описать кривую.
- Путать допущения, нужные для несмещённости, с нужными для интервалов.
Что спросят на собесе
- Чем L1 отличается от L2 и почему L1 даёт нули.
- Как интерпретировать вес логистической регрессии.
- Допущения линейной регрессии, мультиколлинеарность.
- Почему логрегрессию до сих пор используют в банках.