Мультиколлинеарность глазами линала

Мультиколлинеарность это ситуация, когда столбцы матрицы признаков X линейно зависимы или почти зависимы. В точном случае ранг X неполный, XᵀX вырождена, и решение нормального уравнения неединственно. В приближённом случае XᵀX обратима, но плохо обусловлена: у неё есть очень маленькие собственные значения, и при обращении ошибки в данных раздуваются. На практике веса прыгают при небольшом изменении выборки и могут поменять знак, хотя предсказания модели остаются нормальными. Поэтому страдает в первую очередь интерпретация коэффициентов. Обнаруживают через корреляционную матрицу признаков, VIF или число обусловленности. Лечат удалением или объединением признаков, PCA или L2-регуляризацией: ridge решает (XᵀX + λI)w = Xᵀy, а добавка λI поднимает все собственные значения на λ, и матрица становится хорошо обусловленной.