SVD: что это
Коротко
SVD: a = UΣVᵀ: U (m×m) и V (n×n) ортогональные, Σ (m×n) диагональная с σ₁ ≥ σ₂ ≥ … ≥ 0. Столбцы V это собственные векторы AᵀA, столбцы U это собственные векторы AAᵀ, σᵢ = √λᵢ(AᵀA).
Определение
A = UΣVᵀ: U (m×m) и V (n×n) ортогональные, Σ (m×n) диагональная с σ₁ ≥ σ₂ ≥ … ≥ 0. Столбцы V это собственные векторы AᵀA, столбцы U это собственные векторы AAᵀ, σᵢ = √λᵢ(AᵀA). Ранг матрицы равен числу ненулевых σ.
Из урока «Собственные значения, SVD и PCA за 7 минут»
Собственные векторы и SVD это язык, на котором объясняют PCA, рекомендации на матричной факторизации, сжатие моделей и LoRA. На практике считают SVD центрированной X: компоненты это столбцы V, дисперсии σ² / (n - 1). Что такое SVD, как оно связано с PCA и почему его считают вместо ковариационной матрицы.
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по Математика для ML проверят, что термин понятен в деле.