Выбор ответа Senior Собственные значения и SVD обновлено
Лучшее низкоранговое приближение
Вопрос
Матрицу A заменили на A_k: оставили k наибольших сингулярных чисел, остальные обнулили. Что гарантирует теорема Эккарта-Янга?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Ak ближе всех к A среди матриц ранга не выше k (Фробениус и спектральная норма). Усечённое SVD даёт оптимальное приближение ранга k.
Варианты ответа
- A_k совпадает с A по всем элементам, если k больше половины ранга матрицы
- A_k ближе к A, чем любая другая матрица того же размера, независимо от её ранга
- A_k ближе всех к A среди матриц ранга не выше k (Фробениус и спектральная норма)правильный ответ
- Ошибка приближения равна сумме отброшенных сингулярных чисел по норме Фробениуса
Разбор
Усечённое SVD даёт оптимальное приближение ранга k. Ошибка по Фробениусу равна корню из суммы квадратов отброшенных сингулярных чисел, по спектральной норме равна σₖ₊₁. На этом стоят сжатие, латентные факторы в рекомендациях и идея LoRA (обновление весов низкого ранга).
- Совпадение будет, только если отброшенные σ все нулевые.
- Оптимальность только среди матриц ранга ≤ k, матрица большего ранга может быть ближе.
- В Фробениусе складываются квадраты σ, а не сами σ.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.