[线代] 浅写奇异值分解（SVD）

luyuanhong

[线代] 浅写奇异值分解（SVD）

原创 O Anqiao Makiror Ouyang 2024 年 08 月 25 日 10:00 加拿大

近来繁忙，游目骋怀于大千世界，此文成于横加公路一日。

补充前置知识

阅读本文的你应当具备初等代数、线性代数的基本知识。

时间有限，只是随便写点的基础定义，具体的应用之后有时间在 ML 专栏写。

幺正矩阵/酉矩阵



特殊正交群



特征值



奇异值



有限维情况的谱定理



奇异值分解

奇异值分解（Singular Value Decomposition, SVD）是线性代数中一种重要的矩阵分解方法。我的领域多用于在 PCA 中进行特征提取、降维以及提高模型的泛化能力。

一般描述



正交性及扩展



最优低秩近似



引用一个我比较喜欢的证明： https://truenobility303.github.io/Young/Eckart-Young-Mirsky 定理及其泛函版本简证

一种贪婪算法



参考

* 文章的部分表述我参考了记忆中阅读过的一些资料，因当下不方便查阅，可能相关部分表述和理解会与原文有不小出入。

1. Chapter 7 - The Singular Value Decomposition (SVD)

O Anqiao