奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR decomposition)和极分解(Polar decomposition)等。这篇文章主要说下奇异值分解,这个方法在机器学习的一些算法里占有重要地位。
相关概念
参考自维基百科。
- 正交矩阵:若一个方阵其行与列皆为正交的单位向量,则该矩阵为正交矩阵,且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0
- 正定矩阵:如果对于所有的非零实系数向量
z ,都有zTAz>0 ,则称矩阵A 是正定的。正定矩阵的行列式必然大于 0, 所有特征值也必然 > 0。相对应的,半正定矩阵的行列式必然 ≥ 0。
定义
下面引用 SVD 在维基百科中的定义。
In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix. It is the generalization of the eigendecomposition of a positive semidefinite normal matrix (for example, a symmetric matrix with positive eigenvalues) to any
m×n matrix via an extension of polar decomposition.
也就是说 SVD 是线代中对于实数矩阵和复数矩阵的分解,将特征分解从 半正定矩阵 推广到任意
注意:本篇文章内如未作说明矩阵均指实数矩阵。
假设有
其中,
换句话说,就是说
而
那么
求解
其实整个求解 SVD 的过程就是求解这 3 个矩阵的过程,而求解这 3 个矩阵的过程就是求解特征值和特征向量的过程,问题就在于 求谁的特征值和特征向量。
-
U 的列由AAT 的单位化过的特征向量构成 -
V 的列由ATA 的单位化过的特征向量构成 -
Σ 的对角元素来源于AAT 或ATA 的特征值的平方根,并且是按从大到小的顺序排列的
知道了这些,那么求解 SVD 的步骤就显而易见了:
- 求
AAT 的特征值和特征向量,用单位化的特征向量构成U - 求
ATA 的特征值和特征向量,用单位化的特征向量构成V - 将
AAT 或者ATA 的特征值求平方根,然后构成Σ
举例
假设
那么可以计算得到
接下来就是求这个矩阵的特征值和特征向量了
要想该方程组有非零解(即非零特征值),那么系数矩阵
求解这个行列式我就不再赘述了,这个直接使用行列式展开定理就可以了,可以得到
这就是矩阵
同样的过程求解
这就是矩阵
而矩阵
到此,SVD 分解就结束了,原来的矩阵
Numpy 实现
Python 中可以使用 numpy 包的 linalg.svd()
来求解 SVD。
import numpy as np
A = np.array([[2, 4], [1, 3], [0, 0], [0, 0]])
print(np.linalg.svd(A))
输出
(array([[-0.81741556, -0.57604844, 0. , 0. ],
[-0.57604844, 0.81741556, 0. , 0. ],
[ 0. , 0. , 1. , 0. ],
[ 0. , 0. , 0. , 1. ]]),
array([ 5.4649857 , 0.36596619]),
array([[-0.40455358, -0.9145143 ],
[-0.9145143 , 0.40455358]]))