学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

1. 特征值分解（EVD）

对于一个对称矩阵来说，它能相似对角化，且对称矩阵的不同特征值对应的特征向量两两正交。设矩阵 $A_{m\times m}$ 为满秩对称矩阵，有 $m$ 个不同的特征值，为 $\lambda_i,\quad i=1,2,\cdots ,m$ ，特征值对应的特征向量为 $x_i ,\quad i=1,2,\cdots ,m$ ，则

$Ax_1=\lambda_1x_1$

$Ax_2=\lambda_2x_2$

$\cdots$

$Ax_m=\lambda_mx_m$

所以有

$AU=U\Lambda$

其中，

$U=[x_1,x_2,\cdots ,x_m]$

扫描二维码关注公众号，回复： 15280035 查看本文章

$\Lambda =\begin{bmatrix} \lambda_1 & \cdots & 0\\ \vdots & \ddots &\vdots \\ 0& \cdots & \lambda_m \end{bmatrix}$

由于 $A$ 为对称矩阵，所以 $A$ 的特征向量两两正交，即 $U$ 为正交矩阵，因此 $U^{-1}=U^T$ 。

所以可以得到矩阵 $A$ 的特征值分解：

$A=U\Lambda U^{-1}=U\Lambda U^T$

2. 奇异值分解

回顾一下矩阵奇异值分解的定义：

设 $A\in R_r^{m\times n}$ ，则存在 $m$ 阶正交矩阵 $U$ 和 $n$ 阶正交矩阵 $V$ 使得

$A=U\Sigma V^T,\quad \Sigma=\begin{bmatrix} \Sigma_1 &O \\ O& O \end{bmatrix}$

其中， $\Sigma_1=diag(\sigma_1,\sigma_2,\cdots ,\sigma_r)$ ，而 $\sigma_i(i=1,2,\cdots ,r)$ 为 $A$ 的非零奇异值。

1） $U$ 矩阵求解

由 $A=U\Sigma V^T$ ， $A^T=V\Sigma U^T$ 可得 $AA^T=U\Sigma^2 U^T$ 。

因为 $AA^T$ 是一个 $m\times m$ 方阵，可以进行特征值分解，因此 $\sigma_i=\sqrt{\lambda_i}$ ， $U$ 由 $AA^T$ 的特征值对应的特征向量组成。

2） $V$ 矩阵求解

由 $A=U\Sigma V^T$ ， $A^T=V\Sigma U^T$ 可得 $A^TA=V\Sigma^2 V^T$ 。

$A^TA$ 是 $n\times n$ 方阵，可由特征值分解知道 $V$ 由 $A^TA$ 的特征值对应的特征向量组成。

3. 例

求解矩阵 $A=\begin{bmatrix} 2 &0 \\ 0 & 2\\ 1 & 1 \end{bmatrix}$ 的奇异值分解。

1） $AA^T=\begin{bmatrix} 2 & 0\\ 0 &2 \\ 1 &1 \end{bmatrix}\begin{bmatrix} 2 & 0&1 \\ 0& 2 & 1 \end{bmatrix}=\begin{bmatrix} 4 &0 &2 \\ 0& 4&2 \\ 2 & 2 & 2 \end{bmatrix}$

特征值为 $\lambda_1=6,\quad \lambda_2=4$ 。

$\lambda_1$ 对应的特征向量为 $x_1=[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]^T$ ， $\lambda_2$ 对应的特征向量为 $x_2=[\frac{1}{\sqrt{2}},-\frac{1}{\sqrt{2}},0]^T$

因此 $U=\begin{bmatrix}\frac{1}{\sqrt{3}} &\frac{1}{\sqrt{2}} \\\frac{1}{\sqrt{3}} &-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{3}}& 0\end{bmatrix}$ ，且 $\Sigma=\begin{bmatrix} \sqrt{6} &0 \\ 0 & 2 \end{bmatrix}$ 。

2） $A^TA=\begin{bmatrix} 2 & 0 &1 \\ 0 &2 & 1 \end{bmatrix}\begin{bmatrix} 2 &0 \\ 0 &2 \\ 1 & 1 \end{bmatrix}=\begin{bmatrix} 5 &1 \\ 1 & 5 \end{bmatrix}$

$\lambda_1$ 对应的特征向量为 $y_1=[\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}]^T$ ， $\lambda_2$ 对应的特征向量为 $y_2=[-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}]^T$

因此

$V=\begin{bmatrix} \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix}$ 。

3）矩阵 $A$ 的奇异值分解为

$A=U\Sigma V^T=\begin{bmatrix} \frac{1}{\sqrt{3}} &\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{3}} &-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{3}}& 0 \end{bmatrix}\begin{bmatrix} \sqrt{6} &0 \\ 0 & 2 \end{bmatrix}\begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix}$

矩阵分析与应用(21)

奇异值分解

1. 特征值分解（EVD）

2. 奇异值分解

3. 例

猜你喜欢