学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

一、奇异值分解及其解释

1. 定理（矩阵的奇异值分解）

令 $A\in R^{m\times n}$ （或 $C^{m\times n}$ ），则存在正交矩阵（或酉矩阵） $U\in R^{m\times m}$ （或 $C^{m\times m}$ ）和 $V\in R^{n\times n}$ （或 $C^{n\times n}$ ）使得

$A=U\Sigma V^T$ （或 $A=U\Sigma V^H$ ）

式中

$\Sigma =\begin{bmatrix} \Sigma_1 &O \\ O &O \end{bmatrix}$

且 $\Sigma_1=diag(\sigma_1,\sigma_2,\cdots ,\sigma_r)$ ，其余对角元素按照顺序

$\sigma_1\geqslant \sigma_2\geqslant \cdots \geqslant \sigma_r> 0,\quad r=rank(A)$

排列。

2. 定义

若 $\sigma_i\neq \sigma_j,\quad \forall i\neq j$ ，则矩阵 $A_{m\times n}$ 的奇异值 $\sigma_i$ 称为单奇异值。

3. 奇异值和奇异值分解的解释

1） $n\times n$ 矩阵 $V$ 为酉矩阵，在式 $A=U\Sigma V^T$ 两边右乘 $V$ ，得到 $AV=U\Sigma$ ，其列向量形式为

$Av_i=\left\{\begin{matrix} \sigma_i u_i,\quad i=1,2,\cdots ,r \\ 0,\quad i=r+1,r+2,\cdots ,n \end{matrix}\right.$

因此， $V$ 的列向量 $v_i$ 称为矩阵 $A$ 的右奇异向量， $V$ 称为 $A$ 的右奇异向量矩阵。

2） $m\times m$ 矩阵 $U$ 是酉矩阵，在式 $A=U\Sigma V^T$ 两边左乘 $U^H$ ，得到 $U^HA=\Sigma V$ ，其列向量形式为

$u_i^HA=\left\{\begin{matrix} \sigma_iv_i^T,\quad i=1,2,\cdots ,r\\ 0,\quad i=r+1,r+2,\cdots ,n \end{matrix}\right.$

因此， $U$ 的列向量 $u_i$ 称为矩阵 $A$ 的左奇异向量，并称 $U$ 为 $A$ 的左奇异向量矩阵。

3）矩阵 $A$ 的奇异值分解式 $A=U\Sigma V^T$ 可以改写为向量表达式：

$A=\sum_{i=1}^{r}\sigma_i u_iv_i^H$

这种表达式称为 $A$ 的并向量（奇异值）分解。

4）由式 $A=U\Sigma V^T$ 可得

$AA^H=U \Sigma^2U^H$

这表明， $m\times n$ 矩阵 $A$ 的奇异值 $\sigma_i$ 是矩阵乘积 $AA^H$ 的特征值的正平方根。

5）当矩阵 $A$ 的秩 $r=rank(A)<min(m,n)$ 时，由于奇异值 $\sigma_{r+1}=\sigma_{r+2}=\cdots =\sigma_h=0,\quad h=min(m,n)$ ，因此奇异值分解公式可以简化为

$A=U_r\Sigma_rV_r^H$

式中，

$U_r=[u_1,u_2,\cdots ,u_r],\quad V_r=[v_1,v_2,\cdots ,v_r],\quad \Sigma_r=diag(\sigma_1,\sigma_2,\cdots ,\sigma_r)$

式 $A=U_r\Sigma_rV_r^H$ 被称为矩阵 $A$ 的截尾奇异值分解或薄奇异值分解。与之相对地，式 $A=U\Sigma V^T$ 称为全奇异值分解。

6）若矩阵 $A_{m\times n}$ 具有秩 $r$ ，则

① $m\times m$ 酉矩阵 $U$ 的前 $r$ 列组成矩阵 $A$ 的列空间的标准正交基。

② $n\times n$ 酉矩阵 $V$ 的前 $r$ 列组成矩阵 $A$ 的行空间（或 $A^H$ 的列空间）的标准正交基。

③ $V$ 的后 $n-r$ 列组成矩阵 $A$ 的零空间的标准正交基。

④ $U$ 的后 $m-r$ 列组成矩阵 $A^H$ 的零空间的标准正交基。

3. 奇异值的内在含义

当原 $n\times n$ 矩阵 $A$ 有一个零奇异值时，该矩阵的秩 $rank(A)\leqslant n-1$ ，即原矩阵 $A$ 本来就不是满秩的。因此，如果一个正方矩阵具有零奇异值，则该矩阵必定是奇异矩阵。

一个正方矩阵只要有一个奇异值接近零，那么这个矩阵就接近于奇异矩阵。推而广之，一个非正方的矩阵如果有奇异值为零，则说明这个长方矩阵一定不是列满秩的或者行满秩的。这种情况称为矩阵的秩亏缺，它相对于矩阵的满秩是一种奇异现象。

无论是正方还是长方矩阵，零奇异值都刻画矩阵的奇异性，这就是矩阵奇异值的内在含义。

二、奇异值的性质

1. 矩阵变形与奇异值的关系

令矩阵 $A$ 和 $B$ 均为 $m\times n$ 矩阵，且 $r_A=rank(A),p=min(m,n)$ 。

设矩阵 $A$ 的奇异值排列为

$\sigma_{max}=\sigma_1 \geqslant \sigma_2\geqslant \cdots \geqslant \sigma_{p-1} \geqslant \sigma_p=\sigma_{min}\geqslant 0$

并且用 $\sigma_i(B)$ 表示矩阵 $B$ 的第 $i$ 个大奇异值。则矩阵的各种变形与奇异值有以下关系：

1） $m\times n$ 矩阵 $A$ 的共轭转置 $A^H$ 的奇异值分解为

$A^H=V\Sigma^TU^H$

即矩阵 $A$ 和 $A^H$ 具有完全相同的奇异值。

2） $P$ 和 $Q$ 分别为 $m\times m$ 和 $n\times n$ 酉矩阵时， $PAQ^H$ 的奇异值分解为

$PAQ^H=\bar{U}\Sigma \bar{V}^H$

其中， $\bar{U}=PU,\bar{V}=QV$ 。也就是说，矩阵 $PAQ^H$ 与 $A$ 具有相同的奇异值，即奇异值具有酉不变性，但奇异向量不同。

3） $A^HA,AA^H$ 的奇异值分解分别为

$A^HA=V\Sigma^T\Sigma V^H,\qquad AA^H=U\Sigma \Sigma^TU^H$

其中

$\Sigma^T\Sigma=diag(\sigma_1^2,\sigma_2^2,\cdots ,\sigma_r^2,\overbrace{0,\cdots ,0}^{n-r})$

$\Sigma \Sigma^T=diag(\sigma_1^2,\sigma_2^2,\cdots ,\sigma_r^2,\overbrace{0,\cdots ,0}^{m-r})$

4） $m\times n$ 矩阵 $A$ 的奇异值分解与 $n\times m$ 维 Moose-Penrose 广义逆矩阵 $A^\dagger$ 之间存在以下关系：

$A^\dagger =V\Sigma^\dagger U^H$

其中， $\Sigma^\dagger=\begin{bmatrix} \Sigma^{-1} &O \\ O& O \end{bmatrix}$ 。

矩阵分析与应用(19)