矩阵论(零)：线性代数基础知识整理（上）

本篇博客是线性代数的基础理论知识上篇，限于篇幅，不会把所有定义都罗列出来，而是将整理的重点放在定理和结论上（当然有些必要的定义还是会说明的），对于最基础的概念（如什么是矩阵、行列式怎么定义的等等）不清楚的童鞋可以参考link。
为更具一般性，讨论复矩阵和复向量，向量如无特别说明均为列向量

本篇博客主要有以下几部分内容：

复数的运算法则、复矩阵的共轭与共轭转置
行列式的性质
方阵的迹及其性质
逆矩阵
- 伴随矩阵
- 逆矩阵
初等变换与矩阵、向量组的秩
- 初等变换、初等矩阵
- 矩阵的秩及性质
- 向量组的秩及性质
- 线性方程组的解
- 关于秩的一些重要结论
满秩分解
- 满秩分解的定义
- 满秩分解的存在性
- 满秩分解的快速计算方法

如果有些定理的证明过程用了你不知道的结论，那么它应该就在该定理的前面有给出。由于本人经历有限，故本博客的主要目的是进行结论的梳理，多数定理没有给出证明过程，具体证明请参考大学教材。

复数的运算法则、复矩阵的共轭与共轭转置

复数的运算法则
复数的四则运算律与实数的完全相同
（加法的交换、结合律、乘法的交换、结合律、乘法对加法的左、右分配律）
复数的共轭、复数的模的运算律
- $\overline{x\pm{}y}=\bar{x}\pm{}\bar{y}$
- $\overline{xy}=\bar{x}\bar{y}$
- $\overline{(\frac{x}{y})}=\frac{\bar{x}}{\bar{y}}$
- $\overline{x}x=|x|^2$
- $|xy|=|x||y|$
矩阵的共轭
矩阵的共轭矩阵就是原矩阵的每个元素取复数共轭后的矩阵，矩阵的共轭具有如下性质：
- $\overline{\overline{A}}=A$
- $\overline{A+B}=\overline{A}+\overline{B}$
- $\overline{kA}=\bar{k}\overline{A},k\in{C}$
- $\overline{AB}=\bar{A}\bar{B}$
矩阵的共轭转置
矩阵的共轭转置是先取共轭再转置或先转置再取共轭，即 $A^H=\overline{(A^T)}=\Bigl(\overline{A}\Bigr)^T$ 。矩阵的共轭转置具有如下性质：
- 若A是实矩阵，则 $A^H=A^T$
- $(A^{H})^H=A$
- $(A^H)^T=(A^T)^H$
- $(A+B)^H=A^H+B^H$
- $(cA)^H=\bar{k}A^H,k\in{C}$
- $(AB)^H=B^HA^H$
Hermite矩阵（共轭对称矩阵）
若方阵A满足 $A^H=A$ ，则称A是共轭对称矩阵。

行列式的性质

设A、B均为n阶方阵，k为常数：

$det(A^T)=det(A)$
$det(A^H)=\overline{det(A)}$
$det(kA)=k^ndet(A)$
$det(AB)=det(A)det(B)$
若A是共轭对称矩阵，则 $det(A)$ 是实数
（因为 $det(A)=det(A^H)=\overline{det(A)}$ ，所以 $det(A)$ 的虚部为零，即 $det(A)$ 是实数）

设A、B分别为m阶、n阶方阵：

$\begin{vmatrix} A&C\\O&B\end{vmatrix}=|A||B|$
$\begin{vmatrix}A&O\\C&B\end{vmatrix}=|A||B|$
若A是对角矩阵或上（下）三角矩阵，则A的行列式是A的主对角元之积

方阵的迹及其性质

定义
方阵A的迹 $tr(A)$ 定义为A的主对角元之和
性质
- 设A、B均为n阶方阵，则 $tr(A\pm{B)}=tr(A)\pm{}tr(B)$
- $tr(cA)=ctr(A),c\in{C}$
- $tr(A^T)=tr(A),tr(\bar{A})=tr(A^H)=\overline{tr(A)}$
  推论： $tr(A^TB)=tr(B^TA)=\sum_{i,j}A_{ij}B_{ij}$ ，其中A、B均为 $m\times{n}$ 矩阵
- 设A为 $m\times{n}$ 矩阵，B为 $n\times{m}$ 矩阵，则 $tr(AB)=tr(BA)=\sum_{i,j}A_{ij}B_{ji}$
- 设A、B、C均为 $m\times{n}$ 矩阵，则 $tr((A\odot{B})^TC)=tr(A^T(B\odot{C}))=\sum_{i,j}A_{ij}B_{ij}C_{ij}$ 式中 $\odot{}$ 是逐元素乘积或Hardamard积

逆矩阵

定义
设A为n阶方阵，若存在n阶方阵B使得 $AB=BA=I$ 则称A是可逆的，B是A的逆矩阵，记为 $B=A^{-1}$ 。
定理：任意方阵的逆矩阵若存在则唯一
伴随矩阵
- n阶 $(n\geqslant{2})$ 方阵A的伴随矩阵 $A^*$ 定义：其元素 $A_{ji}^*$ 是 $det(A)$ 的元素 $a_{ij}$ 的代数余子式
- 对任意n阶 $(n\geqslant{2})$ 方阵A，有 $AA^*=A^*A=det(A)I$ 成立
伴随矩阵的性质（设方阵A、B均为n阶 $(n\geqslant{2})$ ）
- $(kA)^*=k^{n-1}A^*,k\in{C}$
- $|A^*|=|A|^{n-1}$
- $(A^*)^*=|A|^{n-2}A$
- $(A^*)^T=(A^T)^*$
- $(A^*)^H=(A^H)^*$
- $(AB)^*=B^*A^*$
方阵可逆的充要条件
- n阶方阵 $A$ 可逆的充要条件是 $det(A)\neq0$ ，且A的逆矩阵为 $A^{-1}=\begin{cases}\frac{A^*}{det(A)}&n\geqslant{2}\\\frac{1}{A}&n=1\end{cases}$ 【注】1阶方阵可以当做一个数来看
逆矩阵的性质
设A、B是同阶方阵，常数 $k\neq0$ ：
- $(A^{-1})^{-1}=A$
- $(A^T)^{-1}=(A^{-1})^T$
- $(A^H)^{-1}=(A^{-1})^H$
- $(kA)^{-1}=\frac{1}{k}A^{-1}$
- $(A^n)^{-1}=(A^{-1})^n$
- $(A^*)^{-1}=(A^{-1})^*=\frac{A}{|A|}$
- $(AB)^{-1}=B^{-1}A^{-1}$
特殊矩阵的逆矩阵
- 若对角矩阵 $\Sigma=\begin{bmatrix}\lambda_1&\quad\\\quad&\ddots&\quad\\\quad&\quad&\lambda_n\end{bmatrix}$ 可逆，则其逆矩阵为 $\Sigma^{-1}=\begin{bmatrix}\lambda_1^{-1}&\quad\\\quad&\ddots&\quad\\\quad&\quad&\lambda_n^{-1}\end{bmatrix}$ 。
- 若上三角方阵可逆，则其逆矩阵为上三角方阵
- 若下三角方阵可逆，则其逆矩阵为下三角方阵

另外，还需注意上三角方阵与上三角方阵的积是上三角矩阵，下三角方阵与下三角方阵的积是下三角方阵。

初等变换与矩阵、向量组的秩

行最简形和列最简形

矩阵A称为行最简形，若A的所有非零行都在零行的上面，A的每个非零行的首非零元是1，其列号随行号严格单调递增，且其所在列的其他元素均为零。
矩阵A称为列最简形，若A的所有非零列都在零列的左面，A的每个非零列的首非零元是1，其行号随列号严格单调递增，且其所在行的其他元素均为零。

初等变换

初等行（列）变换有三种：

交换矩阵的第i行（列）和第j行（列）
用非零常数乘矩阵的第i行（列）
将矩阵的第i行（列）的k倍 $(k\in{C})$ 加到第j行（列）上

初等矩阵

定义：对单位矩阵作1次初等变换得到的矩阵称为初等矩阵，初等矩阵共有3种
定理：设A为 $m\times{n}$ 矩阵，对A进行1次初等行变换，其结果等同于给A左乘一相应的初等矩阵（即单位矩阵进行1次相同的初等行变换）；对A进行1次初等列变换，其结果等同于给A右乘一相应的初等矩阵
定理：方阵A是可逆矩阵的充要条件是A可以写成若干初等矩阵的积
定理：任意矩阵A可通过有限次初等行变换化为唯一的一个行最简形，也可通过有限次初等列变换化为唯一的一个列最简形；即存在可逆矩阵P、Q使得PA是A的行最简形，AQ是A的列最简形

矩阵的秩

定义：矩阵A的最高阶非零子式的阶数称为A的秩，记为r(A)或rank(A)；当A没有非零子式（即 $A=O$ ）时，定义 $r(A)=0$
$r(A^H)=r(A^T)=r(A)$
定义：若 $m\times{n}$ 矩阵A的秩等于n，则称A是列满秩矩阵；若秩为m，则称A是行满秩矩阵；若 $r(A)=m=n$ ，则称A是满秩方阵，显然满秩方阵就是可逆矩阵
定理：初等变换不改变矩阵的秩
定理： $r(PA)=r(AQ)=r(A)$ ，其中P、Q是可逆矩阵
定义：设 $m\times{n}$ 矩阵A的秩为r，A的秩标准形（又称等价标准形）定义为 $m\times{n}$ 矩阵 $\begin{bmatrix}I_r&O\\O&O\end{bmatrix}$ 。
定理：任意秩为r的矩阵A可经有限次初等变换化为A的秩标准形；即存在可逆矩阵P、Q使得 $PAQ=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}$ 。
定理：列满秩矩阵可经有限次初等行变换化为它的秩标准形
定理：行满秩矩阵可经有限次初等列变换化为它的秩标准形
可逆方阵A求逆的方法：因为 $A^{-1}\begin{bmatrix}I&A\end{bmatrix}=\begin{bmatrix}A^{-1}&I\end{bmatrix}$ ，故只需对 $\begin{bmatrix}I&A\end{bmatrix}$ 进行初等行变换使得A化为了I，此时I所化得的矩阵就是A的逆矩阵。
定理： $r(BA)=r(AC)=r(A)$ ，其中B是列满秩矩阵，C是行满秩矩阵

向量组的秩

【注】这里的向量指的是n维向量，向量的每一个分量都是复数，即向量 $x\in{C^n}$ ，这与后面向量空间中的抽象向量的概念不同。

线性相关与线性无关

定义：设 $\alpha_1,\alpha_2,\cdots,\alpha_m$ 是n维向量组，若存在不全为零的复数 $k_1,k_2,\cdots,k_m$ 使得 $\sum_{i=0}^m k_i\alpha_i=0$ ，则称该向量组线性相关；否则，称该向量组线性无关
定义：若存在一组常数 $k_1,k_2,\cdots,k_s$ 使得向量 $b=\sum_{i=1}^sk_ia_i$ ，则称b可由 $a_1,a_2,\cdots,a_s$ 线性表示；若向量组A中的每个向量都可由向量组B线性表示，则称A可由B线性表示；若向量组A和B可相互线性表示，则称A和B等价
定理：向量组 $a_1,a_2,\cdots,a_s$ 线性相关等价于齐次线性方程组 $\begin{bmatrix}a_1&\cdots&a_s\end{bmatrix}x=0$ 有非零解，等价于矩阵 $\begin{bmatrix}a_1&\cdots&a_s\end{bmatrix}$ 的秩小于s
定理：若n维向量组U含有 $s\gt{n}$ 个向量，则U线性相关
定理：向量组线性相关的充要条件为该向量组中至少存在一个向量可用其他向量线性表示
定理：若向量组 $a_1,a_2,\cdots,a_s$ 线性无关，而 $a_1,a_2,\cdots,a_s,b$ 线性相关，则b可由 $a_1,a_2,\cdots,a_s$ 唯一地线性表示
定理：若线性无关向量组A可由向量组B线性表示，则后者所含的向量个数不小于前者
定理：等价的线性无关向量组所含向量个数相同
定理：若向量组的某个子组线性相关，则该向量组线性相关
定理：若向量组线性无关，则该向量组的任意子组线性无关

极大无关组与秩

定义：若向量组U有一个子组u满足：u线性无关，且U中任意向量均可由u线性表示，则称u是U的极大无关组
定理：若n维向量组U含有非零向量，则U的极大无关组必存在
证明：
若U含有不少于 $n+1$ 个向量（包括了U是无穷集的情况），任取U的一个子组 $U^{'}$ ，满足 $U^{'}$ 含有 $n+1$ 个向量，则 $U^{'}$ 是线性相关的。显然 $U^{'}$ 的线性无关的子组是存在的，且 $U^{'}$ 的任意一个线性无关的子组所含向量的个数不大于n。设 $U^{'}$ 的线性无关的子组所含向量个数最大值为 $f(U^{'})$ ， $W=\underset{U^{'}}{\mathrm{argmax}}\{f(U^{'})|U^{'}\subseteq{U},card(U^{'})=n+1\}$ 则U的全部线性无关子组所含向量个数最大值是 $f(W)$ 。设 $W^{'}$ 是W的一个包含 $f(W)$ 个向量的线性无关子组，现证明U中任意向量均可由 $W^{'}$ 线性表示：显然 $W^{'}$ 中向量可由 $W^{'}$ 线性表示， $\forall{x}\in{U},x\notin{W^{'}},W^{'}\cup{\{x\}}$ 是线性相关的，故x可由 $W^{'}$ 线性表示，故根据极大无关组的定义， $W^{'}$ 是U的一个极大无关组。若U含有少于n+1个向量，证明参照以上。得证。
定理：若U存在极大无关组，则U的所有极大无关组所含向量的个数均相同
定理：U中任意向量都可由U的某个极大无关组唯一地线性表示
定义：向量组U的秩定义为U的极大无关组所含的向量个数，记为r(U)；当U只含零向量时，定义 $r(U)=0$
定义：矩阵的行向量组的秩称为该矩阵的行秩，矩阵的列向量组的秩称为该矩阵的列秩
定理：若 $r(U)=r$ ，则U中的任意r个线性无关的向量构成了U的一个极大无关组
定理：若向量组 $U$ 可由向量组 $U^{'}$ 线性表示，则 $r(U)\leqslant{}r(U^{'})$
定理：若两向量组等价，则它们的秩相等

线性方程组的解

对任意线性方程组 $Ax=b$ ，其中A是 $m\times{n}$ 矩阵，称 $B=\begin{bmatrix}A&b\end{bmatrix}$ 是A的增广矩阵，通过对B进行初等行变换化为B的行最简形，可以证明方程组的解有且仅有以下三种情形：
- 若 $r(A)+1=r(B)$ ，则方程组无解
- 若 $r(A)=r(B)=n$ ，则方程组有唯一解
- 若 $r(A)=r(B)<n$ ，则方程组有无穷多解
定义：齐次线性方程组 $Ax=0$ 的所有解向量x构成了一个向量组，称为方程组的解空间，若该向量组有极大无关组，则称该向量组的极大无关组是该方程组的一个基础解系。
定理：设A是 $m\times{n}$ 矩阵， $r(A)=r<n$ ，则 $Ax=0$ 的基础解系存在，且其所含解向量个数为 $n-r$

关于秩的一些重要结论

矩阵的秩等于其行秩和列秩
$r(A+B)\leqslant{}r(A)+r(B)$
$r(A)+r(B)-n\leqslant{}r(A_{m\times{n}}B_{n\times{k}})\leqslant{}min\{r(A),r(B)\}$
若 $r(AB)=r(B)$ ，则关于x的齐次线性方程 $ABx=0$ 和 $Bx=0$ 是同解方程
$r(A^HA)=r(AA^H)=r(A)$ ，对于实矩阵A则有 $r(A^TA)=r(AA^T)=r(A)$

满秩分解

定义：设矩阵 $A\in{C^{m\times{n}}_r}$ （即A是秩为r的 $m\times{n}$ 复矩阵），若存在列满秩矩阵 $K\in{C^{m\times{r}}_r}$ 和行满秩矩阵 $L\in{C^{r\times{n}}_r}$ 使得 $A=KL$ ，则称 $A=KL$ 是A的一个满秩分解
定理：设矩阵 $A\in{C^{m\times{n}}_r}$ ，若 $r\gt{0}$ ，则A的满秩分解必存在
证明：
存在m阶可逆矩阵P和n阶可逆矩阵Q使得 $PAQ=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}$ ，则 $A=P^{-1}\begin{bmatrix}I_r&O\\O&O\end{bmatrix}Q^{-1}=P^{-1}\begin{bmatrix}I_r\\O\end{bmatrix}\begin{bmatrix}I_r&O\end{bmatrix}Q^{-1}$ 。设 $K=P^{-1}\begin{bmatrix}I_r\\O\end{bmatrix}$ ， $L=\begin{bmatrix}I_r&O\end{bmatrix}Q^{-1}$ ，则K是列满秩矩阵，L是行满秩矩阵，且 $A=KL$ ，故 $A=KL$ 是A的一个满秩分解。得证。
满秩分解的快速算法
- 置换矩阵：n阶置换矩阵P是将n阶单位矩阵的列向量（或行向量）进行重新排列后得到的矩阵。P可以记为 $P=\begin{bmatrix}e_{j_1}&e_{j_2}&\cdots&e_{j_n}\end{bmatrix}$ ，其中 $e_i$ 是n阶单位矩阵的第i列（行）， $j_1,j_2,\cdots,j_n$ 是 $1,2,\cdots,n$ 的一个全排列。
- 置换矩阵P的性质：设 $A=\begin{bmatrix}a_1&a_2&\cdots&a_n\end{bmatrix}$ ， $P=\begin{bmatrix}e_{j_1}&e_{j_2}&\cdots&e_{j_n}\end{bmatrix}$ ，则易验证 $AP=\begin{bmatrix}a_{j_1}&a_{j_2}&\cdots&a_{j_n}\end{bmatrix}$ ，即A的列向量组被按照P中列向量顺序进行了重排列。同样地，置换矩阵也能将A的行向量组进行重排列，只需用一个置换矩阵P左乘A即可。
- 满秩分解算法：
  设 $A\in{C^{m\times{n}}_r},r\gt{0}$ 的行最简形的前r行构成的矩阵为L，L的第i行的首非零元在L的第 $j_i$ 列，设 $K=\begin{bmatrix}a_{j_1}&&a_{j_2}&\cdots&a_{j_r}\end{bmatrix}$ ，则 $A=KL$ 是A的一个满秩分解。
  证明：
  存在可逆矩阵P、Q使得 $PA$ 是A的行最简形，且 $PAQ=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}$ 。由于 $PA=\begin{bmatrix}I_r&O\\O&O\end{bmatrix}Q^{-1}=\begin{bmatrix}\begin{bmatrix}I_r&O\end{bmatrix}Q^{-1}\\O\end{bmatrix}$ ，所以 $L=\begin{bmatrix}I_r&O\end{bmatrix}Q^{-1}$ ，显然L是行满秩的。设 $Z=\begin{bmatrix}e_{j_1}&e_{j_2}\cdots&e_{j_r}\end{bmatrix}$ ，由行最简形的定义易知 $PAZ=\begin{bmatrix}I_r\\O\end{bmatrix}$ ，故 $AZ=P^{-1}\begin{bmatrix}I_r\\O\end{bmatrix}$ 。由矩阵K的定义知 $K=AZ$ ，故实际上 $K=P^{-1}\begin{bmatrix}I_r\\O\end{bmatrix}$ ，K是列满秩的，则 $KL=P^{-1}\begin{bmatrix}I_r\\O\end{bmatrix}\begin{bmatrix}I_r&O\end{bmatrix}Q^{-1}=P^{-1}\begin{bmatrix}I_r&O\\O&O\end{bmatrix}Q^{-1}=A$ ，故 $A=KL$ 是A的一个满秩分解。
  【注】上述算法无需求出可逆矩阵P和Q，只需对A进行初等行变换化为行最简形，就能迅速得出结果。