1.行矩阵、列矩阵

$m\times n$阶矩阵中，$m=1$称为行矩阵，也称为$n$维行向量;$n=1$称为列矩阵，也称为$m$维列向量。

2.矩阵的转置

假设A和B是两个$m\times n$的矩阵，$\lambda$是一个常数，有：

• $(A^T{)}^T=A$
• $(AB{)}^T=B^T{A}^T$,$(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(A+B{)}^T=A^T+B^T$
• $(\lambda A{)}^T=\lambda A^T$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$

对转置矩阵求导 ：
$$\frac{d{x}^T}{dx}=I$$
$$\frac{(Ax{)}^T}{dx}=A^T$$

3.奇异矩阵

奇异矩阵和非奇异矩阵首先是方阵，其次奇异矩阵的秩不是满秩，即$|A|=0$

4.对称矩阵与反对称矩阵

设$A$是$n$阶方阵，如果$A^T=A$,则称$A$是对称矩阵。如果$A^T=-A$,则称$A$为反对称矩阵。反对称矩阵中，主对角线上的元素均为0。

• $(AB{)}^T=B^T{A}^T$

5.正定矩阵

正定矩阵：

• 广义定义： 设$M$是 $n$阶方阵，如果对任何非零向量$z$,都有$z^{T}Mz>0$,就称M为正定矩阵
• 性质：

1. 正定矩阵的行列式恒为正
2. 若$A$是正定矩阵，则$A^T$也是正定矩阵
3. 两个正定矩阵的和是正定矩阵
4. 正实数与正定矩阵的乘积是正定矩阵
5. 正定矩阵的特征值均为正
6. 正定矩阵存在实可逆矩阵l，使得$A=l^{T}l$
7. 正定矩阵存在秩为mxn的实矩阵l，使得$A=l^{T}l$
8. 正定矩阵存在主对角元素全为正的实三角元素R，使得$A=l^{T}l$

$M$为正定矩阵 $<=>x^{T}Mx>0$ for all $x\in {\mathbb{R}}^n$
$M$为半正定矩阵 $<=>x^{T}Mx⩾0$ for all $x\in {\mathbb{R}}^n$

5.1 对称正定矩阵

设$A\in R^{n\times n}$，若$A=A^T$,对任意$0\ne X\in R^n$，都有$X^{T}AX>0$，则称A为对称正定矩阵

6.实对称矩阵

7.伴随矩阵

设矩阵$A$中，$A_{ij}$为行列式$|A|$中元素$a_{ij}$的代数余子式，称$A^{\ast }$为矩阵$A$的伴随矩阵。

• $A{A}^{\ast }=A^{\ast }A=|A|E$
• $(A^{\ast }{)}^T=(A^T{)}^{\ast }$,$(kA{)}^{\ast }=k^{n-1}{A}^{\ast }$

设 $A$可逆:

• $A^{\ast }=|A|A^{-1}$
• $(A^{\ast }{)}^{-1}=(A^{-1}{)}^{\ast }=|A{|}^{-1}A$
• $(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
• $(A^{\ast }{)}^{\ast }=|A{|}^{n-2}A$

8.正交阵

正交可以理解为垂直

正交阵是指满足$A{A}^T=E$或者$A^{T}A=E$的$n$阶方阵$A$，其中$E$为n阶单位阵。
$A{A}^T=\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ .\\ .\\ .\\ {\alpha }_n\end{array}\right]\left[\begin{array}{ccccccc}{\alpha }_1^T& & {\alpha }_2^T& & ...& & {\alpha }_n^T\end{array}\right]=\left[\begin{array}{ccccccc}{\alpha }_1{\alpha }_1^T& & {\alpha }_1{\alpha }_2^T& & ...& & {\alpha }_1{\alpha }_n^T\\ {\alpha }_2{\alpha }_1^T& & {\alpha }_2{\alpha }_2^T& & ...& & {\alpha }_2{\alpha }_n^T\\ .& & & & & & \\ .& & & & & & \\ .& & & & & & \\ {\alpha }_n{\alpha }_1^T& & {\alpha }_n{\alpha }_2^T& & ...& & {\alpha }_n{\alpha }_n^T\end{array}\right]=\left[\begin{array}{ccccccc}1& & 0& & ...& & 0\\ 0& & 1& & ...& & 0\\ .& & & & & & \\ .& & & & & & \\ .& & & & & & \\ 0& & 0& & ...& & 1\end{array}\right]=E$

如果矩阵的各列向量都是单位向量，并且两两正交。那么就说这个矩阵是正交矩阵。

• 性质：
  设A是n阶正交阵，则

1. $A^T=A^{-1}$
2. $A^{T}A=A{A}^T=E$（$E$是$n$阶单位阵）；
3. 若$A$是正交阵，则$A^T$或$A^{-1}$亦是正交阵；
4. 若$A、B$是正交阵，则$AB$亦是正交阵；
5. $|A|=1$或$|A|=-1$；
6. 实对称阵的对应不同特征值的特征向量正交；
7. 凡是正交矩阵，一定可以对角化。

对角化:参考相似矩阵，本质就是$A=P^{-1}BP$ , 也就是说一个矩阵A可以转为一个对角阵B.

正交矩阵：本身就是相互垂直，只是说它不见得是各个标准轴。以三维空间为例，我们希望正交矩阵是：

但是实际他很可能为下边这个样子
亦即以z轴为中心逆时针旋转了45°， 此时向量a,b,c依然相互正交，但是其列向量并不都在标准轴上.

即正交阵是一个在三维坐标系中歪着摆的立方体，对角化就是把这个立方体摆正回来（也就是让它的某个顶点放在原点上，同时这个原点的三条边正好对在三维坐标系xyz三个轴上）

9.准对角形矩阵

设$A$为$n$阶方阵，如果它的分块矩阵具有如下形式: $$\left[\begin{array}{cccc}{A}_1& 0& ...& 0\\ 0& A_2& ...& 0\\ ...& & & \\ 0& 0& ...& A_n\end{array}\right]$$则称$A$为准对角形矩阵。

$${\left[\begin{array}{cccc}{A}_1& 0& ...& 0\\ 0& A_2& ...& 0\\ ...& & & \\ 0& 0& ...& A_n\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{A}_1^{-1}& 0& ...& 0\\ 0& A_2^{-1}& ...& 0\\ ...& & & \\ 0& 0& ...& A_n^{-1}\end{array}\right]$$

$${\left[\begin{array}{cccc}{A}_1& 0& ...& 0\\ 0& A_2& ...& 0\\ ...& & & \\ 0& 0& ...& A_n\end{array}\right]}^{-1}=\left[\begin{array}{cccc}{A}_1^{-1}& 0& ...& 0\\ 0& A_2^{-1}& ...& 0\\ ...& & & \\ 0& 0& ...& A_n^{-1}\end{array}\right]$$

10.矩阵求导

矩阵求导知识点

11.矩阵运算规则

设$A=(a_{ij}{)}_{m\times n},B=(b_{ij}{)}_{n\times l}$,则对于A与B的乘积$C=AB$有：

$C$的第$i$行第$j$列元素$c_{ij}$由$A$的第$i$行元素与$B$的第$j$列元素对应相乘，再取乘积之和

12 n阶方阵

$m\times n$阶矩阵$A$中，$m=n$;

$n$阶方阵$A$，可定义行列式记为$|A|$;

$n$阶方阵存在主对角线及主对角线元素。

• $|AB|=|A||B|$
• $|A_1{A}_2...A_n|=|A_1||A_2|...|A_n|$
• $|A^T|=|A|,|A^{-1}|=|A{|}^{-1}$
• $|kA{|}_n=k^n|A|$
• $|A^{\ast }{|}_n=|A{|}^{n-1}$

参考

https://blog.csdn.net/shyjhyp11/article/details/123224556
https://zhuanlan.zhihu.com/p/258464098
https://zhuanlan.zhihu.com/p/50431187