1. 矩阵范数
\qquad 设置矩阵 A = [ a 11 ⋯ a 1 n ⋮ ⋱ ⋮ a m 1 ⋯ a m n ] ∈ C m × n A=\left[ \begin{matrix} a_{11} &\cdots & a_{1n}\\ \vdots &\ddots & \vdots \\a_{m1} &\cdots & a_{mn}\end{matrix} \right] \in C^{m\times n} A=⎣⎢⎡a11⋮am1⋯⋱⋯a1n⋮amn⎦⎥⎤∈Cm×n
(1) ∣ ∣ A ∣ ∣ 1 = m a x ( ∑ i = 1 m ∣ a i 1 ∣ , ⋯ , ∑ i = 1 m ∣ a i n ∣ ) \displaystyle ||A||_1=max(\sum^{m}_{i=1}|a_{i1}|,\cdots,\sum^{m}_{i=1}|a_{in}|) ∣∣A∣∣1=max(i=1∑m∣ai1∣,⋯,i=1∑m∣ain∣)
(2) ∣ ∣ A ∣ ∣ ∞ = m a x ( ∑ j = 1 n ∣ a 1 j ∣ , ⋯ , ∑ j = 1 n ∣ a m j ∣ ) \displaystyle ||A||_\infty=max(\sum^{n}_{j=1}|a_{1j}|,\cdots,\sum^{n}_{j=1}|a_{mj}|) ∣∣A∣∣∞=max(j=1∑n∣a1j∣,⋯,j=1∑n∣amj∣)
(3) ∣ ∣ A ∣ ∣ F r o b = [ ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ] 1 2 \displaystyle ||A||_{Frob}=\left[\sum^{m}_{i=1}\sum^{n}_{j=1}|a_{ij}|^2\right]^{1\over 2} ∣∣A∣∣Frob=[i=1∑mj=1∑n∣aij∣2]21
(4) ∣ ∣ A ∣ ∣ 2 = ( m a x ( λ 1 , ⋯ , λ n ) ) 1 2 \displaystyle ||A||_{2}=(max(\lambda_1,\cdots,\lambda_n))^{1\over 2} ∣∣A∣∣2=(max(λ1,⋯,λn))21,其中 λ i \lambda_i λi是 A H A A^HA AHA的特征值。 A H A^H AH是矩阵 A A A的共轭矩阵。
2. 矩阵正定
positive definite matrix
2.1 正定矩阵(PD):
\qquad 给定一个大小为 n × n n\times n n×n 的实对称矩阵 A A A,若对于任意长度为 n n n 的非零向量 x x x,有 x T A x x^TAx xTAx 恒成立,则矩阵 A A A 是一个正定矩阵。
2.2 半正定矩阵(PSD)
\qquad 给定一个大小为 n × n n\times n n×n 的实对称矩阵 A A A,若对于任意长度为 n n n 的非零向量 x x x,有 x T A x x^TAx xTAx 恒成立,则矩阵 A A A 是一个半正定矩阵。
3. 正交矩阵
\qquad 正交矩阵(Orthogonal Matrix
)是指其转置等于其逆的矩阵,即 A T = A − 1 A^T=A^{-1} AT=A−1。正交矩阵的行列式必定是+1
或-1
。
- 重要性质:
- A的逆等于A的转置,即 A − 1 = A T A^{-1}=A^T A−1=AT。
- A的行列式为 ± 1 ±1 ±1,即 ∣ A ∣ = ± 1 |A|=\pm1 ∣A∣=±1。
- A的行(列)向量组为 n n n 维单位正交向量组。
4. 特征向量和特征值
A x = λ x Ax=\lambda x Ax=λx
- 不被矩阵改变方向的向量。
- 对称矩阵总是可以找到特征向量。
5. 哈达玛积
\qquad 两个矩阵的按元素乘法称为哈达玛积(Hadamard product
),记为: A ⨀ B A\bigodot B A⨀B。
6. 求导
-
对于分子布局来说,我们求导结果的维度以分子为主;对于分母布局来说,我们求导结果的维度以分母为主。以下我们采用的就是分子布局。对于分子布局和分母布局的结果来说,两者相差一个转置。
-
若 x = [ x 1 x 2 ⋮ x n ] \displaystyle \pmb{x}=\left[\begin{matrix}x_1\\x_2\\\vdots \\x_n\end{matrix}\right] xxx=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤, y y y 为常数,则 ∂ y ∂ x = [ ∂ y ∂ x 1 , ∂ y ∂ x 2 , ⋯ , ∂ y ∂ x n ] \displaystyle \frac{\partial y}{\partial \pmb{x}}=\left[\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},\cdots,\frac{\partial y}{\partial x_n}\right] ∂xxx∂y=[∂x1∂y,∂x2∂y,⋯,∂xn∂y] 是
行向量
。 -
若 x x x 为常数, y = [ y 1 y 2 ⋮ y n ] \displaystyle \pmb{y}=\left[\begin{matrix}y_1\\y_2\\\vdots \\y_n\end{matrix}\right] yyy=⎣⎢⎢⎢⎡y1y2⋮yn⎦⎥⎥⎥⎤,则 ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] \displaystyle \frac{\partial \pmb{y}}{\partial x}=\left[\begin{matrix} \displaystyle\frac{\partial y_1}{\partial x}\\\displaystyle\frac{\partial y_2}{\partial x}\\\vdots\\\displaystyle\frac{\partial y_m}{\partial x}\end{matrix}\right] ∂x∂yyy=⎣⎢⎢⎢⎢⎢⎢⎢⎡∂x∂y1∂x∂y2⋮∂x∂ym⎦⎥⎥⎥⎥⎥⎥⎥⎤ 是
列向量
。 -
若 x = [ x 1 x 2 ⋮ x n ] \displaystyle \pmb{x}=\left[\begin{matrix}x_1\\x_2\\\vdots \\x_n\end{matrix}\right] xxx=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤, y = [ y 1 y 2 ⋮ y n ] \displaystyle \pmb{y}=\left[\begin{matrix}y_1\\y_2\\\vdots \\y_n\end{matrix}\right] yyy=⎣⎢⎢⎢⎡y1y2⋮yn⎦⎥⎥⎥⎤,则 ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] = [ ∂ y 1 ∂ x 1 , ∂ y 1 ∂ x 2 , ⋯ , ∂ y 1 ∂ x n ∂ y 1 ∂ x 1 , ∂ y 1 ∂ x 2 , ⋯ , ∂ y 1 ∂ x n ⋮ ∂ y m ∂ x 1 , ∂ y m ∂ x 2 , ⋯ , ∂ y m ∂ x n ] \displaystyle \frac{\partial \pmb{y}}{\partial \pmb{x}}=\left[\begin{matrix} \displaystyle\frac{\partial y_1}{\partial \pmb{x}}\\\displaystyle\frac{\partial y_2}{\partial \pmb{x}}\\\vdots\\\displaystyle\frac{\partial y_m}{\partial \pmb{x}}\end{matrix}\right]=\left[\begin{matrix} \displaystyle\frac{\partial y_1}{\partial x_1},\displaystyle\frac{\partial y_1}{\partial x_2},\cdots,\displaystyle\frac{\partial y_1}{\partial x_n}\\\displaystyle\frac{\partial y_1}{\partial x_1},\displaystyle\frac{\partial y_1}{\partial x_2},\cdots,\displaystyle\frac{\partial y_1}{\partial x_n}\\\vdots\\\displaystyle\frac{\partial y_m}{\partial x_1},\displaystyle\frac{\partial y_m}{\partial x_2},\cdots,\displaystyle\frac{\partial y_m}{\partial x_n}\end{matrix}\right] ∂xxx∂yyy=⎣⎢⎢⎢⎢⎢⎢⎢⎡∂xxx∂y1∂xxx∂y2⋮∂xxx∂ym⎦⎥⎥⎥⎥⎥⎥⎥⎤=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡∂x1∂y1,∂x2∂y1,⋯,∂xn∂y1∂x1∂y1,∂x2∂y1,⋯,∂xn∂y1⋮∂x1∂ym,∂x2∂ym,⋯,∂xn∂ym⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤ 是
矩阵
。