秩-零化度定理 告诉我们: $m\times n$ 阶矩阵 $A$ 的零空间(Nullspace) $N(A)$ 和列空间(Column sapce) $C(A)$ 的关系:

$n = \dim N(A) + \dim C(A)$

本次依据秩-零化度定理, 介绍四个基本空间, 并证明它们的正交性关系, 最后, 给出一道经典例题.

四个基本空间

将矩阵 $A$ 行列互换, 称为 $A$ 的转置, 记为 $A^{\mathsf T}$. 则对应的: $C(A^{\mathsf T})$ 表示 $A$ 的行空间(Row space), 对应地将 $N(A^{\mathsf T})$ 称为 $A$ 的左零空间(Left nullspace).

首先, 因为行秩 = 列秩, 所以

$n = \dim N(A) + \dim C(A^{\mathsf T})$

然后, 转置并参考秩-零化度定理

$m = \dim N(A^{\mathsf T}) + \dim C(A)$

综上, 对于 $m \times n$ 阶矩阵 $A$ 有:

正交关系

实际上, 行空间和零空间在 $\mathbb{R}^n$ 中是直和关系, 相应的, 列空间和左零空间在 $\mathbb{R}^m$ 中是直和关系, 如下图所示

下面, 证明这两个直和(正交)关系

简要证明

1. $\mathbb{R}^n = C(A^{\mathsf T}) \oplus N(A)$

• 对 $\forall\, x_1 \in C(A^{\mathsf T}), \forall \, x_2 \in N(A)$, 成立 $x=x_1+x_2 \in \mathbb{R}^n$
• 假设 $x \in C(A^{\mathsf T}) \cap N(A)$, 即

$\begin{cases} Ax = 0 & \forall \, x \in N(A) \\[3pt] A^{\mathsf T}y = x & \exists\, y \in C(A^{\mathsf T}) \end{cases}$

联立即得

$AA^{\mathsf T}y = 0$

左右同乘 $y^{\mathsf T}$

$y^{\mathsf T}AA^{\mathsf T}y = (A^{\mathsf T}y)^{\mathsf T}A^{\mathsf T}y=0$

得到

$x = A^{\mathsf T}y = 0$

即

$C(A^{\mathsf T}) \cap N(A) = \{0\}$

结论得证.

2. $\mathbb{R}^m = C(A) \oplus N(A^{\mathsf T})$

记 $B=A^{\mathsf T}$, 利用证明 1

$\mathbb{R}^m = C(B^{\mathsf T}) \oplus N(B)$

将 $B^{\mathsf T} = (A^{\mathsf T})^{\mathsf T} = A$ 带入上式, 即证.

经典例题

假设存在 $m\times n$ 阶矩阵 $A$, 给定一个向量 $b\in\,\mathbb{R}^m$, 且已知 $Ax = b$ 有解. 试证

1. 存在唯一 $y \in\, C(A^{\mathsf Ｔ})$, 使得 $Ay = b$ 成立.
2. 所有解中, 行空间 $C(A^{\mathsf T})$ 中的解 $y$ 的长度最小.
3. 假设 $A$ 行满秩( ${\rm rank}(A) = m$), 求 $y \in \, C(A^{\mathsf T})$ (用 $A, b$ 表示)

证:

1. • 存在性
     假设 $x \in \mathbb{R}^n$ 满足 $Ax=b$, 因为 $C(A^{\mathsf T})$ 和 $N(A)$ 是直和关系, 所以 $x$ 可唯一地分解为
     $x = y + z$
     其中, $y\in\, C(A^{\mathsf T}), z \in N(A)$, 那么
     $\begin{aligned} Ax &= A(y+z) \\&= Ay + Az \\&= Ay = b \end{aligned}$
     成立.
   • 唯一性
     假设 $y^{\prime} \in\, C(A^{\mathsf T})$, 也满足 $Ay^{\prime} = b$. 则 $Ay - Ay^{\prime} = A(y-y^{\prime}) =0$
     即 $y-y^{\prime} \in\, N(A)$, 又因为 $y-y^{\prime} \in \, C(A^{\mathsf T})$, 所以 $y-y^{\prime} = 0$
     即 $y = y^{\prime}$.

2. 联系问 1, 解 $x = y + z$, 其中 $y\in\, C(A^{\mathsf T}), z \in N(A)$. 因为二者正交, 所以

$\begin{aligned} \lVert x \rVert^2 &= (y+z)^{\mathsf T}(y+z) \\ &= \lVert y \rVert^2 + \lVert z \rVert^2 \geq \lVert y \rVert^2 \end{aligned}$

$z = 0$ 时, 等号成立.

3. 因为 $y \in \, C(A^{\mathsf T})$, 则 $y$ 可表示为 $y=A^{\mathsf T}x$.则 $Ay = AA^{\mathsf T} x = b$
   若 $AA^{\mathsf T}$ 满秩, 则 $x = (AA^{\mathsf T})^{-1}b$
   可得到 $y=A^{\mathsf T}(AA^{\mathsf T})^{-1}b$
   下面证明 ${\rm rank} A ={\rm rank } AA^{\mathsf T}$, 只需证明
   $\begin{cases}Ax =0 \\[3pt] A^{\mathsf T}Ax=0 \end{cases}$
   同解. 显然, $Ax = 0 \Longrightarrow A^{\mathsf T}Ax=0$.
   
   
   若满足 $A^{\mathsf T}Ax=0$, 左右同乘 $x^{\mathsf T}$

   $x^{\mathsf T}A^{\mathsf T}Ax=(Ax)^{\mathsf T}Ax=0$

   即得 $Ax = 0$. 所以 ${\rm rank} A = {\rm rank } A^{\mathsf T}A={\rm rank } AA^{\mathsf T}$.

总结

从空间的角度理解线代才是掌握线代的不二法门.

矩阵的四个基本空间是很重要的概念, 可以帮助我们从空间的角度理解线性方程组解的结构, 甚至是最小二乘法.

由于篇幅原因, 下次介绍最小二乘法( $A^{\mathsf T}Ax = A^{\mathsf T}b$).

原文链接: 矩阵的四个基本空间, 不了解下吗?