前言
Courant-Fischer min-max theorem 是特征值极为重要的一个性质。 但是国内的各种教材资料包括博客上都很少提及。 我自己在科研中曾经用到过。 近期又碰到了另一个精彩的结论 韦尔定理(Wely theorem),有一个应用极大极小定理的简洁美妙的证明。 因此, 这篇博文写一下这个不容忽视的定理。
极大极小定理
首先,本定理针对的是Hermitian 矩阵, 即共轭对称矩阵。 因为只有共轭对称矩阵的特征值是确定为实数值的, 其他矩阵很可能是复数值, 而复数值,也就不存在大小关系了。
Courant-Fisher min-max 定理
对于
n×n的矩阵
A, 有:
-
λk=dim(U)=kminx∈U,∥x∥=1maxxHAx
-
λk=dim(U)=n−k+1maxx∈U,∥x∥=1minxHAx
其中,
λi 是 第
k 小的特征值。
这个定理在两年前接触到的时候一头雾水, 数院的国奖哥以此帮我证明了一个式子的时候更是惊为天人。 核心原因是当时对子空间的概念的认知实在太过不足。 现在回头看虽然仍觉得非常困难,但还是稍微精进了一些。
这个证明, 我参考了维基百科上的证明, 以下是对百科上过程的翻译:
由于
A是共轭对称矩阵, 所以根据共轭对称矩阵的特征分解的性质, 选定其特征向量
{u1,…,un} 作为一组正交基。 子空间与基相关知识
即, 这就是
n维空间的
n 个基。
现在, 若有该
n维空间的一个子空间
U, 其维度为
k, 和子空间
span(uk,…,un), 必定存在一个交集。 这一点其实可以这样证明: 首先
U的维度是
k, 而
span(uk,…,un)的维度是
n−k+1。 也就是说, 两者的维度之和 大于
n。因此, 必定存在一个非零的交集。(这一点其实可以这样判断: 如果维度之和刚好是
n, 那可能两个子空间刚好由一组正交基的两部分扩展二成,是没有交集的。但和为
n+1,如果没有交集,就说明这个空间其实应该有
n+1个正交基, 这是违背的。没有想明白的读者, 可以根据3维空间来想像: 3维空间的两个二维子空间,必有交集。 而3维空间的1个二维子空间和1个一维子空间,是可以没有交集的。)
因此, 假设
v 是交集上的一个元素, 即, 既属于子空间
U 又属于 子空间
span(uk,…,un)。 那么,
v∈span(uk,…,un), 因此有:
扫描二维码关注公众号,回复:
11452477 查看本文章
x=i=k∑nαiui
(由于
∣∣x∣∣=1, 有
∑i=knαi=1)
那么,
xHAx=i=k∑nαi2uiHAui=i=k∑nλiαi2≥λi
即:
x∈U,∥x∥=1maxxHAx≥λi
对于所有子空间
U都成立。 即:
dim(U)=kminx∈U,∥x∥=1maxxHAx≥λi
这时候,我们再证另一半:
显然, 空间
V=span{u1,…,uk} 作为选择的
k维空间, 有:
xHAx≤λi
这个结论过于明显,不做解释了。
也就是说,
x∈V,∥x∥=1maxxHAx≤λi,
而
V 显然是
k维的子空间
U之一, 因此:
dim(U)=kminx∈U,∥x∥=1maxxHAx≤λi
所以有:
dim(U)=kminx∈U,∥x∥=1maxxHAx=λi
证毕。
经典应用: 韦尔定理 Wely theorem
对于两个
n×n 的共轭对称矩阵
A 和
B, 有:
λi(A)+λ1(B)≤λi(A+B)≤λi(A)+λn(B)。
显然,这是一个极为有用的定理。
先说下他的证明:
λi(A+B)=dim(V)=imaxx∈V,∥x∥=1minxH(A+B)x=dim(V)=imaxx∈V,∥x∥=1min(xHAx+xHBx)≥dim(V)=imax(x∈V,∥x∥=1minxHAx+x∈V,∥x∥=1minxHBx)≥dim(V)=imaxx∈V,∥x∥=1minxHAx+x∈V,∥x∥=1minxHBx=dim(V)=imaxx∈V,∥x∥=1minxHAx+λ1(B)=λi(A)+λ1(B)
非常简洁。
这个定理可以推出一些有用的结论:
- 可以确定两个共轭对称矩阵和 的 特征值的 范围。
- 一个共轭对称矩阵 加上一个正定共轭对称矩阵, 特征值必增大。