版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/you1314520me/article/details/78857469
此博客停止更新迁移至SnailDove’s Blog,查看本文点击此处
笔记源自:清华大学公开课:线性代数2——第3讲:奇异值分解
提示:如果文中图片看不清文字,请右键单击鼠标,选择在新窗口打开图片,然后放大图片(这边上传之前都是可以看清的,由于网页正文部分大小固定,因此图片被自动缩小以便适配网页),截图部分是课堂ppt老师随手的板书。
目录
前言
对角矩阵是我们最喜欢的一类矩阵,对能够相似于对角阵的矩阵能方便地计算其幂和指数,对不能相似于对角阵的方阵。上节课我们讨论了如何求出其尽可能简单的相似标准形及Jordan标准形以上讨论的都是方阵。那么对m乘n的矩阵我们如何来对它进行对角化呢?
线性代数中最重要的一类矩阵分解即奇异值分解,从而回答以上的问题。对角矩阵是我们最喜欢的一类矩阵,因为给定一个对角阵立即就可以得到它的特征值,行列式,幂和指数函数等等。对角矩阵的运算跟我们熟悉的数的运算有很多相似之处,而一个n阶的矩阵相似于对角阵当且仅当它存在着n个线性无关的特征向量。
特别地,实对称矩阵一定会正交相似于对角阵,也就是说给你一个实对称矩阵,一定存在着正交矩阵
Q
把它的列向量记成
v1
到
vn
,它能够满足
QTAQ
等于
λ
,
λ
是一个对角阵,它的对角元是
A
的特征值,那么其中
Q
的列向量
vi
,它是矩阵
A
的属于特征值,
λi
的特征向量,也就是满足
Avi
等于
λivi
。我们现在有个问题是说,如果对于
m×n
的一个矩阵,我们如何来”对角化”它。那么也就是说在什么意义上,我们能够尽可能地。把
m×n
的一个矩形的阵向对角阵靠拢,今天我们来讨论矩阵的奇异值分解它是线性代数应用中,最重要的一类矩阵分解。
AAT
与
ATA
的特性
AAT
与
ATA
的特征值
AAT
与
ATA
非0特征值集合
ATA
与
AAT
的特征向量
令
ui:=Aviσi∈Rm(1≤i≤r)
,则
AATui=A(ATAviσi)=AATAviσi=Aσi2viσi=σi2Aviσi=σi2ui
,得出:
AATui=σi2ui
。又因为:
uiTuj=AviTσiAvjσj=viT(ATAvj)σiσj=σj2viTvjσiσj=σjσiviTvj→uiTuj={0,1,i≠ji=j
故:
{ui|1≤i≤r}
是
AAT
的单位正交特征向量。
根据假设(
v1,...,vn
是
ATA
的单位交基,
σ21,...,σ2n
是
AAT
的特征值)得:
ATAvi=σ2ivi(1≤i≤r)→vTiATAvi=vTiσ2ivi=σ2ivTivi→||Avi||2=σ2i→|Avi|=σi
从
AAT
得出SVD
(1)ui:=Aviσi∈Rm(1≤i≤r)→Avi=σiui(2)ATAvi=σi2vi,(i≤i≤r)→ATAviσi=σivi→ATui=σivi
由上式子得:
U
是
A
列空间的一组单位正交基,
V
是
AT
的列空间的一组单位正交基。
σi
是
Avi
的长度,计
⎛⎝⎜⎜⎜⎜⎜⎜σ1...σr⎞⎠⎟⎟⎟⎟⎟⎟
为
Σ
,得:
Am×nVn×r=Um×rΣr×r→Am×n=Um×rΣr×rV−1r×n=Um×rΣr×rVTr×n
向量形式:
A=∑ri=1σiuiviT
SVD形式
例题
求
u3
两种方法:
方法1:
AATu3=⎛⎝⎜10101−1⎞⎠⎟(10011−1)u3=⎛⎝⎜10101−11−12⎞⎠⎟u3=0u3→u3=13√⎛⎝⎜1−1−1⎞⎠⎟
方法2:
uj:=⎛⎝⎜xyz⎞⎠⎟,∑r=3i=1uiuj=0(i≠j),||uj||2=1→uj=3=13√⎛⎝⎜1−1−1⎞⎠⎟
svd几何意义
svd应用
svd与矩阵的四个基本子空间
svd与图像压缩
奇异值与特征值关系
奇异值与奇异矩阵