5.2 最优近似解
x^=AL−1b 是最小二乘解
根据平面几何定理,点到直线的距离,垂线最短,推广到高维,即点到子空间的距离,垂线最短。根据投影性质,向量
bp 是向量
b 在子空间
colA 的垂足,向量
b−bp 是垂线,距离最短,又
bp=Ax^ ,得
∥b−bp∥=∥b−Ax^∥=minx(∥b−Ax∥)
在子空间
colA 中任意向量
Ax 与向量
b 的距离大于垂线距离
∥b−bp∥ ,距离
∥b−Ax∥ 最小的解即是最优近似解。
∥b−bp∥2 是什么呢?
∥b−bp∥2=∥b−Ax^∥2=∑i(bi−ariTx^)2 。
bi−ariTx^ 是第
i 次测量数据的预测值
b^i=ariTx^ 与实际测量值
bi 的差,
bi−b^i 称为残差。最优近似解的残差平方和最小,故称最小二乘解,二乘就是指平方和。