二五、最小二乘逼近

1. 定义

假设

\underset{n \times k}{A} \vec{x} = \vec{b} \qquad \vec{x} \in R^k \qquad \vec{b} \in R^n

且方程无解,这意味着向量b不在A的列空间中:

\vec{b} \notin C(A)

虽然方程无解,但我们可以求得一个与向量b最接近的解,即:

\left \| \vec{b} - A \vec{x^\star} \right \|

最小时,方程:

A \vec{x^\star} = \vec{b} - (\vec{b} - A \vec{x^\star})

的解。因为向量在子空间的投影距离向量最近,因此:

A \vec{x^\star} = Proj_V \vec{b} = A (A^T A) ^ {-1} A \vec{b}

\vec{x^\star} = (A^T A) ^{-1} A^T \vec{b}

向量x*称为最小二乘解(least squares solution, estimate, approximation),它不是真正意义上的解,它是一个最优解。

2. 应用

最小二乘估计法是对过度确定系统(方程个数大于未知数个数的方程组)求得近似解的标准方法。

猜你喜欢

转载自blog.csdn.net/gutsyfarmer/article/details/104292086