最小二乘法是统计学中重要的概念,这篇文章将讲解它拟合曲线的性质以及它与投影矩阵的联系
拿最小二乘法拟合直线来举例
将误差的平方和作为总误差,总误差最小时可求得最佳拟合直线
若设y为ax+b,分别对a和b求导,因为这种函数大多为凹函数,所以取偏导为0时有极值,这里不再展开。
这种求误差方式是从一维图像上求向量模的最小值,但我们可从高纬度来审视这种方法,先把y-yi列出来
ax1+b=y1-e1
ax2+b=y2-e2
ax3+b=y3-e3
ax4+b=y4-e4
行列式?那我们可以把它转换成矩阵
这不就是Ax=b吗,更准确的说y1,y2,y3,y4是我们的拟合对象,e1,e2,e3,e4是误差,这个公式是Ax=b-e
若Ax=b有解则e=0,此时的x就是我们所需的答案,但往往数据集要远超变量的数目,b在列空间之外,我们没法通过空间内的向量去拟合空间外的向量,所以我们要去拟合最接近b的向量,如果拿二维平面(列空间)和三位向量(b)来举例,最接近b的向量就是b在平面上的投影,此时e^2最小,它就是点到平面的最短距离的平方。
现在假设Ax-b垂直于列空间展开的平面,即Ax-b在A的零空间中,故AT(Ax-b)=0
ATAx=Ab—>x=Ab*(ATA)^-1
此时x中的系数即为最佳拟合系数,这种矩阵算法给计算机提供了一个快速计算系数的方法