一、解决什么问题
我们现在有一堆样本,在图象上的位置如下图黑点:
最小二乘法要做的事情,就是拟合出来一条直线(也可以是曲线,但是本篇只说直线的情况),使得所有点的均方差最小,以便用于未知数据情况的猜测
二、如何拟合
因为本篇只讨论线性的,所以直线可以用下记的表达式进行表示:
其中:
正常情况下,函数表达式有一个常量b,但是为了简写,这里把b融合到了中,并令
这样实际上就是一个常量b了
在样本中,我们知道每个样本的真值,所以我们的均方差表达式为:
接下来只需要求得,就可以获得原函数表达式了,推导过程如下:
首先将均方差公式展开为向量表达形式:
其中相乘的两个矩阵互为转置矩阵,先对左边的矩阵进行转换:
右边的式子是这个式子的转置,所以转换为:
带入到原均方差公式中,并继续展开:
不根据矩阵的性质,单纯从均方差的定义知道,最终一定是一个实数值,所以等式右边的每一项,也一定是一个数字
而其中第二项和第三项互为转置,实数的转置还是自己,所以第二项和第三项是相等的,所以继续简化为:
对于凸优化问题,想要求得最小值,使得均方差最小,第一反应就是求带,接下来对w进行求导,并求导数为0的w值:
其中,为伪逆矩阵,或者叫广义逆矩阵
三、结论
拟合的曲线方程为:,其中