线性回归
线性回归(Linear Regreesion)就是对一些点组成的样本进行线性拟合,得到一个最佳的拟合直线。
最小二乘法
线性回归的一种常用方法是最小二乘法,它通过最小化误差的平方和寻找数据的最佳函数匹配。
代数推导
假设拟合函数为
y=ax+b,对于任意样本点
(xi,yi),误差为
e=yi−(axi+b)。当损失函数
L=∑i=1nei2为最小时拟合度最好,即
∑i=1n(yi−axi−b)2最小。
函数
L=∑i=1n(yi−axi−b)2分别是关于
a和
b的二次抛物线,没有最大值,所以当
L分别关于
a和
b的偏导等于
0时有最小值。
分别求出一阶偏导
∂a∂S=−2(i=1∑nxiyi−bi=1∑nxi−ai=1∑nxi2)∂b∂S=−2(i=1∑nyi−nb−ai=1∑nxi)
让上式都等于
0,并且有
nx=∑i=1nxi,
ny=∑i=1nyi。得到解为
a=∑i=1n(xi−x)2∑i=1n(xi−x)(yi−y),b=y−ax