1.线性回归的基本概念
在回归分析中,如果只包含一个自变量和一个因变量,且二者关心可近似用一条直线表示,则称该回归分析为一元线性回归分析。如果包含两个及两个以上的自变量,且因变量与自变量之间是线性关系,则称该回归分析为多元线性回归分析。
2.线性回归算法
设预测函数(目标函数)为:
hθ(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4
为了符号表示更方便,去x0=1,得到预测函数如下:
hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4
将hθ(x)转为向量表示:
令列向量 x = [x0;x1;x2;x3;x4]
令列向量 θ = [θ0;θ1;θ2;θ3;θ4]
则hθ(x) = θTx
即:hθ(x) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4 = θTx (x0=1)
3.多元梯度下降算法
预测函数(目标函数): hθ(x) = θTx = θ0x0 + θ1x1 + θ2x2 + …+ θnxn (x0=1)
参数: θ0,θ1,θ2,…,θn
代价函数:
我们应该清楚针对多元线性回归,上面代价函数中的θ和x(i)都是n+1维向量。
梯度下降算法:
一定要同步更新θj,其中 j = 0,1,2,…n。
循环迭代,直至收敛,即可求得θj,按照此法求出所有的参数θ0,θ1,θ2,…,θn。
4.总结
对于很多现实中的数据,我们通过线性回归也许不能很好的将其与训练样本数据进行拟合,我们可能需要非线性回归得到更好的拟合。这种情况我们可以通过合理的更换特征要素,进而将非线性回归转为线性回归。