本节总结斯坦福的监督学习第一课——线性回归,本文图和数据均来自Andrew Ng的课程讲义。
例子引入
让我们以房价的例子开始。下图给出两个输入:房子面积(x1)和卧室数量(x2)的数据,要求拟合关于输出:房价(hθ(x))的线性方程。
因为前提就是线性方程,因此等式可以表示成如下:
- hθ(x) = θ0+θ1x1+θ2x2 式(1)
建模
以上的过程可以用一个模型表示出来。
由训练集和算法得到预测函数h。那么预测房价就不是梦了,输入一个x,便和得到预测的y。
求解过程
那么式1该如何求解呢?我们的最终目的是使得预测值最接近实际值。给出以下等式,当误差函数J(θ)最小时,可以达到我们的目的。
求解J(θ)有两种方式。
一种是代数方法,首先将J(θ)表示成θ的函数
接着,,对θ求导,并不断迭代更新θ,直到收敛为止。其中α为步进长度。具体推导参考Andrew老师讲义,最后结果为:
另一种是利用矩阵求导。结果如下
这就是关于第一节机器学习内容的总结,欢迎大家批评指正。