模型简单结构
当我们试图预测的目标变量是连续的,例如在我们的住房示例中,我们称学习问题为回归问题
当y只能接受少量离散值(例如,如果给定居住面积,我们想要预测一个住宅是房子还是公寓),我们称之为分类问题
用一个变量进行线性回归, 单变量线性回归。
单变量线性回归,模型假设以及参数:
代价函数(Cost Function): 计算整个训练集所有损失之和的平均值
J ( θ0,θ1)=2 m1i = 1∑m(y^i−yi)2=2 m1i = 1∑m( hθ( xi)−yi)2
******除以m和2m代价函数最小值相同,为了后面在梯度下降求偏导计算方便,故除以2m
单变量线性回归参数就是
使用梯度下降的方式计算全局θ
repeat until convergence: {
θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ1−α1m∑i=1m((hθ(xi)−yi)xi)
学习效率
- 如果α较小,则达到收敛所需要迭代的次数就会非常高;
- 如果α较大,则每次迭代可能不会减小代价函数的结果,甚至会超过局部最小值导致无法收敛
如下图示例
在为梯度下降算法选择合适的学习速率 α 时
可以大致按3的倍数再按10的倍数来选取一系列α值,直到我们找到一个值它不能再小了,同时找到另一个值,它不能再大了
其中最大的那个 α 值,或者一个比最大值略小一些的α 值 就是我们期望的最终α 值
θ计算
所有这一切的关键在于,如果我们从猜测我们的假设开始
然后重复应用这些梯度下降方程,我们的假设将变得越来越准确