关于梯度下降法,很多笔记上都有,本次只记录自己在学习中遇到的问题,及自己的理解。对梯度下降法总体的理解可以参考 线性规划、梯度下降、正规方程组——斯坦福ML公开课笔记1-2
关于样本数与特征数目的关系
学习线性回归的时候,假设遇到如下问题,对房屋的大小和价格需要进行一下线性拟合:
假设拟合函数为:
这里对应的样本(x,y)可以只取一组,对应的解(
也就是说,在用梯度下降法时,样本数与拟合参数的数目无关。
关于梯度下降法步长与方向
假设cost Function为
其中