牛顿法和梯度下降法的学习
牛顿法和梯度下降法的差别
牛顿法:二次逼近
梯度下降法:一阶逼近
牛顿法:对局部凸的函数找到极小值,对局部凹的函数找到极大值,对不凹不凸的函数可能找到鞍点。
梯度下降法:一般不会找到最大值,但同样可能会找到鞍点。
在初始值合理的条件下,
牛顿法的收敛速度>梯度下降法的收敛速度
牛顿法的计算难度更大(因为需要估计二阶导数)
泰勒展开式:https://baike.baidu.com/item/泰勒公式/7681487?fr=aladdin
即牛顿法:
对f(x)函数进行二次逼近,即可以开方两次:,分母代表Hession矩阵:
梯度下降法:
梯度下降法与牛顿法的区别在于梯度下降法是一阶算法。
牛顿法和梯度下降法的本质上都是对目标函数进行局部逼近,所以只能找到局部极值。