梯度下降算法及改进
目录
一、梯度下降算法简介
1.梯度下降算法(一种迭代优化方法)
2.随机梯度下降算法
3.小批量随机梯度下降
)
二、梯度下降算法存在的问题
三、改进
1.动量法
核心:利用累加历史梯度信息更新梯度
2.自适应梯度
核心:减小震荡方向的步长,增大平坦方向的步长,以此减小震荡,加速通往谷底方向。
3.ADAM
核心:同时使用动量和自适应算法
(文章的内容来源:bilibili计算机视觉)
)
核心:利用累加历史梯度信息更新梯度
核心:减小震荡方向的步长,增大平坦方向的步长,以此减小震荡,加速通往谷底方向。
核心:同时使用动量和自适应算法
(文章的内容来源:bilibili计算机视觉)