本文是Deep Learning 之 最优化方法系列文章的RMSprop方法。主要参考Deep Learning 一书。
以下节选自个人深度学习笔记。
内容整合来源于网络与个人理解。
RMSprop
口RMSprop是一种改进的Adagrad,通过引入一个衰减系数ρ,让r每回合都衰减一定比例。
口 这种方法很好的解决了Adagrad过早结束的问题,适合处理非平稳目标,对于RNN效果很好。(注意:为二阶矩!)
再看看结合Nesterov动量的RMSProp,直观上理解就是:
RMSProp改变了学习率,Nesterov引入动量改变了梯度,从两方面改进更新方式。
参考: