Sina Weibo:小锋子Shawn
Tencent E-mail:[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80370826
今时今日,SGD是训练深度网络的首选利器。后来,提出了一堆变种算法,比如,ADAGRAD,RMSPROP,ADAM,ADADELTA,NADM等。
#
基于指数滑动平均(exponential moving averages)的自适应方法
1、基于简单平均函数的ADAGrad
平均策略为:
,
2、基于指数滑动平均的方法
方法包括:RMSprop、Adam、NAdam和ADADELTA。
针对Adam,其采用的平均函数为
,
。其中,
和
是我们熟知的两个超参数,通常分别取值为0.9和0.999。
[1] On the Convergence of Adam and Beyond 2018 [paper]