激活函数
《深度学习中的激活函数导引》，知乎，(2016)：介绍了Sigmoid(tanh)->ReLU->PReLU(RReLU)->ELU 等等不同的激活函数，并阐明其优缺点优化方法
《Adam那么棒，为什么还对SGD念念不忘 (1-3) 》，知乎，(2018)：介绍了优化方法的通用框架，SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam归一化
《详解深度学习中的Normalization，不只是BN》，知乎，(2018)：介绍了Normalization的作用和通用框架，以及主流的方法
【深度学习】深度学习的系统总结整理
猜你喜欢
转载自blog.csdn.net/yideqianfenzhiyi/article/details/79409798
今日推荐
周排行