前言
关于深度学习,看了许久,但是一直没有找个时间把相关知识点总结下来,今天特意督促自己写下所学内容,如有错误,还望指出。
关于深度学习主要介绍以下几点:激活函数、防止过拟合方法、加速训练的方法
激活函数
深度学习中的激活函数主要有sigmoid、tanh、ReLu、Maxout函数等。
- Sigmoid
- Tanh
- ReLu
- Maxout
防止过拟合
防止过拟合方法主要有增加训练数据、DropOut、Batch Normalization、L1/L2正则化。
- 增加训练数据
- DropOut
- Batch Normalization
- L1正则化
- L2正则化
加速训练
加速训练的方法主要有动量、Nesterov 动量、自适应学习率(AdaGrad、RMSProp、Adam、学习率衰减)、Batch Normalization等。
- 动量
- Nesterov动量
- 自适应学习率
- Batch Normalization