版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_38870322/article/details/80169260
正则化的不同方法:
- L1正则化
- L2正则化
- Dropout
L1正则化和L2正则化
首先什么是正则化?正则化就是约束目标函数,使得目标函数能够更适应现实问题。机器学习出来的目标函数通常可以很好地拟合训练数据,但泛化能力差,这种成为过拟合现象,为了解决过拟合现象从而在目标函数中引入一个约束项。
图片来自吴恩达深度学习课程
如上图中的损失函数,当参数labda越大,W越小,目标函数越接近线性,越接近第一幅图,因此要选择合适的lambd。上图中选择的是L2范数正则化,那么L1和L2正则化有什么区别呢?
L1更倾向于挑出最重要的特征(被认为不重要的特征可能系数会被置零从而被去掉)而L2更倾向于控制所有的权重(不那么重要的特征会被赋予很小的系数),具体使用哪一个方法要在具体事例中通过实验得出。
Dropout
Dropout即为神经网络在训练中随即丢弃一些神经元,此方法也被应用到很多网络结构中。