转自:此处
对于机器学习中常碰到的正则化L1和L2一直比较模糊,偶然看到了一篇比较好的博客分享给大家。对原文我精简了下要点,同时文章底下的评论内容也可以看看解答自己的疑惑。
- L1正则化 和 L2正则化,或者说 L1范数 和
L2范数,常见机器学习的损失函数末尾,也就是惩罚项,说白了就是加上一个条件限制,限制某些参数的权重取值。 - 对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。
- L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为||w||1;L2正则化是指权值向量w中各个元素的平方和然后再求平方根(如Ridge回归的L2正则化项有平方符号),通常表示为||w||2,一般会在正则化前加上一个系数a,由用户自己定义。
- 正则化的具体作用是什么?答案有两点:(在原文有详细的解释这两点内容)*
L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择*;
L2正则化可以防止模型过拟合**(overfitting);一定程度上,L1也可以防止过拟合。
————————————————
版权声明:本文为CSDN博主「阿拉丁吃米粉」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/jinping_shi/article/details/52433975