L1和L2正则化简述

https://yq.aliyun.com/ziliao/435856

L1Lasso :L1 åL2 æ­£ååçç解 

L2l岭回归:L1 åL2 æ­£ååçç解

L1 åL2 æ­£ååçç解

约束空间表明,图中的椭圆等高线与lasso的第一个交点很可能会出现在坐标轴上,导致W为0,而岭与等高线的第一个交点则不太可能会出现在坐标轴上。

  • L1能产生稀疏性,倾向于选择更少的特征,而L2会选择更多的特征,尽管有些特征权重系数趋近于0。
  • L2防止过拟合,提升模型的泛化能力。原因是他不会依赖于某个特征,而是对所有特征权重做控制。

猜你喜欢

转载自blog.csdn.net/silent_crown/article/details/84844848