L1 L2 Regularization
表示方式:
$L_2\text{ regularization term} = ||\boldsymbol w||_2^2 = {w_1^2 + w_2^2 + ... + w_n^2}$
执行 L2 正则化对模型具有以下影响
- 使权重值接近于 0(但并非正好为 0)
- 使权重的平均值接近于 0,且呈正态(钟形曲线或高斯曲线)分布。
模型开发者通过以下方式来调整正则化项的整体影响:用正则化项的值乘以名为 lambda(又称为正则化率)的标量。也就是说,模型开发者会执行以下运算:
$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$
增加 lambda 值将增强正则化效果。 例如,lambda 值较高的权重直方图可能会如图 2 所示。
降低 lambda 的值往往会得出比较平缓的直方图,如图 3 所示。
参考:
https://developers.google.com/machine-learning/crash-course/regularization-for-simplicity/lambda?hl=zh-cn
https://zhuanlan.zhihu.com/p/25707761