L0, L1, L2 范数

L0范数:

    一个向量中非零元素的个数。

    是一个NP难问题,目前无法求解,通常转变成高阶范数求解。

L1范数:

    又称曼哈顿范数。

    x的L1范数为:

         ||x||_{1}=\sum _{i} x_{i}

    两个向量x1,x2的范数为:

        ||x_{1}-x_{2}||_{1}=\sum |x_{1i}-x_{2i}|

L2范数:

    x的L2范数为:

        ||x||_{2}=\sqrt{\sum_{i}{x_{i}}^{2}}=\sqrt{{x_{1}}^{2}+{x_{2}}^{2}+...+{x_{n}}^{2}}

    两个向量x1, x2的2范数为:

        ||x_1-x_2||_2=\sqrt{\sum \left ( x_{1i}-x_{2i} \right )^2}

L0和L1都可以实现稀疏,但是L0是NP难问题,无法求解,L1是L0的最优凸近似,比L0更容易求解,所以常用L1进行稀疏。(稀疏相当于特征选择,另外只选取少量的特征,便于分析理解。)

L2范数可以用拉格朗日乘数直接求解,计算方便,可以很容易地得到最优解。L2范数常用来防止过拟合,提高模型泛化能力。

机器学习最小化目标函数通常形式是 最小化(误差+额外项),这个额外项是一个惩罚项,可以防止模型过拟合,常是L1,L2。

猜你喜欢

转载自blog.csdn.net/sunshine__0411/article/details/83113463