L0范数:
一个向量中非零元素的个数。
是一个NP难问题,目前无法求解,通常转变成高阶范数求解。
L1范数:
又称曼哈顿范数。
x的L1范数为:
两个向量x1,x2的范数为:
L2范数:
x的L2范数为:
两个向量x1, x2的2范数为:
L0和L1都可以实现稀疏,但是L0是NP难问题,无法求解,L1是L0的最优凸近似,比L0更容易求解,所以常用L1进行稀疏。(稀疏相当于特征选择,另外只选取少量的特征,便于分析理解。)
L2范数可以用拉格朗日乘数直接求解,计算方便,可以很容易地得到最优解。L2范数常用来防止过拟合,提高模型泛化能力。
机器学习最小化目标函数通常形式是 最小化(误差+额外项),这个额外项是一个惩罚项,可以防止模型过拟合,常是L1,L2。