LASSO(Least Absolute Shrinkage and Selection Operator)
因为是线性,所以比非线性解算方便。但是L1范数的惩罚项,带有绝对值,求导之后存在尖点,所以需要通过迭代算法来进行求解,不能直接得到解析解。迭代求解方法:
(1)坐标轴下降法
(2)最小角回归法(Least Angle Regression,LAR)
(3)前向选择法(Forward Selection method)
(4)前向梯度法(Forward stagewise method)