L1正则在0处不可导怎么办?

一般是采用PGD,近端梯度下降法,或者ADMM,交替方向乘子法解决。
本文推导了PGD算法,参考西瓜书,补充了西瓜书的推导过程,回顾了凸优化上课的讲义,推导了利用利普西茨条件的函数二阶泰勒展开式。
我推导后认为西瓜书上的利普西茨条件,符号应该改为模才对。
ADMM算法请参考Boyd的小册子Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers

猜你喜欢

转载自www.cnblogs.com/zuotongbin/p/11918494.html