一、前言

在单正则化SVM的基础上，提出双正则化参数的L2-SVM,获得它的对偶形式，从而确定最优化的目标函数，结合梯度下降形成：Doupenalty gradient（一种新的SVM参数选择方法）
Doupenalty-Gradient方法在同时寻找 C+和C−C+和C− 以及核参数这三个参数的最优值时，SVM的性能得到了极大的改善。

二、SVM算法

2.1 SVM 原型算法

$\large \begin{array} { c l } { \min : } & { \quad\frac { 1 } { 2 } \| w \| ^ { 2 } + C \sum _ { i = 1 } ^ { N } \xi _ { i }\quad\quad (0) } \\ \\{ s . t . } & {\quad y _ { i } \left[ \left( w \cdot x _ { i } \right) + b \right] \geqslant 1 - \xi _ { i }\quad\quad (1) } \end{array}$

( 其中 $\xi _{i}\geq 0,i=1,2,....N$ )
$C>0$ 用来调节错分样本的错误比重
$\xi _{i}\geq 0$ 为松弛因子，代表错分样本的错误程度
$y _ { i } = \pm 1$ 表示为样本的类别标签
$w$ 最优超平面法向量
$b$ 最有超平面的阈值

用对偶理论求解最优化，并引入核函数，求出式（1）的对偶形式：

$\large \begin{array} { l } { \max \quad - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } k \left( x _ { i } , x _ { j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i } }\quad\quad(2)\\ \\ { s . t . \quad \quad\sum _ { j = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 , \quad 0 \leqslant \alpha _ { i } \leqslant C \quad\quad \quad \quad \quad\quad \quad (3)} \end{array}$

判别函数: $\large f ( x ) = \operatorname { sign } \left( \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } k \left( x _ { i } , x \right) + b \right)\quad(4)$

$\large \alpha _{i}$ 为Lagrange乘子， $\large k(x_{i},x_{j})$ 是核函数。式（3）的判别函数为 (4)

2.2 SVM 改进算法 L2—SVM

我们把式子 (1) 称为 $\large L1-SVM$ ，它的改进算法：二范数软间隔SVM 称为 $\large L2-SVM$ 。详情如下 :

$\large \left( \xi _ { i } \geqslant 0 , i = 1,2,3 , \ldots , N \right)$

$\large \begin{array} { c l } { \min : } & { \frac { 1 } { 2 } \| w \| ^ { 2 } + C \sum _ { i = 1 } ^ { N } \xi _ { i } ^ { 2 } \qquad(5)} \\\\ { s . t . } & { y _ { i } \left[ \left( w \cdot x _ { i } \right) + b \right] \geqslant 1 - \xi _ { i }\qquad(6) } \end{array}$

上式的对偶为:

$\large \begin{array} { l } { \max \quad - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( k \left( x _ { i } , x _ { j } \right) + \frac { 1 } { C } \delta _ { i j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i } \qquad(7)} \\ \\{ s . t . \qquad\sum _ { j = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 , \quad 0 \leqslant \alpha _ { i } \qquad(8)} \end{array}$

式中

$\large \delta _ { i j } = \left\{ \begin{array} { l l } { 1 } & { i = j } \\ { 0 } & { i \neq j \qquad(9)} \end{array} \right.$

约束条件式 (8) 中去掉了上界 这就是的重要特性。

它可以将软间隔转换成硬间隔，即将线性不可分转换成线性可分，而目标函数中仅仅是在核函数的对角线上加上一个常数因子1/C，可以当作是核函数的一个微小改动，即：

$\large k \left( x _ { i } , x _ { j } \right) = k \left( x _ { i } , x _ { j } \right) + \frac { 1 } { C } \delta _ { i j } \qquad(10)$

参考作者：https://blog.csdn.net/wsp_1138886114/article/details/82459928

双正则化参数的L2-SVM

一、前言

二、SVM算法

2.1 SVM 原型算法

2.2 SVM 改进算法 L2—SVM

猜你喜欢