支持向量机

全称Support Vector Machine (SVM)。可以分为硬间隔（hard margin SVM），软间隔（soft margin SVM），和核支持向量机（kernel margin SVM）。

原理

输入

训练集数据$D=(x_1,y_1)...(x_M,y_M)$，$x_i\in \mathcal{X}\subseteq R^p$，$y_i\in R$

$X=(x_1{x}_2...x_M{)}^T\in R^{M\ast p}$

$f(x)=sign(w^{T}x+b)$

正则化参数${\lambda }_1$ ，${\lambda }_2$

输出

线性回归模型$\hat{f}(x)$

损失函数

硬间隔SVM也称为最大间隔分类器。

$margin(w,b)=mindistance(w,b,x_i)$

为了简化运算，我们指定最小的margin为1（可以通过缩放实现）。我们希望达成以下目标。

$maxmargin(w,b)s.t.y_i(w^T{x}_i+b)>0\forall i=1\sim M$

进行数学推导，
$$\begin{gathered} maxmargin(w,b)=ma{x}_{w,b}mi{n}_{x_i}\frac{1}{||w||}{y}_i(w^T{x}_i+b) \\ =ma{x}_{w,b}\frac{1}{||w||}mi{n}_{x_i}{y}_i(w^T{x}_i+b) \end{gathered}$$
可以简化成
$$\begin{gathered} maxmargin(w,b)=ma{x}_{w,b}\frac{1}{||w||} \\ s.t.y_i(w^T{x}_i+b)>=1\forall i=1\sim M \end{gathered}$$
或者
$$\begin{gathered} maxmargin(w,b)=mi{n}_{w,b}||w|| \\ s.t.y_i(w^T{x}_i+b)>=1\forall i=1\sim M \end{gathered}$$
从而我们很容易得到损失函数（$\lambda \ge 0$），
$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^M{\lambda }_i(1-y_i(w^T{x}_i+b)) \\ mi{n}_{w,b}ma{x}_{\lambda }L(w,b,\lambda )s.t.{\lambda }_i\ge 0 \end{gathered}$$
当$y_i(w^T{x}_i+b)>0$时，很容易证明$L$的最大值是正无穷。当$y_i(w^T{x}_i+b)\le 0$时，$L$的最大值是在$\lambda$取0时，整体等于$\frac 1 2 w^Tw $。

我们可以证明$minmaxL=maxminL$，此处省略。这个被称为强对偶关系。

我们将上面的原问题转化成对偶问题如下，
$$ma{x}_{\lambda }mi{n}_{w,b}L(w,b,\lambda )s.t.{\lambda }_i\ge 0$$
进行求导，
$$\begin{gathered} mi{n}_{w,b}L(w,b,\lambda ) \\ \frac{\partial L}{\partial b}=\frac{\partial [{\sum }_{i=1}^M{\lambda }_i-{\sum }_{i=1}^M{\lambda }_i{y}_i(w^T{x}_i+b)]}{\partial b}=0 \\ 解得\sum _{i=1}^M{\lambda }_i{y}_i=0 \\ 将其代入L \\ L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^M{\lambda }_i-\sum _{i=1}^M{\lambda }_i{y}_i{w}^T{x}_i \\ \frac{\partial L}{\partial w}=0 \\ {w}^{\ast }=\sum _{i=1}^M{\lambda }_i{y}_i{w}^T{x}_i \\ 将其代入L \\ L(w,b,\lambda ) \\ =\frac{1}{2}(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j{)}^T(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j)+\sum _{i=1}^M{\lambda }_i-\sum _{i=1}^M{\lambda }_i{y}_i(\sum _{j=1}^M{\lambda }_j{y}_j{w}^T{x}_j{)}^T{x}_i \\ =-\frac{1}{2}(\sum _{i=1}^M\sum _{j=1}^M{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j)+\sum _{i=1}^M{\lambda }_i \end{gathered}$$

从而，我们将问题再次进行了转换，我的目标是
$$\begin{gathered} mi{n}_{\lambda }\frac{1}{2}(\sum _{i=1}^M\sum _{j=1}^M{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j)-\sum _{i=1}^M{\lambda }_i \\ {\lambda }_i\ge 0 \\ \sum _{i=1}^M{\lambda }_i{y}_i=0 \end{gathered}$$
因为我们的原问题和对偶问题具有强对偶关系，我们通过KKT条件
$$\begin{gathered} \frac{\partial L}{\partial w}=0 \\ \frac{\partial L}{\partial b}=0 \\ \frac{\partial L}{\partial \lambda }=0 \\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0 \\ {\lambda }_i\ge 0 \\ 1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
可以得到最优解，

$w^{\ast }={\sum }_{i=1}^M{\lambda }_i{y}_i{x}_i$

我们还需要代入一个处于边界上的点$(x_k,y_k)$满足$ 1-y_k(w^Tx_k+b) = 0$，再求解偏置
$$\begin{gathered} 1-y_k(w^T{x}_k+b)=0 \\ {y}_k(w^T{x}_k+b)=1 \\ {y}_k^2(w^T{x}_k+b)=y_k \\ (w^T{x}_k+b)=y_k \\ {b}^{\ast }=y_k-w^T{x}_k \\ {b}^{\ast }=y_k-\sum _{i=1}^M{\lambda }_i{y}_i{x}_i^T{x}_k \end{gathered}$$
软间隔SVM允许少量错误。

$L(w,b)=min\frac{1}{2}{w}^{T}w+loss$

我们可以将后面额外的损失定义为0-1 loss，更常用的是hinge loss。

那么，我们可以重新定义损失函数为
$$\begin{gathered} L(w,b)=mi{n}_{w,b}\frac{1}{2}{w}^{T}w+C\ast \sum _{i=1}^{M}max(0,1-y_i(w^T{x}_i+b)) \\ 1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
$C$起到了一个正则化的作用。

适用场景

普遍适用。

优点

1. 边界只由少数的支持向量所决定，避免维度灾难
2. 可解释性好
3. 对离群数据敏感度较小，鲁棒性高

缺点

1. 对大规模训练样本而言，消耗大量内存和运算时间
2. 解决多分类问题时，需要多组SVM模型

核方法

对应英文是Kernel Method。核方法用于解决有数据集类别之间的边界压根不是线性的。对于原始的输入空间$\mathcal{X}$，使用$\varphi (x)$进行非线性转换成为特征空间$\mathcal{Z}$，从而达到线性可分的状态。理论基础是Cover Theorem，即高维空间比低维空间更易线性可分。

在$\varphi (x)$维度非常高的情况下，求$\varphi (x_i)$非常困难。我们发现有一种核技巧(kernel trick)，可以在不需要单独计算$\varphi (x_i)$和$\varphi (x_j)$的前提下得到$\varphi (x_i{)}^T\varphi (x_j)$。毕竟后者才是我们$L$中需要得到的值。

$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$

一般情况下，我们的核函数$K$指的是正定核函数。有函数$K$可以做到从$\mathcal{X}\ast \mathcal{X}$到$R$的映射，$\exists \Phi \in \mathcal{H}$,使得$K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$，那么称$K$为正定核函数。我们再介绍一下希尔伯特空间$\mathcal{H}$。它是完备的（对极限是封闭的），可能是无限维的，被赋予内积运算的一个线性空间。

正定核函数性质

1. 对称性，即$K(x_i,x_j)=K(x_j,x_i)$
2. 正定性，即任取$\mathcal{X}$中的M个元素，从$x_1$到$x_M$，对应的Gram matrix是半正定的

我们来证明正定核函数的性质。先证明必要性。

已知$K(x_i,x_j)=<\varphi (x_i),\varphi (x_j)>$，要证明其对称性和正定性。

对称性可以由内积的对称性证明。我们现在想要证明对应的Gram matrix是半正定的。令Gram matrix是$G=[K(x_i,x_j)]$。所以需要证明对于任意$\alpha \in R^M$，有${\alpha }^{T}G\alpha \ge 0$。
$$\begin{gathered} {\alpha }^{T}G\alpha \\ =\sum _{i=1}^M\sum _{j=1}^M{\alpha }_i{\alpha }_{j}K(x_i,x_j) \\ =\sum _{i=1}^M\sum _{j=1}^M{\alpha }_i{\alpha }_j\varphi (x_i{)}^T\varphi (x_j) \\ =\sum _{i=1}^M{\alpha }_i\varphi (x_i{)}^T\sum _{j=1}^M{\alpha }_j\varphi (x_j) \\ =[\sum _{i=1}^M{\alpha }_i\varphi (x_i){]}^T[\sum _{j=1}^M{\alpha }_j\varphi (x_j)] \\ =||\sum _{i=1}^M{\alpha }_i\varphi (x_i)|{|}^2\ge 0 \end{gathered}$$
我们就证明了Gram Matrix是半正定的。

约束优化

我们定义原问题的最优解为$d^{\ast }$，对偶问题的最优解是$p^{\ast }$。

定义原问题$mi{n}_{x}f(x)$，有N个不等式约束，$n_i(x)\le 0$，有M个等式约束，$m_i(x)=0$

转换后的原问题的无约束形式为$mi{n}_{x}ma{x}_{\lambda ,\eta }=L(x,\lambda ,\eta )$，${\lambda }_i\ge 0$

下面是转换的说明。

拉格朗日函数：

$L(x,\lambda ,\eta )=f(x)+{\sum }_{j=1}^N{\lambda }_j{n}_j+{\sum }_{i=1}^M{m}_i{\eta }_i$

如果$x$违反了不等式约束，那么$ma{x}_{\lambda }L$一定会趋近于正无穷。所以在其前面加上一个$min$相当于进行了一次过滤，将所有不满足不等式约束的$x$都过滤掉了。

弱对偶

我们接着证明原问题和对偶问题是相等的。对偶问题是$ma{x}_{x}mi{n}_{\lambda ,\eta }=L(x,\lambda ,\eta )$，${\lambda }_i\ge 0$。

我们先证明弱对偶性，原问题的值会大于等于对偶问题，即$minmaxL\ge maxminL$。
$$\begin{gathered} mi{n}_{x}L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )\le ma{x}_{\lambda ,\eta }L(x,\lambda ,\eta ) \\ A(\lambda ,\eta )\le B(x) \\ A(\lambda ,\eta )\le minB(x) \\ maxA(\lambda ,\eta )\le minB(x) \end{gathered}$$

Slater Condition

存在一点$x\in relintD$，使得对于所有的$n_i(x)<0$。relint代表相对内部。

对于大多数凸优化问题，slater条件成立。

放松的slater条件是指，如果N中有K个仿射函数，那么只需要校验其余的函数满足slater条件即可。

通过弱对偶和Slater Condition可以推出强对偶关系。强对偶关系是下面的KKT条件的充要条件。

库恩塔克条件

通常被称为KKT条件。

可行条件

有N个不等式约束，$n_i(x^{\ast })\le 0$，有M个等式约束，$m_i(x^{\ast })=0$，${\lambda }^{\ast }=0$

互补松弛条件

${\lambda }_j^{\ast }{n}_j=0$
$$\begin{gathered} d^{\ast }=ma{x}_{\lambda ,\eta }g(\lambda ,\eta ) \\ =g({\lambda }^{\ast },{\eta }^{\ast }) \\ =mi{n}_{x}L(x,{\lambda }^{\ast },{\eta }^{\ast }) \\ =L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \\ =f(x^{\ast })+\sum _{j=1}^N{\lambda }_j^{\ast }{n}_j+\sum _{i=1}^M{m}_i^{\ast }{\eta }_i \\ =f(x^{\ast })+\sum _{j=1}^N{\lambda }_j^{\ast }{n}_j \\ =f(x^{\ast }) \\ =p^{\ast } \end{gathered}$$

梯度为0

$$\begin{gathered} mi{n}_{x}L(x,{\lambda }^{\ast },{\eta }^{\ast }) \\ =L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \end{gathered}$$

Reference

• 白板推导系列，shuhuai007
• 支持向量机（SVM）的优缺点