支持向量机的回归应用

本文的思想延续自 基于核方法的支持向量机的思想 ，感兴趣的同学可以移步。
本文的公式推导核部分图片截取自PRML，在此表示感谢！

• 综述
• 目标函数确定
• 增加松弛变量
• 求解
• 总结

---

综述

    在线性回归模型中我们最小一个正则化的误差函数来求解参数得到一个拟合的回归方程。

$$\frac{1}{2}\sum_{n=1}^{N}\left \{ y_{n}-t_{n} \right \}^{2}- \frac{\lambda }{2}\left \| w \right \|^{2}$$

---

原本想按照PRML书上的思路阐述这个问题，后来觉得有点不通。觉得这种阐述方式很容易给人带来误解，下面陈述一下自己想法吧：
    最终的目的是想要拟合一条曲线出来，根据现有的svm的知识如何推导呢？很容易想到支持向量所在的两条软间隔线，如果我们将这两天软间隔线收缩到一定范围内不就近似是一条曲线了吗？那好让我们就按着这个思路往下走。

目标函数确定

    首先定义一个$\varepsilon -不敏感的函数$也就是当$y(x)-t(n)<\varepsilon$认为$y(x)=t(n)$。通过这种方式我们就定义出了一个管道结构。

    与前面的支持向量机一样我们现在需要，增加两个松弛变量 $\xi \geqslant 0和\hat{\xi}\geqslant 0$，其中 $\xi >0$的点对应于 $t_n>y(x_{n})+\varepsilon$; $\hat{\xi} >0$的点对应于 $t_n>y(x_{n})-\varepsilon$的数据点。观察上述图片发现点位于管道内的条件是： $$y(x_{n})+\varepsilon >t_n>y(x_{n})-\varepsilon$$ 通过引入松弛变量，使得数据点可以出现在管道之外，与SVM相同这样使得模型在训练的时抵抗异常点的干扰更强。于是我们得出数据点应该满足的条件变为：
$$y(x_{n})+\varepsilon +\xi>t_n>y(x_{n})-\varepsilon-\xi$$
    类比支持向量机的 折页损失函数，这里的损失函数就可以写成：
$$C\sum_{n=1}^{N}(\xi _{n}+\hat{\xi}_{n})+\frac{1}{2}\left \| w \right \|^{2}$$

求解拉格朗日方程

对除拉格朗日乘子外的变量求导：

消去变量得到对偶形式：

与SVM相同的方法我们得到对偶形式预测函数：

求解这个方程时，我们观察一下KKT条件看能得到什么有用的知识：

当然这里的两个乘子同样要满足盒限制：

观察变形后的KKT条件：

总结

在SVR确定了怎么处理回归后，其它的推导过程与SVm相同。