第7章 支持向量机
- SVM：二类分类模型，定义在特征空间上的间隔最大的线性分类器，核技巧使其成为实质上的非线性分类器；
- 学习策略：间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题；
- 学习算法：求解凸二次规划的最优化算法；
7.1 线性可分支持向量机与硬间隔最大化
- 支持向量机的学习是在特征空间进行的；
- 学习目标：在特征空间中找到一个分离超平面，能将实例分到不同的类；
- 分离超平面：感知机利用误分类最小的策略求得，此时解有无穷多个；线性可分支持向量机利用间隔最大化求得，解唯一；
- 函数间隔：一个点距离分离超平面的远近可以表示为分类预测的确信程度；可以表示分类预测的正确性及确信度；
- 几何间隔：一般是实例点到超平面的带符号的距离；
- 两者关系：
- 间隔最大化：又称为硬间隔最大化；意味着以充分大的确信度对训练数据进行分类；
扫描二维码关注公众号，回复：
3036337 查看本文章
- 线性可分SVM最优化问题：
- 最大间隔法：
线性可分训练数据集的最大间隔分离超平面是存在且仅唯一的；（证明详见PDF116）
- 支持向量：在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量；在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用，移动支持向量将改变所求的解；
下图中H1和H2称为间隔边界，之间的距离称为间隔；
- 学习的对偶算法（详见PDF119）：求解线性可分SVM的最优化问题，利用对偶问题求解；优点是对偶函数更容易求解，自然引入核函数，进而推广到非线性分类问题；
7.2 线性支持向量机与软间隔最大化
- 扩展到线性可分问题：需要修改硬间隔最大化，使其成为软间隔最大化；
- 线性支持向量机：
- 学习的对偶算法：（详见PDF126）
- 软间隔的支持向量：
- 合页损失函数：可看作是0-1损失函数的上界；即线性支持向量机是优化由合页损失函数构成的目标函数
7.3 非线性支持向量机与核函数
- 主要特点：利用核技巧；在SVM中的应用详见PDF134；
- 求解非线性分类问题：采用非线性变换，将非线性问题变换为线性问题；
两步：1.使用一个变换将原空间的数据映射到新空间；2.在新空间里用线性分类学习方法
从训练数据中学习分类模型;
核函数：
- 正定核：通常所说的核函数就是正定核函数；下图步骤详情见PDF134；充要条件详见PDF137；
- 常用核函数：多项式核函数；高斯核函数；字符串核函数；（详见PDF138）
- 非线性支持向量机及学习算法详见PDF139；
7.4 序列最小最优化算法（SMO算法）
- 特点：不断地将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足KKT条件为止；
- 很多算法，详见PDF141；