版权声明:本文为博主原创文章,引用时请附上链接。 https://blog.csdn.net/abc13526222160/article/details/84983692
线性可分问题的支持向量机学习方法,对线性不可分训练数据是不适应的,因为这时上一节中不等式约束不能成立,如何扩展到线性不可分问题呢?这就需要修改硬间隔最大化,使其成为软间隔最大化。
通常情况下训练数据中有一些特异的点,将这些特异的点去处后,剩下的样本组成的集合是线性可分的。线性不可分的意思就是某些样本点不能满足函数间隔大于等于1的约束条件。为了解决这个问题,可以对每个样本点引入一个松弛变量 ,使函数间隔加上加上松弛变量大于等于1,这样约束条件变为:
同时,对每个松弛变量 ,支付一个代价 ,目标函数由原来的变为:
这里的C>0称为惩罚参数(权重),一般由应用问题决定,C值大时对误分类的惩罚增大,C值小时对误分类的惩罚减小。
我们要求的目标函数的最小值,在引进松弛变量和惩罚参数有两个含义:①使尽量小,也就是间隔尽量大,
②同时使得松弛变量 尽量小,也就是误分类的点个数尽量小。
下面手推导具体的过程:
如若有不对的地方还望指正。