-
线性可分 SVM
对于线性可分的数据,SVM 与之前讲过的 感知器算法 有异曲同工之妙。二者都是通过学得一个超平面以对数据进行分类,都是有解的。只不过 感知器算法有无数个解,而 SVM 只有一个最优解。
下面开始介绍 SVM 的相关内容。
-
函数间隔与几何间隔
所谓间隔,在这里是指样本点到超平面的距离,也可以用来表示分类预测的置信度(间隔越大,则分类有更高的置信度,反之同理)。
-
硬间隔最大化
对于线性可分数据,我们能够得到无穷个分离超平面,但是使得所有样本点到超平面的距离之和最大的超平面是唯一的。
之前说过点到超平面的距离可表示分类的置信度,那么间隔最大的超平面可以以最大的置信度对数据进行分类。也就是说,我们不仅要将正负样本点分开,还要有足够大的把握将他们分开。这样的超平面的泛化能力应当也很好。
-
求几何间隔最大的分离超平面可表示为下面的约束优化问题:
-
而几何间隔可用函数间隔表示: ,则约束问题改变为:
-
其中 的大小对约束问题没有影响(可以在 中对 的变化进行同倍数抵消),所以可取 ,得到:
-
又因 最大化 等价于 最小化 ,所以最终约束问题转化为:
(平方是为了去根号, 是为了在后续求导中约掉平方)
-
最终
求得最优解 ,得到分离超平面 ,存在且唯一;
决策函数
-
-
对偶算法
在求解约束问题最优解时,可以应用拉格朗日对偶性,通过求解对偶问题得到原始问题的最优解,更容易求解。
-
构建拉格朗日函数
-
根据对偶性,将原始“最小最大”问题转化为“最大最小”问题
-
为求最小,分别对 w, b 求偏导并等于 0
得
,
将结果代回,得
-
求 对 的极大
添 “负号”将求极大转化为求极小,得到,
-
求得最优解 ,根据 KKT 条件,
由此可得到
又因 ,且注意到
可得到
-
最终
分离超平面可写成:
分类决策函数可写成:
-
-
支持向量
根据 以及 可知,
只依赖与训练数据中对应于 的样本点,而其他样本点对它们没有影响,所以我们将训练数据中对应于 的样本点 称为支持向量,且 ,即 一定在决策边界上。
机器学习 - 支持向量机(1)- 线性可分 SVM(间隔最大化)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_37352167/article/details/85541583
猜你喜欢
转载自blog.csdn.net/weixin_37352167/article/details/85541583
今日推荐
周排行