-
动机
对于分类数据,不管是硬间隔最大化的线性可分 SVM,亦或是软间隔最大化的线性 SVM,得到的分离超平面都是线性的,他们对于那些线性或近似线性可分的数据分类时的效果是不错的,但是倘若出现非线性的数据,以上两种 SVM 就束手无策了。例如:
上图这种数据使用线性分类器如论如何也分不出最好的结果。此时我们希望可以得到非线性的分类超平面,例如:
图中深蓝色的曲线就是我们希望得到的,它可以将图中的数据完美分开。但这样的曲线是如何得到的呢?请看下文。
-
核函数
讲核函数,就不得不讲维度这个概念。一幅山水画是二维空间(平面),而我们人类生活在三维空间中。为便于理解,我们使用二维空间与三维空间作为引例。
在图中,棕色图形表示的是一只在二维空间中的小虫子,就像一幅画中的生物一样。那么如果我们人类作为三维生物,用笔将它圈起来,那么这只二维的小虫子是无论如何也出不去的,但如果变成三维空间,这只小虫很轻松的就爬过了绿色的圆圈。
回到我们数据分类的场景中,假设样本点像图一数据一样,我们无论如何也不可能在二维空间中将他们分开,但是如果把数据维度升为三维,那么就轻而易举了。
图中橘黄色样本都在绿色分离超平面下方,金黄色样本都在分离超平面上方。也许在二维平面中他们是混杂的,但是如果拍一下桌子,将这些样本震到空中,很有可能就产生了可分离的平面。了解了具体化的表述后,我们再来看看抽象的表述。
-
核技巧
是通过一个变换将原空间的数据映射到新空间的处理技巧,而后在新空间里使用线性分类学习方法从训练数据中学习分类模型。核技巧,是通过一个变换将原空间的数据映射到新空间的处理技巧,而后在新空间里使用线性分类学习方法从训练数据中学习分类模型。
-
核函数
设 为输入空间, 为特征空间(希尔伯特空间),
若存在一个从 到 的映射:
使得所有函数 ,其中 ,满足条件:
则称 为核函数, 为映射函数,式中 为二者的内积。
-
特点
只定义核函数 ,而不显式地定义映射函数 。
通常直接计算 比较容易,而计算 较难.
是 到 的映射, 一般为高维甚至无穷维。
-
举例
通俗来说, 相当于结果,而 相当于计算组合,这种计算组合有很多种。
实际上我们只需要得到 这个结果就可以了,而不需要关注具体 具体是怎样的一个函数。
例如:
我们取
为了能够得到 这样的核函数形式,实际上我们可以有很多种形式:
……
不关心中间 函数的过程,只关注 的最终计算形式,使得模型的学习相当于隐式的在高维特征空间中学习。
-
-
常用核函数
-
算法过程
加入了核函数的 SVM 的计算过程没有太大变化,直接将以前式子中的 内积改为 即可:
-
求 对 的极大
添 “负号”将求极大转化为求极小,得到,
-
求得最优解 ,根据 KKT 条件,
由此可得到
又因 ,且注意到
可得到
-
最终
分离超平面可写成:
分类决策函数可写成:
-
机器学习 - 支持向量机(3)- 非线性 SVM(核技巧)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_37352167/article/details/85806583
猜你喜欢
转载自blog.csdn.net/weixin_37352167/article/details/85806583
今日推荐
周排行