参考: 机器学习中的核函数与核方法(是什么?为什么?怎么做?)
简介
核方法:对于非线性问题,通过引入核函数:
对特征进行映射 (如上图的二维到三维。通常映射后的维度会更高),就是将一个空间中的特征转换到另外一个空间,这就是空间转换(映射)的意义,即可以将原来线性不好分的数据转换到另外一个空间,在这个空间中可以用一个超平面线性可分。
而核函数就等于就是高维空间的内积,也是低维空间中内积的某个函数。
即:相比映射到高维再进行复杂运算,核函数的作用是先在低维进行运算,再映射到高维。
补充说明
为什么用核函数? 在机器学习中,求解的过程常用到内积,而变换后的高维空间的内积我们不好求,所以定义了这个核函数,可以把高维空间的内积运算转化成低维空间的某些运算,不用过于关注如何映射。
判断一个核函数是否有效的方式是通过Mercer定理:
核方法
简谈高斯核
高斯核是最常使用的核函数之一,它可以把数据映射至无穷维。同时,可以调节参数σ,来改变特征权重,这也使得高斯核更为灵活。
公式:
(绝对值平方部分可以理解为x与另一点的欧氏距离)
根据泰勒展开式,可以看出高斯核其实是0-n维的多项式核函数的和。