本篇博客主要学习分享支持向量机的原理、算法及简单的python代码实现
3、支持向量机
先来通俗了解一下其是干什么用的、怎么来的:
作用就是分类,如下图分类红蓝球,找到最好的线性方程如下中间的斜着的黑线wx+b=0,当有更多的样本进入时使用黑线作为分类线的鲁棒性更好(也就是对于两侧新进入的样本其在不越界的前提下活动范围更广);
如下图三条线的值为1,0,-1,带入球的值使其等式等于1/-1的球点即为‘支持向量’,如下的G、S、R三个点;当等式的值>=1或<=-1时即分开了类别;
低维非线性的分界线其实在高维是可以线性分割的,理解如下:在二维平面时一条直线无法完美分类时,当把其扩展到高维时即可用超平面hyperplane将其分割开来(这就是超平面的含义)(即低维时的曲线分割到了高维就变成了超平面)
还不明白的话,详细具体讲解见:https://www.zhihu.com/question/21094489
对于其核心内部的算法原理,说实话我现在也不是非常清晰,待以后补充添加;具体可参见周志华的机器学习笔记系列:https://blog.csdn.net/u011826404/article/details/54647611
下面来看一下其具体的python代码实现:
#基于iris数据集的svm算法训练分类,实现绘图展示
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets
# 导入数据集
iris = datasets.load_iris()
X = iris.data[:, :2] # 为画图显示更直观,只取前两维特征
y = iris.target
h = .02 # 网格中的步长
C = 0.8 # SVM正则化参数
#这里是调用svm的不同算法进行效果比较
svc = svm.SVC(kernel='linear', C=C).fit(X, y) # 线性核 C
rbf_svc = svm.SVC(kernel='rbf', gamma=0.7, C=C).fit(X, y) # 径向基核
poly_svc = svm.SVC(kernel='poly', degree=3, C=C).fit(X, y) # 多项式核
lin_svc = svm.LinearSVC(C=C).fit(X, y) #线性核
# 创建网格,以绘制图像
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
np.arange(y_min, y_max, h))
# 图的标题
titles = ['SVC with linear kernel',
'LinearSVC (linear kernel)',
'SVC with RBF kernel',
'SVC with polynomial (degree 3) kernel']
for i, clf in enumerate((svc, lin_svc, rbf_svc, poly_svc)):
# 绘出决策边界,不同的区域分配不同的颜色
plt.subplot(2, 2, i + 1) # 创建一个2行2列的图,并以第i个图为当前图
plt.subplots_adjust(wspace=0.4, hspace=0.4) # 设置子图间隔
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) #将xx和yy中的元素组成一对对坐标,作为支持向量机的输入>,返回一个array
print(clf.score(X,y))
# 把分类结果绘制出来
Z = Z.reshape(xx.shape) #(220, 280)
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8) #使用等高线的函数将不同的区域绘制出来
# 将训练数据以离散点的形式绘制出来
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.xticks(())
plt.yticks(())
plt.title(titles[i])
plt.show()
执行效果如下:准确率及模拟效果
其实这里的python代码并没有什么技术含量,主要是一些参数的自我调试,对于核心的算法都是封装好的;所以中间对于核心算法的省略还是非常痛心的(只怪自己粗浅),希望可以尽快补上与大家分享学习!
扫描二维码关注公众号,回复:
1915366 查看本文章