k-近邻算法的基本原理
对于未知类别属性数据集中的点:
(1)计算已知类别数据集中的每个点与当前点之间的距离;
使用欧式距离公式,计算两个向量点xA和xB之间的距离公式如下:
(2)按照距离递增次序排序;
(3)选取与当前点距离最小的k个点;
(4)确定前k个点所在类别的出现频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。
k-近邻算法的三要素
k值的选择、距离度量、分类决策规则
k-近邻算法的评价
(1)kNN算法本身简单有效,它是一种lazy-learning算法;
(2)分类器不需要使用训练集进行训练,训练时间复杂度为0;
(3)kNN分类的计算复杂度和训练集中的文档数目成正比,也就是说,如果训练集中文档总数为n,那么kNN的分类时间复杂度为O(n)
k-近邻算法的问题及解决方案
问题1:当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的k个邻居中大容量类的样本占多数。
解决:不同样本给予不同的权重项
问题2:数字差值最大的属性对计算结果的影响最大
解决:在处理不同取值范围的特征值时,通常采用的方法是将数值归一化,如将取值范围处理为0到1或者-1到1之间。
k-近邻算法的代码实现
#导入科学计算库
import numpy as np
#导入运算符模块
#k-近邻算法执行排序操作时将使用这个模块提供的函数
import operator as op
def createDataSet():
#定义6个训练样本集,每个样本有2个特征
group = np.array([[3,104],
[2,100],
[1,81],
[101,10],
[99,5],
[98,2]])
#定义每个样本点的标签值
labels = ['A','A','A','B','B','B']
return group,labels
#k-近邻算法代码
#inX:待分类点;dataSet:训练数据集;labels:标签;k:最近邻居数目
def classify0(inX, dataSet, labels, k):
#dataSet.shape[0] :第一维的长度(行);dataSet.shape[1] :第二维的长度(列)
dataSetSize = dataSet.shape[0]
#步骤1:计算距离
#作差:首先将待分类点inX复制成dataSetSize行1列,然后再和训练数据集中的数据作差(对应元素相减)
diffMat = np.tile(inX, (dataSetSize,1))-dataSet
#平方
sqDiffMat = diffMat ** 2
#按行求和
sqDistances = sqDiffMat.sum(axis = 1)
#开根
distances = sqDistances ** 0.5
#argsort():返回的是数组值从小到大的索引值(注意是索引值)
sortedDistIndicies = distances.argsort()
#步骤2:选择距离最小的k个点
#classCount:字典 key/value键值
classCount={}
for i in range(k):
#返回距离较小的k个点labels值
voteIlabel = labels[sortedDistIndicies[i]]
#字典中的key取值value
#get():返回指定键voteIlabel的值,如果值存在字典就加1,如果值不在字典中返回0
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
#步骤3:对字典classCount进行排序
#逆向排序,从大到小(出现次数value值)
#sortedClassCount:对字典排序 ,返回的是List列表,不再是Dictionary字典。
sortedClassCount = sorted(classCount.items(),
key=operator.itemgetter(1),
reverse=True)
#返回出现频率最高的元素标签
return sortedClassCount[0][0]
classify0([18,90],group,labels,3)
附上本人的联系方式,欢迎各位前来交流探讨!
版权声明:本文为博主原创文章,未经博主允许不得转载。如要转载请与本人联系。