KNN算法
(机器学习实战)
K-近邻算法采用测量不同特征值之间的距离方法进行分类。
工作原理:
- 已有一个样本数据集,即训练集,并且训练集的每个数据都有其对应的分类标签。输入没有标签的新数据后,将新数据的每个特征与样本集中的数据对应的特征进行比较,然后算法提取样本集中特征最相似的数据的分类标签。也就是看最相近的k个数据的标签,通过多数表决的方式进行。
- 这里的k-NN的k即为选择的样本数据集中的前k个最相似的数据,通常k设置为不大于20的整数
通过距离度量来计算查询点(query point)与每个训练数据点的距离,然后选出与查询点(query point)相近的K个最邻点(K nearest neighbors),使用分类决策来选出对应的标签来作为该查询点的标签。
例子:
-
电影分类
现在已知电影分类为动作电影和爱情电影,其中已有数据为每部电影的打斗镜头和接吻镜头的数量。如何通过已有数据对未知电影分类呢?
可以先对已有数据进行大致的绘图:
很显然我们猜测未知电影应该是属于爱情片的。实际上kNN算法的思想就是如此简单,通过查看离未知点最近的k个点的标签来推测该点的标签
用数学的方法表示:
可以定义一种距离,根据具体的情况定义即可。在此用普通的欧拉距离(当然我觉得可以给每种属性一个权重,但是如何定义权重应该用先验知识和已知数据去共同决定)
手动计算一下已知的6部电影与未知电影的距离:
故如果选择k=3,则只看前3项,由于前3项均为爱情电影,故我们可以推测未知电影为爱情电影。当然,如果 设置k=3且前3项中有一个动作电影,根据多票同意原则仍将该电影视为爱情电影。
操作:
- 读取已有数据,并对数据进行初步处理
- 对每个新加入的点,计算该点与之前数据集中所有点的距离
- 对距离排序并只取最小的前k个点
- 通过前k个点的类别确认出该范围内最高频的类别,将其视为该点的预测
实战:
通过约会数据进行分类
海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的
人选,但她并不是喜欢每一个人。经过一番总结,她发现曾交往过三种类型的人:
- 不喜欢的人 didntLike
- 魅力一般的人 smallDoses
- 极具魅力的人 largeDoses
海伦收集约会数据已经有了一段时间,她把这些数据存放在文本文件datingTestSet.txt中,每
个样本数据占据一行,总共有1000行。海伦的样本主要包含以下3种特征
- 每年获得的飞行常客里程数
- 玩视频游戏所耗时间百分比
- 每周消费的冰淇淋公升数
采用KNN算法帮助海伦分类约会对象:
数据格式如图:
故读取数据:
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
#用字典将str映射到int类型,即三种类型用3,2,1代表
dict = {'largeDoses': 3, 'smallDoses': 2, 'didntLike': 1}
def file2matrix(filename):
fr = open(filename)
# 获得文件中的数据行的行数
numberOfLines = len(fr.readlines())
# 生成对应的空矩阵
returnMat = np.zeros((numberOfLines, 3)) # prepare matrix to return
classLabelVector = [] # prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
# str.strip([chars]) --返回已移除字符串头尾指定字符所生成的新字符串
line = line.strip()
# 以 '\t' 切割字符串
listFromLine = line.split('\t')
# 每列的属性数据
returnMat[index, :] = listFromLine[0:3]
# 每列的类别数据,就是 label 标签数据
classLabelVector.append(int(dict[(listFromLine[-1])]))
index += 1
# 返回数据矩阵returnMat和对应的类别classLabelVector
return returnMat, classLabelVector
查看数据的前20项了解数据布局:
DatingDataMat,DatingLables=file2matrix('datingTestSet.txt')
print(DatingDataMat[0:20],'\n',DatingLables[0:20])
通过Matplotlib创建散点图大致看一下数据的类型分布(为了方便在此仅取前两个特征,即飞机里程数和玩视频游戏所耗时间占比):
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(DatingDataMat[:,0], DatingDataMat[:,1], 15.0*np.array(DatingLables), 15.0*np.array(DatingLables))
plt.xlabel("flyier miles earned per year")
plt.ylabel("percentage of time spent video games")
plt.show()
在此处我对三种特征两两选取进行了散点图描绘,取后两个特征的点的分类效果较差,故很可能说明第一个特征具有相对较强的影响权重。
对数据提取后,便可以开始建立kNN模型,如果我们用欧拉距离表示距离的话,存在一个问题,即三个因素的量级不同,飞行里程数字过大,将几乎完全主导距离,因此需要进行归一化数据处理
归一化数据处理:
归一化目的就是将不同尺度上的评判结果统一到一个尺度上,从而可以作比较,作计算
如果数据的不同属性对样本影响一致,则直接令三个数据均归一化,使范围设置在0-1,最简单的方法为:
newValue=(oldValue-min)/(max-min)
通过该方法很容易将每个属性值均设置在0-1间。当然该归一化方法在特殊数据集上可能有较差的效果,可以考虑别的归一化函数。
归一化函数的代码:
def autoNorm(dataSet):
"""
parameter:
dataSet: 数据集
return:
归一化后的数据集 normDataSet
归一化公式:
Y = (X-Xmin)/(Xmax-Xmin)
"""
# 计算每种属性的最大值、最小值、范围
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
# 极差
ranges = maxVals - minVals
normDataSet = np.zeros(np.shape(dataSet))
m = dataSet.shape[0]
# 生成与最小值之差组成的矩阵
normDataSet = dataSet - np.tile(minVals, (m, 1))
# 将最小值之差除以范围组成矩阵
normDataSet = normDataSet / np.tile(ranges, (m, 1)) # element wise divide
return normDataSet
查看归一化后的结果:
因此可以进行距离计算以及排序和筛选前k项并输出其结果
核心代码:
def classify0(inX, dataSet, labels,k):
'''
intX为输入向量,在此处为[x,y,z]
dataSet为数据集
labels为数据集对应的标签集
k为取前多少邻近
'''
dataSetSize = dataSet.shape[0]
#距离度量 度量公式为欧氏距离
diffMat = np.tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
#将距离排序:从小到大
sortedDistIndicies = distances.argsort()
#选取前K个最短距离, 选取这K个中最多的分类类别
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
此时输入intX将返回相应的结果。基于此函数对测试集进行测试,查看错误率如何:
def error_rate():
#读取测试数据集
testdata,test_real_lable=file3matrix('datingTestSet2.txt')
#对属性值归一化处理
testdata=autoNorm(testdata)
nums=len(testdata)
right_num=0
for i in range(nums):
if(classify0(testdata[i],a,DatingLables,10)==test_real_lable[i]):
right_num+=1
return 1-right_num/nums
当k=10时,错误率为0.037,故正确率是较高的。
调整k值可知,在合适范围内增大k值会使得正确率会上升。
手写数字识别系统
构造一个能识别数字 0 到 9 的基于 KNN 分类器的手写数字识别系统。
需要识别的数字是存储在文本文件中的具有相同的色彩和大小:宽高是 32 像素 * 32 像素的黑白图像
查看数据的组成:
故先考虑如何将图像的内容转变为可处理的向量:
def img2vector(filename):
returnVect = zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
return returnVect
利用os.listdir函数读取整个文件夹,然后设置相应的字符串分别读取每一个txt文件的内容,从而实现训练数据的向量化。
----
trainingFileList = listdir('trainingDigits') #load the training set
m = len(trainingFileList)
trainingMat = np.zeros((m,1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
----
利用上一个实例相同的思路,对测试数据进行测试(距离函数、归一化函数均具有普适性,不需要更改):
实现测试:
testFileList = listdir('testDigits') #iterate through the test set
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
if (classifierResult != classNumStr):
errorCount += 1.0
print ("\nthe total number of errors is: %d" % errorCount)
print ("\nthe total error rate is: %f" % (errorCount/float(mTest)))
测试结果为错误率在0.01左右
总结
如果选择较小的 k 值,就相当于用较小的邻域中的训练实例进行预测,“学习”的近似误差(approximation error)会减小,只有与输入实例较近的(相似的)训练实例才会对预测结果起作用。但缺点是“学习”的估计误差(estimation error)会增大,预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰巧是噪声,预测就会出错。换句话说,k 值的减小就意味着整体模型变得复杂,容易发生过拟合
如果选择较大的 k 值,就相当于用较大的邻域中的训练实例进行预测。其优点是可以减少学习的估计误差。但缺点是学习的近似误差会增大。这时与输入实例较远的(不相似的)训练实例也会对预测起作用,使预测发生错误。 k 值的增大就意味着整体的模型变得简单。