最简单的机器学习算法——K-近邻算法(K-Nearest Neighbor),缩写KNN,通过计算距离来判定样本是否所属同一类。
K-NN的算法思想
算距离
给定测试对象 ????, 计算它与训练集中每个对象的距离。依据公式计算 ???? 与 ?1 ,?2, … … ?j之间的相似度, 得到??? (????, ?1), ??? (????, ?2), ??? (????, ?j)。
找邻居
圈定距离最近的k个训练对象, 作为测试对象的近邻。将??? (????, ?1), ??? (????, ?2), ??? (????, ?j)排序, 若是超过相似度阈值?, 则放入邻居集合??.
做分类
根据这k个近邻归属的主要类别, 来对测试对象进行分类。自邻居集合??中取出前k名, 查看它们的标签, 对这k个点的标签求和, 以多数决定, 得到????可能类别。
数学原理
K-NN涉及的数学原理只有距离公式,计算距离的方法很多,这里采用欧氏距离。下图给处理在二维、三维坐标中的计算欧氏距离的表达式:
当特征数量有很多个形成多维空间时, 再用上述的写法就不方便了, 我们换一个写法, 用
加下角标的方式表示特征维度。 则在n维空间中, 有两个点
和
, 它们的坐标分别为:
则
和
的欧氏距离
表达式如下:
手稿
R | Python的实现
在R | Python 中 均可手动编程实现,也有对应的R第三方包 来实现 ,Python中也有对应的第三方库来实现。
#R代码
library(class)
knn_model = knn(train,test,cl,k = i)
python代码点我
后期抽时间补上R手动编程源码。