机器学习--001 K-近邻算法简介

K-近邻算法简介
1.1 K-近邻算法(KNN)概念

		K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法, 总体来说KNN算法是相对比较容易理解的算法
		***定义***
		
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

		***距离公式***
		
两个样本的距离可以通过如下公式计算,又叫欧式距离

		***特征***
		
最近邻 (k-Nearest Neighbors,KNN) 算法是一种分类算法,

1968年由 Cover 和 Hart 提出,应用场景有字符识别、文本分类、图像识别等领域。

该算法的思想是:一个样本与数据集中的k个样本最相似,如果这k个样本中的大多数属于某一个类别.

		***实现流程***
		
1)计算已知类别数据集中的点与当前点之间的距离

2)按距离递增次序排序

3)选取与当前点距离最小的k个点

4)统计前k个点所在的类别出现的频率

5)返回前k个点出现频率最高的类别作为当前点的预测分类

猜你喜欢

转载自blog.csdn.net/singularity1980/article/details/89671148