算法原理

1. 随机选取k个点作为初始聚类中心
2. 计算各个数据点到初始聚类中心的距离，比较其距离将每个数据点归类到最近的聚类中心
3. 样本全部划分后重新计算k个类的聚类中心
4. 重复1~3的步骤，直至这k个聚类中心不再改变（收敛）

对数据的要求

1. 对于 缺失值需要处理（填充或者删除）
2. 分类变量需要编码（涉及距离计算）
3. 数据需要标准化或者归一化处理（消除量纲的影响。涉及距离计算的算法都需要考虑）

算法的优缺点

一、优点

1. 原理简单，容易实现
2. 对于大数据集，可保持伸缩性与高效性
3. 当簇接近高斯分布时，算法的效果较好

一、缺点

1. k值难以确定
2. 对于噪声与孤立数据（异常点）敏感
3. 随机初始值的选取对结果影响很大
4. 结果不一定是全局最优，只能保证局部最优（与初始点的选取有着很大的关系）

算法需要注意的点

1. 初始点的选择对KNN算法最后的结果有什么影响？
不合理的初始点的选取会导致长时间无法收敛且得到局部最优

2. 每个类别的中心初始点如何选择？
①随机法②选择各批次距离近可能的k个点③选择层次聚类或者Canopy处理

3. k值怎么确定？
①比较类内距离，类间距离确定k(平均轮廓系数(大)或类内距离/类间距离(小))
轮廓系数： $s_{(i)} = \frac{(a_{(i)}-b_{(i)})}{max(a_{(i)},b_{(i)})}\in[-1,1]$
注：该值越大聚类效果越好。其中b(i)是该簇中i样本到b簇所有点的平均距离，遍历所有其它簇找到最近的这个平均距离，记做b(i),即为i的邻居类，用于量化簇之间分离度。其中a(i)是样本点i与其同一簇内所有其它元素距离的平均值，记做a(i)，用于量化簇内凝聚度
②按需选择、观察法或者手肘法
手肘法： 随着k的增大，样本会被划分的更加精细，每个簇的聚合度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且当k小于真实聚类时，由于k的增大会大幅增加每个簇的聚合程度，故SSE下降幅度会很大，而当k达到真实聚类时，在增加k所得到的聚合程度回报会迅速变小，所以SSE下降幅度会骤减，然后趋于k的增加与趋于平缓

4. k-means是否会一直陷入选择质心的循环停不下来？
不会。有数学证明一定会收敛（利用SSE的概念，每个点到自身所属质心距离平方和是个凸函数，有局部最优解）

5. 如何对k-means的效果进行评估？
轮廓系数、手肘法或者收敛阈值

6. 如何快速收敛数据集较大的k-means？
①第一次迭代的时候正常进行，选取k个初始点，然后计算所有的节点到这些k的距离，再分到不同的组计算新的质心
②后续迭代的时候，在第m次开始，每次不再计算每个点到所有k个质心的距离，仅仅计算上一次迭代中离这个节点最近的某几个（2到3）个质心的距离，决定分组的归属。对于其它质心，因为距离实在太远所以归属到哪些组的可能性会非常非常小，所以不再重复计算距离
③用正常的迭代终止方法，结束迭代
注：
①如何选择m次?(过早会导致后面的那个归属到远距离组的可能性会增加，过晚收敛速度不够)
比较每个质心偏移量，接近优化的阈值20%，结束收敛的阈值10%
②最近的质心个数怎么选取？（过多收敛速度不明显，过少可能出现分组错误）
排序距离选最近的20%那些质心点

算法实现（python）

import pandas as pd
from sklearn import preprocessing
from sklearn.cluster import KMeans

#读取数据
data = pd.read_excel(r'E:/wyz/Desktop/data.xlsx')

#填充缺失值（均值填充）
for i in list(data.columns):
    data[i] = data[i].fillna(data[i].mean())
#数据标准化
data1 = preprocessing.scale(data)
data2 = pd.DataFrame(data1,columns = list(data.columns))

#聚类成3类
clf = KMeans(n_clusters=3)
clf.fit(data3)

K-means参数详解