1、K均值算法
step1:从样本中选取k个样本作为原型向量()
Repeat:
step2:分别计算样本xj与每个原型向量之间的距离dji,样本xj与哪个向量之间的距离最短,就把该样本归为该原型向量所在的簇,对每一个样本都需要进行归簇过程。
step3:step2完成之后,所有的样本都归为某一簇中,此时再分别计算每一簇中的样本均值向量,并更新每一簇样本中的均值向量。
Until 当前均值向量均不再需要更新
2、学习向量量化(VCQ)
假设数据样本带有标签
step 1:从样本随机选取k个样本作为原型向量(p1,p2......pk),对应的簇标记为(t1,t2......tk)
Repeat:
step 2:随机选取一个样本(xj,yj),找到 xj 与 k 个原型向量之间距离最短的向量 pj,相应的簇标记为 tj
如果: xj的标签yj等于tj , 则:
如果: xj的标签yj不等于tj , 则:
每次更新一个pj向量
Util 满足停止条件 、
3、高斯混合聚类
高斯混合聚类采用概率模型来表达聚类模型
step 1:初始化概率高斯混合分布的参数
Repeat:
step 2:
对每一个样本xj均要计算其由各混合成分生成的后验概率,即 ,然后根据公式更新每个高斯成分对应的参数 。
Until 满足停止条件