1.PCA主成分分析
参考网站:https://blog.csdn.net/hjimce/article/details/45000221
1)给定二维数据点集P(x,y),找到散乱点重心坐标P0;
2)将散乱点所在坐标系改为重心P0为原点,即所有点做相应的平移,所有点减去P0坐标即可(或者叫做坐标系原点移至散乱点重心P0),并构建矩阵M=|P1-P0 P2-P0……Pn-P0|;
3)构建协方差矩阵A=1/n * (M*MT);
4)求A的特征值,特征向量。找到特征值最大的特征向量(方差变化最快的方向),另外找到垂直于最大特征值对应特征向量的特征向量;
5)将所有散乱点P(x,y)映射到4)中的特征向量方向上,即各点与4)中的特征向量点乘(P(x,y)*4)的特征向量*cos夹角)。
2.K-Means聚类
参考网站:https://blog.csdn.net/hjimce/article/details/45200985
1)从N个文档随机选取K个文档作为质心;
2)对剩余的每个文档测量其到每个质心的距离(欧式距离),并把它归到最近的质心的类;
3)重新计算已经得到的各个类的质心;
4)迭代2~3步直至新的质心与原质心相等或小于指定阈值,算法结束。
3.线性回归
参考网站:
假设一条带参数的直线y=ax+b(二维),最小化代价函数(每个点到直线的距离和),用梯度下降法实现。
4.逻辑回归
参考网站:https://blog.csdn.net/chibangyuxun/article/details/53148005
1)找预测函数
2)构建损失函数
3)最小化损失函数
更新参数