看过笔者其他博客的话,会发现笔者的博客清一色以代码为主,而且简洁精炼,从不讲算法或模型原理。没错,本篇依然不讲原理,hhh(主要是因为笔者学业加实习双线并行,太繁忙,请见谅)。
简单介绍一下 PCA。PCA (Principle Component Analysis) 属于无监督机器学习算法中的一种,使用最广的一种实现方式是通过奇异值分解提取正交矩阵,然后将目标和正交矩阵相乘实现降维。降维后的维度皆由原数据维度合成而来,不从属于任何一个原有的维度。降维后的第一个维度原则上等同于使用最小二乘法对数据集进行拟合后所得到的线性回归直线的方向,第二个维度是与第一个维度正交且方差最大的方向,第三个、第四个等等同理,直到抽取的第 K 个维度。PCA 的关键作用在于提取特征和剔除噪声,因而应用极广,除压缩数据外,在计算机视觉领域,可以通过 PCA 将人脸图像降维后计算欧式距离或余弦相似度实现人脸识别(同理可进行其他类别的物体分类);在自然语言处理领域,可以提取近义词、搜寻近似主题文章。
代码实现
# 导入所需模块
import numpy as np
import pandas as pd
# 定义功能
def pca(X):
X = pd.DataFrame(X)
X = (X - X.mean()) / X.std() #标准化
X = np.matrix(X)
cov = (X.T * X) / X.shape[0]
U, S, V = np.linalg.svd(cov) #奇异值分解
return U
# PCA实现
X = np.random.random((50,2)) #定义示范数据
U = pca(X) #提取正交矩阵
Y = np.dot(X, U[:,:1]) #获取降维数据(降至一维)
X_recovered = np.dot(Y, U[:,:1].T) #从降维数据恢复
注:针对图像进行 PCA 处理前需先将图像进行灰度化,并将二维矩阵转换为一维向量。