7.4.9 低秩数据矩阵的鲁棒主成分分析 PCA
由于噪声,观测到的数据矩阵为 ,其中 为真实值构成的数据矩阵即理想数据矩阵, 为噪声矩阵。PCA 分析是希望得到矩阵 的主方向和奇异值,但实际上我们只能得到矩阵 的主方向和奇异值。当噪声矩阵 每个元素是零均值小方差独立同分布的高斯噪声时,矩阵 PCA 分析结果就是矩阵 PCA 分析结果的最优近似解。
当噪声矩阵 大部分元素是零均值小方差独立同分布的高斯噪声,但小部分是大方差噪声时,矩阵 鲁棒PCA 分析结果是矩阵 PCA 分析结果的较可靠近似解。
实践上还存在一种有广泛应用场景的情况,即数据矩阵 是低秩稠密矩阵,即样本点高度相关,为低秩,稠密矩阵是指矩阵 的奇异向量 的分量值不集中,因为奇异向量是单位向量,故分量绝对值最大为1,分量值不集中即分量绝对值远小于1,每个分量绝对值差不多大。噪声矩阵 大部分为0即没有噪声,只在部分位置存在噪声,位置随机均匀分布于整个矩阵,称为稀疏噪声矩阵。在这两个假设条件下,数学上证明了,不论噪声有多大,几乎都可以获得数据矩阵 和噪声矩阵 的理想值 !该理论十分完美!
该理论有个有趣的应用场景:矩阵填充。我们只观测到矩阵 的大部分位置的值,其它位置的元素值未知,我们可以利用这部分已知值推测出未知值,推测值甚至可以百分之百正确,很神奇!只要矩阵 是低秩稠密矩阵,未知值随机均匀分布于整个矩阵即可。此时噪声矩阵 元素在未知值位置处可任取值,在已知值位置处为零,则其构成稀疏噪声矩阵。此时数据矩阵 元素在未知值位置处为0。根据上面模型理论,我们可以获得理想矩阵 ,完成矩阵填充任务。
由于该方法很复杂,从略,感兴趣读者可参考文献:robust principal component analysis, journal of the acm, candes, 2011。