1、稀疏编码概述

稀疏编码的概念来自于神经生物学。生物学家提出，哺乳动物在长期的进化中，生成了能够快速，准确，低代价地表示自然图像的视觉神经方面的能力，我们直观地可以想象，我们的眼睛每看到的一副画面都是上亿像素的，而每一幅图像我们都只用很少的代价重建与存储。我们把它叫做稀疏编码。

2、L0范数与L1范数

L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0.换句话说就是让参数W是稀疏的。

L1范数是指向量中各个元素绝对值之和，也有个美称叫“”“稀疏规则算子”。

既然L0可以实现稀疏，为什么不用L0，而要用L1呢？主要有两点：1、因为L0范数很难优化求解（NP难题）；2、L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解，所以大家才把目光和万千宠爱转于L1范数。

小结：L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。

1）特征选择

原始的模式识别是直接对原始图像进行特征提取，而所提取出来的特征和最终的输出很多情况下其实是有冗余成分的，就是说我们只需要关键特征识别就可以，没有必要用那么多特征，更多情况下，那些冗余信息会干扰我们最后的识别结果。

稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据，大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择，一般来说，x的大部分元素（也就是特征）都是和最终的输出y没有关系或者不提供任何信息的，在最小化目标函数的时候考虑x这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确y的预测。稀疏规则化算子的引入就是为了完成特征选择的光荣使命，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0.