字典学习 (Dictionary Learning)

字典学习是一种表示学习方法，旨在将高维数据（如图像、音频等）用低维、稀疏的方式表示，同时尽量保留原始数据的关键信息。稀疏性意味着大部分系数都是零，只有少数几个系数是非零的。这样的表示可以更加高效，同时可以捕捉到数据中的关键信息，滤除噪声。此外，当我们有一个适当的字典时，稀疏表示也可以用于压缩、去噪和其他任务。

考虑一个数据点 $x$，我们希望通过一个“字典” $D$（它是一个矩阵，其中的每一列都是一个基）和一个稀疏系数向量 $\alpha$ 来近似地表示这个数据点。数学上，我们可以描述为$x\approx D\alpha$.

重建误差是实际数据点 $x$ 和使用字典及其对应的稀疏系数向量重建的数据之间的差异。数学上，这个误差可以表示为$\Vert x-D\alpha {\Vert }^2$。

我们的目标是找到一个系数向量 $\alpha$ 来最小化这个误差，即：
$${\alpha }^{\ast }=\underset{\alpha }{\mathrm{argmin}}\Vert x-D\alpha {\Vert }^2$$

对于多个数据点 $x_1,x_2,\dots ,x_n$，我们可以同样地定义一个全局的重建误差，目标是找到一个公共的字典 $D$ 和每个数据点的稀疏表示。我们可以将所有的数据点堆叠成一个矩阵 $X$，所有的表示堆叠成一个矩阵 $R$，然后整体最小化误差：

$$\underset{D\in \mathcal{D},R\in \mathcal{R}}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2$$

其中，$\mathcal{D}$ 和 $\mathcal{R}$ 是字典和表示的约束空间。例如，$\mathcal{D}$ 可能包括所有单位范数的列向量，而 $\mathcal{R}$ 可能包括所有具有稀疏性约束的系数向量。

$\Vert \cdot {\Vert }_F$ 是 Frobenius 范数，它度量了两个矩阵之间的差异。对于任意矩阵 $A$，其Frobenius范数定义为：

$$\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$

字典学习的目标是找到一个过完备的字典 D 和一个稀疏的表示 R ，以便最小化重建误差。

过完备字典 D 意味着它的列数多于它的行数，也就是说，字典 D 包含的原子（或基）数目超过了数据的维度。这意味着它有多个基础元素可供选择，以近似表示输入数据 X 。R 的稀疏性确保了 R 中的大多数元素都是零或接近零。这意味着，虽然 D 提供了很多可能的基础元素，但在任何特定的表示中，只有少数的基础元素会被激活或使用。这不仅使得表示更加简洁和计算效率，而且有助于避免过度拟合，并使得解释性更强。

为了引入稀疏性，我们可以修改优化问题，添加一个正则化项：

$$\underset{D\in \mathcal{D},R\in \mathcal{R}}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2+\lambda \Vert R{\Vert }_p^p$$

首先，我们先定义${\ell }_p$范数。对于任意向量$\mathbf{v}\in {\mathbb{R}}^n$, 其${\ell }_p$范数定义为：

$\Vert \mathbf{v}{\Vert }_p={\left({\sum }_{i=1}^n|v_i{|}^p\right)}^{\frac{1}{p}}$

这里，$|v_i|$表示向量中第 i 个元素的绝对值，而 p 是一个正实数。

当我们调整 p 的值时，此范数将强调向量的不同特性。

${\ell }_0$范数直接计算非零元素的数量，但是，使用 ${\ell }_0$范数的优化问题是 NP-hard。因此，实际上，我们很少直接优化 ${\ell }_0$范数。${\ell }_1$范数是 ${\ell }_0$范数的最佳凸逼近，并且在优化问题中更容易处理。

当 p = 1 时，我们有：

$\Vert \mathbf{v}{\Vert }_1={\sum }_{i=1}^n|v_i|$

这正好是向量 $\mathbf{v}$ 中所有元素的绝对值之和。因此，我们称 ${\ell }_1$ 范数为向量的绝对值和。

考虑 ${\ell }_1$ 范数的单位球在${\mathbb{R}}^2$空间中的表现。它是一个菱形，其顶点位于坐标轴上。在${\mathbb{R}}^2$中，这个菱形的顶点为 (1,0), (-1,0), (0,1), 和 (0,-1)。

现在，考虑一个最优化问题，其中我们希望最小化某个损失函数，受到 ${\ell }_1$ 范数的约束。假设损失函数的等高线是椭圆形的。我们的目标是找到损失函数等高线与${\ell }_1$范数单位球相交的最小点。

由于${\ell }_1$范数单位球的几何形状，它的尖锐的角使得与损失函数等高线的首次相交点很可能在这些角上。当解落在${\mathbb{R}}^2$空间中的菱形的一个角上时，其中一个坐标会是零，因此解是稀疏的。

对于更高维度的空间${\mathbb{R}}^n$, 单位球会有更多的角。这些角位于坐标轴上或坐标平面上，因此在角上的解会在一个或多个维度上有零值，导致解的稀疏性。

因此，通过添加 $\Vert R{\Vert }_1={\sum }_{i,j}|R_{ij}|$ 正则项到我们的优化问题中，我们可以鼓励 R 的稀疏性，使得它在许多维度上的值为零，其中$R_{ij}$ 表示矩阵 R 的元素，位于第 i 行和第 j 列。

正则化和算法稳定性

稳定性是指，当你在训练数据中进行微小的修改（例如更改或删除一个样本）时，学习算法的输出变化是多少。稳定性是泛化性能的一个重要指标，因为如果算法对于微小的数据变化非常敏感，那么它可能就容易过拟合。

为了形式化这个概念，考虑两个训练样本集合 $S$ 和 $S^i$ ，其中 $S^i$ 是 $S$ 的一个微小变体，只有第 i 个样本有所不同。如果算法在这两个训练集上产生的输出之间的差异很小，那么我们说这个算法是稳定的。

数学上，稳定性可以定义为：

$$|\ell (X,Y,h_S)-\ell (X,Y,h_{S^i})|\le ϵ(n)$$

其中，$\ell$是损失函数，$h_S$和$h_{S^i}$是算法在两个数据集上的输出。如果随着训练样本数量 n 的增加，差异$ϵ(n)$趋近于零，那么算法是均匀稳定的。

泛化误差描述了模型在未见过的数据上的预期误差。更具体地说，它是模型在整个数据分布上的平均误差和在训练数据上的误差之间的差异。

泛化误差的一个常用界限是：

$$R(h_S)-R(h^{\ast })\le 2\underset{h\in H}{\sup }|R(h)-R_S(h)|$$

其中，$R$ 是整个数据分布上的期望误差，而 $R_S$ 是训练数据上的平均误差。$h^{\ast }$ 是最佳可能的模型，而 $H$ 是所有可能模型的假设空间。

Sparse algorithms are not stable

A learning algorithm is said to be stable if slight perturbations in the training data result in small changes in the output of the algorithm, and these changes vanish as the data set grows bigger and bigger.

Algorithmic Stability

We have two different training samples

$S=\{(X_1,Y_1),...,(X_{i-1},Y_{i-1}),(X_i,Y_i),(X_{i+1},Y_{i+1}),...,(X_n,Y_n)\}$

$S^i=\{(X_1,Y_1),...,(X_{i-1},Y_{i-1}),(X_i^{\prime },Y_i^{\prime }),(X_{i+1},Y_{i+1}),...,(X_n,Y_n)\}$

They are different because of only one training example.

An algorithm is uniformly stable if for any example $(X,Y)$

$|\ell (X,Y,h_S)-\ell (X,Y,h_{S^i})\le ϵ(n)|$

Note that $ϵ(n)$ will vanish as n goes to infinity.

Generalisation Error

$R(h_S)-\underset{h\in H}{\min }R(h)=R(h_S)-R(h^{\ast })=2\underset{h\in H}{\sup }|R(h)-R_S(h)|$

考虑$\underset{D\in \mathcal{D},R\in \mathcal{R}}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2$的局部最小值 $D^{\ast }$ 和 $R^{\ast }$，这意味着我们有 $X\approxeq D^{\ast }{R}^{\ast }$。

但是我们还可以找到另一个矩阵对，比如 $D^{\ast }A$ 和 $A^{-1}{R}^{\ast }$，它们也能够接近 $X$（ $A$ 是一个可逆矩阵），因为$D^{\ast }{R}^{\ast }=(D^{\ast }A)(A^{-1}{R}^{\ast })$。

所以尽管 $D^{\ast }$ 和 $R^{\ast }$ 是原问题的局部最小值，但我们可以通过乘以一个可逆矩阵 $A$ 和它的逆 $A^{-1}$ 来找到不同的矩阵对，这些矩阵对会产生相同的乘积，也即相同的重建误差，这就是为什么这个问题是非凸的。

所以，对于字典学习的优化问题，通常采用交替优化方法，即固定一个变量优化另一个变量。这种方法也称为坐标下降方法：

1. 初始化字典 $D$

2. 固定 $D$，优化 $R$

   使用Lasso或其他稀疏编码方法解决以下问题：

   $$R^{\ast }=\underset{R}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2+\lambda \Vert R{\Vert }_1$$

   其中，$\lambda$ 是正则化参数，确保 $R$ 的稀疏性。

3. 固定 $R$，优化 $D$

   这一步可能比较复杂，因为我们想要找到最小化重建误差的 $D$。一个常用的方法是采用基于梯度的方法优化 $D$，或者使用其他更复杂的优化技术。这个问题可以写为：

   $$D^{\ast }=\underset{D}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2$$

   并且可能还有约束条件，确保 $D$ 的列是单位范数的。

4. 重复步骤2和3，直到目标函数的值变化很小或满足其他停止标准。

这种交替优化方法能够在大多数实际应用中得到很好的结果，尽管它可能只能找到局部最优解，而不是全局最优解。但由于问题的非凸性质，找到全局最优解是非常困难的。

K-SVD
$\Vert R_i{\Vert }_0\le k^{\prime }$ ，表示 $R_i$ 中的非零元素的数量小于或等于 k’ ，且 $k^{\prime }\ll k$

主成分分析 (Principal Components Analysis, PCA)

当我们仅关心重建误差时，字典学习的目标变为找到最佳的线性组合来表示数据。

在PCA中，字典 D 由前 k 个主成分组成，而表示系数 R 是数据在这些主成分上的投影。如果我们不强制 R 的稀疏性，并且允许 D 由数据的协方差矩阵的特征向量组成，那么PCA的重建就与字典学习的重建相同。因此，可以认为PCA是一个不考虑 R 稀疏性的特殊的字典学习案例，其中 D 是由主成分组成的。

PCA的目标是找到数据的正交基，这些基最大化数据的方差。它产生的是一个固定的基集，这意味着每个数据点的表示是线性的，并且是全局的。

K-means

在不考虑表示 R 的稀疏性时，字典学习的目标是找到字典 D 和系数 R ，以便用字典中的某些向量来近似重建数据。

如果我们限制 R 只能是一个向量的单位向量（即仅一个元素为1，其余元素为0），那么这意味着每个数据点只能用字典中的一个项进行表示。这可以通过以下条件来表示：

• $\Vert R_i{\Vert }_0=1$ ，表示 $R_i$ 中只有一个非零元素。
• $\Vert R_i{\Vert }_1=1$ ，表示 $R_i$ 的元素之和为1。

在K-means中，每个数据点都与一个最近的集群中心关联。这意味着数据点 $x_i$ 可以完全由与其最近的集群中心表示，而其他集群中心的贡献为零。这种表示是一种极端形式的稀疏表示，其中只有一个非零元素（即最近的集群中心），而其他元素都是零。

当我们不强制稀疏性时，K-means的集群中心可以看作是字典学习中的字典项。对于给定的数据点 $x_i$ ，其在K-means中与一个最近的集群中心关联，而在字典学习中，它可以看作是所有字典项的线性组合。但是，由于K-means的硬分配特性，这种线性组合变得非常稀疏，并且只有一个非零元素。

非负矩阵分解 (Non-negative Matrix Factorisation, NMF)

NMF是一个矩阵分解技术，其中我们约束因子矩阵的所有元素都是非负的。它为我们提供了一种方法，可以清晰地解释和可视化隐藏在数据中的结构。

当 W 被视为字典时，NMF可以被看作是字典学习的一个特例，其中字典和表示都是非负的。NMF 不直接追求稀疏性，但可以通过正则化来增加稀疏性约束。

考虑下列优化问题：

$$\underset{D,R}{\mathrm{argmin}}\Vert X-DR{\Vert }_F^2$$

其中，约束条件是$D\in {\mathbb{R}}_{+}^{d\times \mathbb{k}}\text{, }R\in {\mathbb{R}}_{+}^{\mathbb{k}\times n}$。

我们希望找到两个矩阵 D 和 R，使得它们的乘积尽可能接近给定矩阵 X，同时满足 D 和 R 中的所有元素都是非负的。这意味着 D 和 R 的每一列的所有元素都是非负的。由于每一列都是非负的，这意味着它们都位于正交象限。如果我们考虑列空间，那么由于列中的每个元素都是非负的，这些列向量都位于正交象限。

对于 X 的每一个列，我们都可以将其看作是 D 的列（也叫做字典元素或基）的线性组合，而这些线性组合的系数来自 R。当我们从正交象限中取两个向量并对它们进行线性组合时，由于没有负的系数或元素，所以这些元素不会互相抵消。

这意味着它们只能通过加性组合捕捉数据中的模式。这意味着分解只能“加入”特征，而不能“减去”或否定特征。在应用于真实世界数据，如图像时，这通常意味着分解的特征表示数据的可辨识部分，而不是整体模式。这种基于部件的表示通常更具解释性，例如，在处理图像数据时，非负约束可以使每一个基底（$D_{:1}$）代表图像的一个部分或特征，而不是整个图像的模糊组合。