相关性建模方法在计算机视觉领域里得到了广泛应用。比如，在目标检测领域，该类方法主要考虑像素间的空间领域关系；在视频建模中，考虑帧之间的相关性；在细腻度图像分类中，考虑类别标签间的结构相关性；该类方法在样本不均衡下的模型建立中同样适用，充分挖掘类别间的相关部分等等。下面主要对相关方法进行一个简单汇总与总结，给自己的后续研究提供思路。

1. 细腻度图像分类

该文名称为Fine-grained Image Classification by Exploring Bipartite-Graph Labels，发表在CVPR 2016上。概括来说，该文基于CNN架构，在最后的全连接层(Soft Max)融入二分图标签(BGL, bipartite-graph labels)，以此解决了细腻度图像分类中的两大难题：1) 由于细腻度类别标签数的有限性造成CNN模型的过拟合；2) 细腻度类别间的相似性很难学习辨别性的特征表示。所谓二分图标签(BGL)，就是作者事先定义的粗略标签，可理解为对细腻度标签根据不同性质的一系列分组；也可看着是对细腻度标签的不同属性划分。比如，论文中举了一个关于餐馆-菜品的例子，如下图：

其中，中间一列为3个细腻度标签，边上的Graph1-3为预定义的粗略标签。在Graph 2中有两个类别：加蒜与否；此粗标签能将细腻度类别划分为两组。很明显，定义的一系列粗略标签与细腻度标签具有层次结构。假如现在有了一系列预定义的粗标签，那么在CNN模型的最后一层中，无非是结合细腻度标签，在Soft Max上进行扩展并学习相应的权重参数。下面来看看论文的形式化过程。

首先，我们看看只有细腻度标签在Soft Max上的形式化。假设给定训练数据集$\{x,y\} \subseteq \chi$，$x \in R^d$为CNN模型中Soft Max层的输入特征表示，$y\in R^K$为细腻度类别；$W$为待训练的权重参数，$f=W^Tx \in R^K$为输入特征$x$在$K$个细腻度类别上产生的分数。那么我们最大化的对数似然函数为：

$$\mathop{max}_W \sum_{\{x,y\} \subseteq \chi} \ln p(y|x,W)$$
其中， $y$服从多元伯努力分布，且定义
$$p(y|x,W)=\prod_{k=1}^K \left(\frac{exp(f_k)}{\sum_{j=1}^K exp(f_j)}\right)^{y_k}$$
上式对 $W$的优化求解可以采用很多优化方法。现在我们考虑融入进 $M$种类型的粗略标签 $\{y_m\}_{m=1}^M$，而每一类型标签有 $K_m$种类别，且都会与 $K$个细腻度标签建立关联。那么有了粗略标签，我们定义的优化目标函数中最大的难点在于如何定义联合概率 $p(y,\{y_m\}_{m=1}^M|x,W,\{W_m\}_{m=1}^M)$。为了直观的理解，我们以上图为例进行说明，可知 $K=3$， $M=3$，且 $K_m=2$；而细腻度标签与粗略标签之间的关联有 $G^m\in \{0,1\}^{K\times K_m}$表示，其中的元素 $G_{k,k_m}^m=1$表示细腻度标签中第 $k$类与第 $m$类型的粗略标签中的第 $k_m$类相关。比如上图中的Graph 2， $G_{1,1}^2=1$， $G_{1,0}^2=0$， $G_{2,1}^2=0$， $G_{2,0}^2=1$， $G_{3,1}^2=0$， $G_{3,0}^2=1$。有了关联矩阵 $\{G^m\}_m$，给定某一训练样本 $\{x,y\}$，联合概率分布函数为：
$$p(y,\{y_m\}_{m=1}^M|x,W,\{W_m\}_{m=1}^M)=p(y|x,W) \prod_{m=1}^M p(y_m|y,x,\{W_m\}_{m=1}^M)$$
由上式可知定义的一系列粗略标签在细腻度标签给定情况下相互独立。这里为了简化并与文中一致，定义的联合概率分布函数为：
$$p(k,\{k_m\}_m|x,W,\{W_m\}_{m})=\frac{1}{z}exp(f_k)\prod_{m=1}^M G_{k,k_m}^mexp(f_{k_m}^m)$$
其中 $f^m=W_m^Tx \in R^{K_m}$， $z$为归一化因子：
$$z=\sum_{k=1}^Kexp(f_k)\prod_{m=1}^M \sum_{k_m=1}^{K_m}G_{k,k_m}^mexp(f_{k_m}^m)$$
注意，由于BGL的二值属性， $\sum_{k_m=1}^{K_m}G_{k,k_m}^mexp(f_{k_m}^m)$可简写为 $exp(f_{\phi_k^{k_m}}^m)$，即细腻度标签 $k$类只与第 $m$类型的粗略标签中的第 $k_m$类相关， $G^m$的第 $k$行的其它元素为0。那么，
$$z=\sum_{k=1}^Kexp(f_k)\prod_{m=1}^M exp(f_{\phi_k^{k_m}}^m)$$
有了 $z$，那么我们就能计算细腻度标签与粗略标签的后验概率分布 $p(k,|x,W,\{W_m\}_{m})$和 $p(k_m|x,W,\{W_m\}_{m})$，便于后续的预测。现在主要就是模型参数 $W,\{W_m\}_{m}$的训练，由于
$$p(k,\{k_m\}_m|x,W,\{W_m\}_{m}) \propto exp(f_k)\prod_{m=1}^M exp(f_{\phi_k^{k_m}}^m)$$
这里省略了归一化因子。我们能轻易构造对数似然函数，注意文中提到为了防止过拟合，在对数似然函数中加入了正则化因子，基本思想是保证细腻度标签与相关的粗略标签的权重相似，即：
$$p(W,\{W_m\}_{m})=\prod_{k=1}^K\prod_{m=1}^M\prod_{k_m=1}^{K_m}exp(-\lambda/2 \, G_{k,k_m}^m\left\|w_k-w_{k_m}^m\right\|^2)$$
最终的对数似然函数为
$$\mathop{max}_{W,\{W_m\}_{m}} \sum_{\{x,y\} \subseteq \chi} \ln p(y,\{y_m\}_{m=1}^M|x,W,\{W_m\}_{m=1}^M)+\ln p(W,\{W_m\}_{m})$$
该目标函数对 $W,\{W_m\}_{m}$求偏导都有闭合解。该文最大的创新在于针对细腻度类别标签数目的有限性，预先定义了一系列具有树形层次结构的粗略标签，最后融入进CNN模型的Soft Max层。

2. 样本不平衡下的人脸识别

该文名称为Extended SRC: Undersampled Face Recognition via Intraclass Variant Dictionary，发表在PAMI2012上。传统的SRC方法建立在信号总是能在过完备字典下得到稀疏线性表达，该方法在样本均衡下的人脸识别能达到非常好的效果。但是针对样本不均衡的分类问题，该方法由于不能建立少数样本类的过完备字典而不能达到预期的识别率。而这篇论文所提方法在Sparse Representation-Based Classification (SRC) 的基础上进行扩展，充分利用人脸数据集的相关性进行建模，来解决少样本类的分类问题。
现在我们考虑一个样本不均衡的分类问题。假设在人脸数据集中，类A中有充足的训练样本，即是在不同采集条件不同姿态不同遮挡下的某一人脸。而类B中只有一个训练样本，即是在特定采集条件下特定姿态下的某一人脸。那么怎么才能构造合适的字典B来有效的表征在其它采集条件其它姿态其它遮挡下的人脸B？本文最大的创新之处就在于此，基本的思想就是各类内的人脸图像差异基本一致。比如，类A中有一张正脸，一张侧脸；而类B中只有一个训练样本为正脸，而测试样本正好为侧脸。那么，这两类的对应两张图像的差异应该不大。因此，作者进一步指出类内的差异总是能由其他类内的差异稀疏且线性表达，如下图

可知测试图像能由训练图像与其他类内的差异进行组合。那么从稀疏表示的角度看，少样本类的测试图像总能由所有训练样本组成的字典$A$和其它类内差异组成的字典$D$重构出来。形式化为如下形式

$$y=A\alpha+D\beta+n$$
其中 $A=[A_1,\cdots,A_C]$为 $C$类训练样本组成的字典， $D$可以通过各类间的图像对的差异获取或者通过样本到类中心的差异获取， $n$为噪声。那么在测试阶段的稀疏编码问题为
$$\mathop{arg}\mathop{min}_{[\alpha^*,\beta^*]^T}\left\|y-[A,D]\left[\begin{array}{c} \alpha \\ \beta \end{array}\right]\right\|_2^2+\left\| \left[\begin{array}{c} \alpha \\ \beta \end{array}\right] \right\|_1$$
得到类别 $c$下的稀疏编码后 $\alpha_c$和统一的差异字典下的稀疏编码 $\beta$，即可计算测试样本 $y$在该类 $c$下的重构误差；最后通过各个类别的重构误差得到其类别。
本文方法思想简单，但很具创新性。即使是在一个训练样本下的识别率也能达到很好的效果。但是该方法的一个前提是构造的统一的差异字典必须过完备。