本文是基于对比度先验和流体金字塔积分法的RGBD显著性检测。
目前存在的问题：
1，由于RGB和深度信息之间的固有差异，使用ImageNet预先训练的主干模型从深度通道中提取特征并与RGB特征直接融合并不是最优的,
2，缺乏高质量的深度地图。从最先进的传感器捕获的深度地图比RGB图像噪音更大，更没有文本，这对深度特征提取提出了挑战。我们缺乏良好的训练有素的骨干网络，以提取强大的功能，从深度地图，作为一个像ImageNet大规模深度地图数据集是不可用的
3，现有的基于cnns的SOD方法主要处理RGB图像，当图像中的物体与背景材料有相似的外观时，可能会产生不满意的结果。

简述：
在这篇论文中，我们利用对比度先验，它曾经是一个主要的线索，在无深度学习的SOD方法，到基于cnns的架构，都是用以增强深度信息。增强的深度线索与RGB特征进一步整合，使用一种新的流体金字塔整合，可以更好地利用多尺度交叉模态特征。具体来说：
1，对比度先验：与使用ImageNet预训练的backbone net从深度图中提取特征，然后融合RGB和深度信息的现有方法不同，本文使用对比度先验增强深度信息。然后将增强深度图作为注意力图，与RGB 特征融合，获得高质量的SOD结果。在CNNs普及之前，无论是在计算机视觉领域，还是在神经科学领域和认知心理学，先验对比都曾是揭示突出对象的主要线索。通过重新使用对比度先验与对比度增强网络，我们架起了RGB通道与深度通道的显著性先验之间的桥梁。具体地说，我们通过分析显著和非显著区域之间的对比及其一致性，提出了对比度增强网络中的对比度损失。以完全不同的方式设计，对比度增强网络可以很容易地通过反向传播和与其他CNN模块的工作训练。
2，流体金字塔整合：本文提出了一种有效的基于RGBD的多尺度交叉模态特征融合方法。与现有的基于多尺度特征融合的CNN方法不同，我们需要额外考虑不同尺度特征之间的兼容性问题。我们设计了流体金字塔结构，以分层方式融合跨模态(RGB和深度)信息。并整合方案包含了丰富的从CNN高层到低层的短连接，同时以金字塔式的方式整合特征。在集成过程中，两种模式的特征通过几个非线性层，使得反向传播机制能够调整它们的表示以获得更好的兼容性。

模型：
CPFP框架：该体系结构包括两个模块:特征增强模块(FEM)和流体金字塔集成模块。FEM包含两个子模块:对比增强网络和交叉模态融合。在对比度增强网络中，我们利用一种新的对比度损失lc来利用深层网络中的对比度先验来生成增强后的图像，然后在VGG-16的所有5个阶段通过交叉模态融合得到增强后的特征。设计了融合多尺度交叉模态特征的流体金字塔积分法。

FEM模块中，深度图输入进该网络中，经过卷积操作提取特征，经过sigmoid函数以及本文提出对比度损失contrast loss的进行前景和背景的分类任务以及图像增强，将增强后的图像与backbone的VGG16网络的不同阶段进行分别叉乘后得出的不同feature map输出，不同输出的feature map分别上采样与前一个输出的feature map大小进行匹配，经过流体金字塔融合网络输出最终的图像。
LOSS：
**FEM（Feature-enhanced Module）**模块：
其中，contrast loss：

其中F和B是ground truth中显著的目标区域和背景。Nf和Nb分别表示显著物体和背景中的像素个数。同样,ˆpf和ˆpb代表前景和背景概率的均值。前景对象分布损失l f，使得尽可能检测出前景对象；背景分布损失lb，使得尽可能检测出前景对象；整个深度图像分布损失lw，使得尽可能扩大前景和背景差异，更容易观测前景背景区域；对比度损失lc，进而用于对深度图像的增强作用。增强后的图像经过下式的操作进行多模态融合：

其中，F为原始RGB特征，DE为对比度增强网络生成的增强图。⊗表示pixel-wise乘法。

**FPI（Fluid Pyramid Integration）**模块：
流体金字塔模块loss为交叉熵损失函数（公式7中作者笔误，lf应为ls）：

其中P和Y分别表示显著性预测图和显著性ground-truth。
全文的总loss为：

成果：
实验结果如下：

在不同的5个数据集和4种不同的评测标准可以看出本文提出的CPFP框架的性能：
其中S-measure：

F-measure：

MAE：

CPFP框架中不同阶段的图片：

两种不同融合方式进行测试（其中P为本实验的流体金字塔融合，M为简单融合方式）：

下图为消融实验结果，其中B为VGG16作为backbone net ,D为深度图，C为对比度增强网络（contrast-enhanced net），P为普通流体金字塔融合方法，M为简单融合方法，FP为本文提出的流体金字塔融合方法：

以及在不同特殊情况下（简单场景，低对比度，复杂场景，小物体，多物体）的显著性检测任务：