摘要

全卷积神经网络(FCNs)在显著目标检测任务中显示出其优势。然而，大多数现有的基于FCNS的方法仍然存在粗糙的对象边界。在本文中，为了解决这一问题，我们重点研究了显著边缘信息和显著对象信息之间的互补性。因此，我们提出了一个用于显著目标检测的边缘引导网络(EGNet)，它有三个步骤来同时对这两种互补信息在单个网络中进行建模。在第一步中，我们通过渐进融合的方式提取突出的对象特征。在第二步中，我们将局部边缘信息和全局位置信息进行整合，得到显著的边缘特征。最后，为了充分利用这些互补特征，我们将相同的显著边缘特征与不同分辨率的显著对象特征耦合起来。融合特征受益于显著边缘特征中丰富的边缘信息和位置信息，可以帮助更准确地定位突出对象，特别是其边界。实验结果表明，该方法对六个广泛使用的数据集上的最先进的方法表现良好，没有任何预处理和后处理。
在这里插入图片描述

论文贡献

我们提出了一个EGNet来显式地模拟网络中互补的显著对象信息和显著边缘信息，以保持显著对象边界。同时，显著的边缘特征也有助于定位。
我们的模型联合优化了这两个互补任务，允许它们相互帮助，这大大改善了预测的显著性映射。
我们比较了所提出的方法与15种最先进的方法在六个广泛使用的数据集。没有铃铛和口哨声，我们的方法在三个评估指标下达到了最佳的性能。

Methods

在这里插入图片描述
我们提出的网络独立于骨干网络。在这里，我们使用其他基于深度学习的方法建议的VGG网络来描述所提出的方法。首先，我们截断最后三个完全连接的层。在DSS之后，我们将另一个侧路径连接到VGG中的最后一个池层。因此，从骨干网络中，我们得到了六个侧特征Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3、Conv6-3。由于Conv1-2离输入太近，接收场太小，我们丢弃了这条侧路径S(1)。在我们的方法中有五条边路S（2）、S（3）、S（4）、S（5）、S(6。为了简单起见，这五个特征可以用骨干特征集C表示：
在这里插入图片描述
其中，C(2)表示Conv2-2的特征，等等。Conv2-2保存了更好的边缘信息。因此，我们利用S(2)来提取边缘特征和其他边路径来提取显著的对象特征。

Progressive salient object features extraction

如网络结构图所示。为了获得更丰富的上下文特征，我们利用广泛使用的体系结构UNET[40]生成多分辨率特征。与原来的U-Net不同，为了获得更健壮的显著对象特征，我们添加了三个卷积层(图中的Conv。在每个侧路径上2)，在每个卷积层之后，添加一个ReLU层，以确保非线性。为了简单地说明，我们使用T(Tab。 1)表示这些卷积层和ReLU层。此外，在每条道路上都采用了深度监督。我们采用卷积层将特征映射转换为单通道预测掩码，并使用D(Tab。 1)来表示它。卷积层的细节可以在Tab1中找到。
在这里插入图片描述

Non-local salient edge features extraction

在该模块中，我们旨在对显著边缘信息进行建模，并提取显著边缘特征。如上所述，Conv2-2保留了更好的边缘信息。因此，我们从Conv2-2中提取局部边缘信息。然而，为了获得显著的边缘特征，只有局部信息是不够的。也需要高级语义信息或位置信息。当信息从顶层逐渐返回到低层次时，就像U-Net体系结构一样，高级位置信息逐渐被稀释。此外，顶层的接收场最大，位置最准确。因此，我们设计了一个自顶向下的位置传播，将顶层位置信息传播到侧路径S（2），以抑制非显著边缘。融合特征¯C（2）可以表示为：
在这里插入图片描述

One-to-one guidance module

在获得互补的显著边缘特征和显著对象特征后，我们希望利用突出边缘特征来引导显著对象特征在分割和定位上表现更好。最简单的方法是熔融FE和Fˆ（3）。最好是要充分利用多分辨率的显著对象特性。然而，逐步融合显著边缘特征和多分辨率的显著对象特征的缺点是，当显著对象特征融合时，显著边缘特征会被稀释。此外，其目标是融合突出的对象特征和显著的边缘特征，利用互补的信息来获得更好的预测结果。因此，我们提出了一个一对一的指导模块。此外，实验部分还验证了我们的观点。

具体来说，我们为S（3）、S（4）、S（5）、S（6)添加了子侧路径）。在每个子侧路径中，通过将显著边缘特征融合到增强的显著对象特征中，我们使高层预测的位置更加准确，更重要的是，分割细节变得更好。突出的边缘引导特征(s-特征)可以表示为：
在这里插入图片描述