深度学习论文: FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs及其PyTorch实现
FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs
PDF: https://arxiv.org/pdf/2301.06719.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

本文提供了一种名为FemtoDet的面向能源的轻量级检测器。FemtoDet 通过两种设计进行优化：实例边界增强(IBE)模块用于改善 FemtoDet 中的深度可分离卷积(DSC)，克服了轻量级模型的表示优化瓶颈；递归热重启(RecWR)训练策略则是一种多阶段的递归热重启学习过程，可以克服由 strong 的数据增强产生的数据转移。

2 FemtoDet

作者为设计低能耗检测器提供了基准，探索了激活函数、卷积运算符和检测器的Neck结构。根据能耗设计了对应的Backbone和SharedNeck。分别如下：
Backbone:
FemtoDet的主干网络包含一个初始的具有8个滤波器的全卷积层。使用ReLU作为非线性激活函数，并使用BN进行批归一化。从第二层开始，所有的卷积操作都采用DSC（深度可分离卷积）。这种设计能够有效地提取特征并增强模型的性能。

SharedNeck:
SharedNeck首先对来自骨干网络的输入进行尺度信息的对齐，确保它们具有相同的尺度。然后，通过元素相加的方式将这些对齐的特征进行合并，以获得更丰富的特征表示。最后，使用DSC（深度可分离卷积）进行自适应的多尺度信息融合，将合并的特征进行进一步优化和整合，以提高模型的性能。

其中FPN、PAN和提出的SharedNeck在VOC数据集上的性能对比：

2-1 实例边界增强（Instance Boundary Enhancement，IBE）

IBE 模块这是一种专为优化轻量级检测器而设计的模块。由于轻量级模型的表征能力有限，它们学习的特征往往较为分散。IBE 模块的目的是改进 FemtoDet 中的深度可分离卷积（Depthwise Separable Convolutions，DSC），从而克服轻量级模型表征优化的瓶颈。

IBE的基本块包括3×3的深度卷积，后跟1×1的卷积。IBE通过设计新的local descriptor、semantic projector 和dual-normalization layer来增强DSC。具体而言，1×1的局部描述符是通过对共享深度卷积周围的梯度线索进行线性变换生成的参数重用机制。因此，local descriptor中包含了目标边界信息，并能够提取出相关的语义特征。semantic projector 是将深度卷积的线性变换用于转移与语义信息提取相关的操作符；dual-normalization layer由两个独立的批归一化模块组成，专门设计用于对齐不对齐的特征。接着，我们通过将局部描述符和深度卷积的特征相加，将目标边界线索融入模型中，引导模型学习出有效的实例表示。

优化轻量级检测器是一个众所周知的挑战性问题。原因在于，由于其表示能力的限制，检测器学习到的特征是分散的，如图2(b)所示。IBE可以有效地缓解这一点。

2-2 递归启动（Recursive Warm-restart，RecWR）

当前的训练策略不能充分利用 （Strong Augmentation，SA 产生的多样性训练表示，以提高在真实验证数据上的泛化能力。

因此，本文提出了一个有效的训练策略，即递归热重启（RecWR）。整个训练过程可以分为四个阶段。从第一阶段到第四阶段，图像增强的强度逐渐降低。

3 Experiments