论文地址： RES-SE-NET: BOOSTING PERFORMANCE OF RESNETS BY ENHANCING BRIDGE-CONNECTIONS
工程代码： Github链接

0. 摘要

  残差连接的使用是高效地训练深度神经网络的方式之一，其可以被视为带有变形卷积的恒等连接或者说桥连接。实验表明，使用标准的ResNet在CIFAR-10或者CIFAR-100上相比带有桥连接的网络会有明显的精度降低，这是由于桥连接缺失造成的特征图丰富性不足造成的，因此桥接对ResNets非常关键。论文通过一个特殊的模块来量化不同桥连接不同通道的特征的重要程度以进一步增强桥连接从而提出Res-SE-Net。

1. 简介

  深度卷积神经网络在很多计算机视觉任务上应用，但是非常深的网络经常会出现梯度小时的难题，这样会延缓收敛，某种程度上这个问题已经通过一些研究者的方法得到解决。也有研究表明，当网络加深的时候精确度会上身减慢以至衰减，研究者认为这与过拟合无关因为增加模型的层数训练误差也会增加。为了深层网络的有效训练，提出了ResNets。ResNets通过残差连接和恒等连接来解决这个问题。
  ResNet有很多变种，这些变种包括激活函数前置，split-transform-merge策略，密集跳跃结构和随机丢层，但是没有关于对ResNet中的桥连接的优化研究，该论文就深入研究了桥连接的影响并提出了Res-SE-Net。

2. 相关工作

  **略

3. 准备工作

3.1 ResNet

  ResNet的思想主要是加深浅层网络，并通过恒等连接和残差连接将上下两层连接，跳跃结构的增加能够增强浅层网络的影响从而避免精度衰减的问题。ResNet基础模块的结构如下所示：

3.2 SE 模块

  卷积层的滤波器作用在局部感受野上，这些特征图相互独立且重要性相当，然而实际上重要程度并不相同，这回影响最终结果，这是后有研究提出SE模块，SE模块能够对特征的重要性进行重调使得全局信息能够用来对每一个特征的重要性进行衡量，基础模块结构如下：

4. 提出模型

6. 实验

  略

7. 结论

  提出新的Res-SE-Net使得ResNets的桥连接更加有效，即在每一个桥连接处增加SE模块，未来探索其他增强桥连接的方式。

欢迎扫描二维码关注微信公众号 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]