Introduction
ResNeXt是ResNet的加强版,将ResNet原本简单的“plain版残差结构”替换成了“Inception版残差结构”:
每个“Inception版残差结构”内部各通道通过不同权重进行相加:
标准计算公式如下:
作者还给出了不同型号的“Inception版残差结构”配件:
以下是ResNeXt组件说明书:
Result
在ImageNet-1K上:
ResNeXt可以比ResNet收敛更快:
在FLOP为ResNet两倍的情况下,ResNeXt分类效果略微强过ResNet:
在ImageNet-5K上:
ResNeXt分类错误率更低一点:
在CIFAR-10上:
- ResNeXt分类top-1错误率更低一点:
在COCO上:
- ResNeXt分类AP值更高一点:
Innovation
移花接木:
“plain版残差结构” + “Inception设计” -> “Inception版残差结构”
Thinking
ResNeXt与ResNet并不是竞争关系,而是互为补充,相辅相成。
ResNet因为结构简单,效果好,成为了日常使用时各network的首选backbone。
ResNeXt结构复杂,在大数据集和更深的网络上效果略优于ResNet,因此成为打比赛时各network的首选backbone。
[1] Aggregated Residual Transformations for Deep Neural Networks
[2] Deep Residual Learning for Image Recognition 笔记