版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/linolzhang/article/details/77279348
一. 提出背景
CVPR2017 的 Best Paper,简单大气上档次!
论文:Densely Connected Convolutional Networks 【点击下载】
Caffe代码:【Github】
受 Highway、ResNet 等算法思路的启发,提出一种跨层的连接网络,思路非常简单,直接上图:
二. 算法思路
作者这个提法比较大胆,每个层的 input 包括之前所有层的信息,通过将前面N多个层的 Feature 组合起来,形成对特征更丰富的描述和判别。从思想上来讲,是比较容易接受的,看一个完整的网络结构图:
这个网络包含3个 Dense Block,中间通过 Convolution 和 Pooling 连接。
但是明显这将带来很大的计算量,我们来看作者是怎么处理的?
由于每个Layer的输入会比较多,因此可以减少每一层的 Channel 数量,Feature 利用率比较高,整体算下来,同样的连接数量,会比 ResNet 的 Feature 更少,通过实验对比,用一半的计算量达到了 ResNet 的效果。
三. 实验结果
在CIFAR和SVHN数据集上的错误率:
和 ResNet 在 参数 和 浮点运算量 进行对比:
给总结吧,根据自己的理解,密集的网络连接更能反映真实的人脑连接情况,更复杂的互联方式也许还在路上,这应该就是留给我们的期待,越来越接近真理!