AlexNet中为了增大感受野使用了 11 × 11 11\times11 11×11、 5 × 5 5\times5 5×5和 3 × 3 3\times3 3×3三种卷积核。而VGG16说明了两个 3 × 3 3\times3 3×3的卷积核和一个 5 × 5 5\times5 5×5的卷积核感受野相同,从而可以使用两个 3 × 3 3\times3 3×3的卷积核替代一个 5 × 5 5\times5 5×5的卷积核。同理,可以使用三个 3 × 3 3\times3 3×3的卷积核替代一个 7 × 7 7\times7 7×7的卷积核,使用四个 3 × 3 3\times3 3×3的卷积核替代一个 9 × 9 9\times9 9×9的卷积核,依次类推。
1 为什么两个 3 × 3 3\times3 3×3的卷积核和一个 5 × 5 5\times5 5×5的卷积核感受野相同
1.1 用图说明
如下图所示:
1.2 计算说明
假设feature map是 28 × 28 28\times28 28×28的,假设卷记的步长 s t e p = 1 step = 1 step=1, p a d d i n g = 0 padding = 0 padding=0:
- 使用一层 5 × 5 5\times5 5×5卷积核,由 ( 28 − 5 ) / 1 + 1 = 24 (28-5)/1+1=24 (28−5)/1+1=24可得,输出的feature map为 24 ∗ 24 24*24 24∗24的
- 使用两层 3 × 3 3\times3 3×3卷积核
- 第一层,由 ( 28 − 3 ) / 1 + 1 = 26 (28-3)/1+1=26 (28−3)/1+1=26可得,输出的feature map为 26 × 26 26\times26 26×26的
- 第二层,由 ( 26 − 3 ) / 1 + 1 = 24 (26-3)/1+1=24 (26−3)/1+1=24可得,输出的feature map为 24 × 24 24\times24 24×24的
可以看到最终结果两者相同。
2 使用小卷积代替打卷机的好处
- 保证具有相同感受野的条件下,提升了网络的深度,在一定程度上提升了网络效果(从这点来说,也说明了ResNet的巨大作用)
- 保证具有相同感受野的条件下,减少了计算量和参数量