作者认为，当前CNN主要存在两个不足：（1）实际的感受野不足；（2）在下采样中，很多的细节信息会丢失。
从图中可以看出，有的物体尺寸较大（建筑、沙发），有的物体尺寸较小（行人，书本）。这种尺寸的变化是标准卷积级经捕获的。为此，作者提出了金字塔卷积（Pyramid Convolution, PyConv），包含不同尺度的卷积核，可以提取多尺度信息，在多个任务上均取得了较好的性能
PyConv 的示意如图所示，直观来看，就是从上往下卷积核的大小依次减小，同时，在通道维度上，通道的数目依次增加。最后将得到的 feature map 拼接起来。
在图像分类任务中的 PyConv 示意所图所示，首先是9X9的卷积，16个卷积核，分为16组，因此生成16X16=256个 feature map；然后是7X7的卷积，16个卷积核，分为8组，因此生成16X8=128个 feature map；接着是5X5的卷积，16个卷积核，分为4组，因此生成16X4=64个 feature map；最后是3X3的卷积，16个卷积核，只有1组，因此生成16X1=16个 feature map。然后，会用1X1的卷积来使输出的维度都为 256。
金字塔卷积 PyConv，通过集成不同尺度的卷积核，提升了多个视觉任务的性能，同时，该模块是一种“即插即用”的模块，可以较好的嵌入不同的网络架构中。