- 前言
通常卷积神经网络(CNNs)都会使用池化pool操作来减少Feature Map的尺寸。这个过程对于实现局部空间不变和增加后续卷积的感受野是至关重要的。因此池化pool操作应该尽量减少Feature Map映射中信息的丢失。同时，应该限制计算和内存开销。
为了满足这些需求，本文提出了一种快速、高效的池化方法SoftPool，softpool可以以指数加权方式累加激活。与一系列其他池化方法相比，SoftPool在下采样激活映射中保留了更多的信息。更精细的下采样导致更好的分类精度。在ImageNet上，对于一系列流行的CNN架构，用SoftPool替换原来的池化操作可以带来1-2%的一致性精度提升。SoftPool在视频数据集上的动作识别。同样，在计算负载和内存仍然有限的情况下，仅替换池化层依然可以提高精度。
注：我将程序中的池化都改为softpool操作后，未超过模型的当前最优精度，可能是我的模型精度已经很高，优化也不太容易超越这个精度，转模型onnx是可以转成的，但是部署到板子上时，量化会不支持其中的指数EXP操作。
softpool详见：https://mp.weixin.qq.com/s/bgkg0LKwWlMvoK951pOeiQ