MobileNet-v2阅读笔记
介绍
- 具有线性bottleneck的倒置残差层。
- 卷积模块可以通过从未完全实现大型中间张量来显着减少推理过程中所需的内存占用，适合移动设备
- 作者发现删除中间窄层中的非线性单元对于保持表示能力很重要
倒置残差
瓶颈块看起来类似于残差块，其中每个块包含一个输入，然后是几个瓶颈，然后进行扩展。瓶颈实际上包含了所有必要的信息，而扩展层仅充当了张量的非线性转换的实现细节。在较少通道的瓶颈之间直接使用短路连接。
信息流的解释
在构建块（瓶颈层）的输入/输出域和层转换之间提供了一种自然的分离——层转换是一种将输入转换为输出的非线性函数。前者可以看作是每一层网络的容量，而后者可以看作是表达能力特别的，由于在该模块中有短路连接，当内层深度为0时，卷积就是identity映射。当扩张比小于1时，这是一个经典的残差块。
模块架构
module结构：
整体结构：
总结
这篇论文的主要贡献是一个新的模块：具有线性bottleneck的倒置残差层。该模块以一个低维的压缩特征作为输入，首先被扩展到高维，然后用一个轻量级的深度卷积过滤。特征随后用线性卷积投影回低维表示