版权声明：如需转载请联系博主获取权限并标明出处 https://blog.csdn.net/ShuqiaoS/article/details/85236419
本文记录了博主阅读《ShuffleNet V2: Practical guidelines for Efficient CNN Architecture Design》中记录的笔记。更新于2018.12.24。
文中主要观点
- FLOP无法等同于算法的计算量，原因在于：1）没有考虑memory access cost（MAC，内存访问损失）；2）degree of paprallelism（并行度）；3）运行算法的平台。因此，文中建议用direct metric，且应当将traget plateform（即平台）考虑进去。
以下为Guidelines：
- 前后通道数差距越大，速度越慢；速度在输入输出通道数等同时达到最小。
- 过多的group会导致MAC的上升：作者建议根据平台的情况和具体任务谨慎选择group的个数，切勿单纯为了增加通道数而应用大量的group。
- 碎片化的网络（Network fragment）会严重导致速度下降（ARM降低较少，GPU降低明显）。
- 像素级运算的计算量不可忽略：这里的像素级运算包括ReLU、AddTensor、AddBias和depthwise convolution。