版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_30241709/article/details/88167127
本文传送机
深度可分离卷积原理
深度可分离卷积是MobileNet的核心,MobileNet是谷歌提出的移动端轻量化网络。
标准的卷积网络的一个卷积核在卷积时,对应图像中的所有通道均被同时考虑。问题在于,为什么一定要同时考虑图像区域和通道?我们为什么不把通道和空间区域分开考虑?
深度可分离卷积提出了一种新的思路:对于不同的出入通道(channel)采取不同的卷积核进行卷积,它将普通的卷积操作分解为两个过程:Depthwise过程和Pointwise过程。
Depthwise过程
Depthwise是指将的输入分为组,然后每组做一个卷积。这样相当于收集了每个通道(channel)的空间特征,即depthwise特征。Depthwise卷积过程如下图所示:
Pointwise过程
Pointwise是指对的输入做个卷积。这样相当于收集了每个点的特征,即Pointwise特征。
Depthwise+Pointwise最终的输出也是
深度可分离卷积的特点
与传统卷积的结构区别
- 普通卷积的结构为: Conv + BN + ReLU
- 深度可分离卷积结构为: Depthwise Conv + BN + ReLU + Pointwise Conv + BN + ReLU
与传统卷积的速度区别
参数量降低
假设输入通道(channel)为3, 要求输出的通道为256,则
- 传统卷积直接接一个的卷积核,参数量为
- 深度可分离卷积分为两部分:
- Depthwise卷积参数量为:
- Pointwise卷积参数量为:
- 深度可分离卷积的总参数量为:
计算速度更快
对比乘法运算次数:
- 传统卷积的乘法计算次数为:
- 深度可分离卷积乘法计算次数分为两部分:
- Depthwise卷积的乘法计算次数为:
- Pointwise卷积的乘法计算次数为:
- 深度可分离卷积的总乘法计算次数为:
- 深度可分离卷积将传统卷积的计算量压缩为:
将图像的区域和通道分离
深度可分离卷积同时考虑图像的区域和通道(深度可分离卷积首先只考虑区域,然后再考虑通道),实现了图像的区域和通道的分离。
CONTACT INFORMATION
E-mail: [email protected]
QQ: 46611253