Inception 系列的发展与区别
从Inception v1到Inception-ResNet,一文概览Inception家族的「奋斗史」 - 机器之心的文章 - 知乎
https://zhuanlan.zhihu.com/p/37505777
Inception V1:
- 采用了多尺寸卷积核提取特征后融合的“加宽”设计。
- 采用了两条辅助的中间层softmax分类器,用以改善梯度消失的问题。
Inception V2:
- 学习VGG用3x3的小卷积核组合代替大卷积核
- 使用1xn和nx1的组合来代替nxn
- 使用concat(conv, pool)的结构来进行分辨率降低
Inception V3:
- BN
- label smo0thing
- RMSprop优化器
- Factorized 7x7 conv
Inception V4:
- stem(conv和pool并行)
Inception-ResNet:
- 使用了Residual结构
关于 conv和pool并行 这个的提出,感觉版本有点混乱,V4里的stem不是在V2里提了吗? 还有有的又把这个归在V3里…要疯了
Inception V1 怎么设计的
- 采用不同大小的卷积核后拼接,可以融合不同尺度特征
- 采用conv1x1降低维度,减少计算量
为什么使用1x1卷积核
- 降维
- 增加非线性性
CNN每个层及其作用
- 卷积层:使用卷积核提取特征
- 激活函数:激活特征;增加非线性性
- 池化层:降低分辨率,减少参数;提取主要特征
- 全连接层:连接所有特征,用以分类
Pooling层怎么反向传播
mean pooling:
将梯度平均向后传播
max pooling:
将梯度传播给窗口内最大的像素
ResNet为什么好
- 短路连接,有效解决训练过程中梯度消失问题
- 学习残差,简化学习目标和难度,不会出现网络退化的问题(学不出来就学个0的残差就好了,所以理论上增加层数不会变的更坏
你必须要知道CNN模型:ResNet - 小小将的文章 - 知乎
https://zhuanlan.zhihu.com/p/31852747
ResNet V2
- 将激活函数放置在旁路中,short-cut构建 clean information path。
- 旁路中的结构从 conv-bn-relu 转换为 bn-relu-conv。
精读深度学习论文(6) ResNet V2 - 清欢守护者的文章 - 知乎
https://zhuanlan.zhihu.com/p/33486357