Inception 系列的发展与区别

从Inception v1到Inception-ResNet，一文概览Inception家族的「奋斗史」 - 机器之心的文章 - 知乎
https://zhuanlan.zhihu.com/p/37505777

Inception V1:

1. 采用了多尺寸卷积核提取特征后融合的“加宽”设计。
2. 采用了两条辅助的中间层softmax分类器，用以改善梯度消失的问题。

Inception V2：

1. 学习VGG用3x3的小卷积核组合代替大卷积核
2. 使用1xn和nx1的组合来代替nxn
3. 使用concat(conv, pool)的结构来进行分辨率降低

Inception V3:

1. BN
2. label smo0thing
3. RMSprop优化器
4. Factorized 7x7 conv

Inception V4:

1. stem(conv和pool并行)

Inception-ResNet:

1. 使用了Residual结构

关于 conv和pool并行 这个的提出，感觉版本有点混乱，V4里的stem不是在V2里提了吗？ 还有有的又把这个归在V3里…要疯了

Inception V1 怎么设计的

1. 采用不同大小的卷积核后拼接，可以融合不同尺度特征
2. 采用conv1x1降低维度，减少计算量

为什么使用1x1卷积核

1. 降维
2. 增加非线性性

CNN每个层及其作用

1. 卷积层：使用卷积核提取特征
2. 激活函数：激活特征；增加非线性性
3. 池化层：降低分辨率，减少参数；提取主要特征
4. 全连接层：连接所有特征，用以分类

Pooling层怎么反向传播

mean pooling:
将梯度平均向后传播

max pooling:
将梯度传播给窗口内最大的像素

ResNet为什么好

1. 短路连接，有效解决训练过程中梯度消失问题
2. 学习残差，简化学习目标和难度，不会出现网络退化的问题（学不出来就学个0的残差就好了，所以理论上增加层数不会变的更坏

你必须要知道CNN模型：ResNet - 小小将的文章 - 知乎
https://zhuanlan.zhihu.com/p/31852747

ResNet V2

1. 将激活函数放置在旁路中，short-cut构建 clean information path。
2. 旁路中的结构从 conv-bn-relu 转换为 bn-relu-conv。

精读深度学习论文(6) ResNet V2 - 清欢守护者的文章 - 知乎
https://zhuanlan.zhihu.com/p/33486357