创新点
- 成功的使用relu函数替代了sigmoid函数,解决了使用sigmoid的梯度消散问题
- 成功的在全连接层使用dropout
- 成功的使用重叠最大池化
- 提出了LRN
- 利用GPU进行运算
数据增强256×256裁224×224并flip,RGB的PCA处理
relu函数的优点
- 增加非线性
- 增加网络的稀疏性
- 函数比较简单,训练速度快
解决了sigmoid的梯度消散问题
softmax的作用
- 概率和为1
- 操作后没有概率小于零
网络结构
使用了那些防过拟合的手段
- dropout
- 数据增强:
大图裁剪小图及flip
RGB变换 - 重叠池化