版权声明: https://blog.csdn.net/qq_31239495/article/details/82587937
Batch Normalization:
arXiv:1502.03167
作用:将每一次层神经元的输出都进行归一化,将数据缩放到合适的范围
添加场景:卷积之后,激活之前
Dropout:
arXiv:1207.0580
作用:减少数据之间的相关性,提高泛华能力,改善过拟合的现象
要点:训练时以几率p将神经元输出置0,改善过拟合情况,可能减缓收敛速度,不会对训练和预测速度产生太大影响。
放在分类器之前
以概率p置0神经元,保留神经元输出除以(1-p),否则将不能收敛或者发生其他意外情况
通常 p = 0.5