Batch Nomalizaiton & Dropout

版权声明: https://blog.csdn.net/qq_31239495/article/details/82587937

Batch Normalization:

arXiv:1502.03167

作用:将每一次层神经元的输出都进行归一化,将数据缩放到合适的范围

添加场景:卷积之后,激活之前

Dropout:

arXiv:1207.0580

作用:减少数据之间的相关性,提高泛华能力,改善过拟合的现象

要点:训练时以几率p将神经元输出置0,改善过拟合情况,可能减缓收敛速度,不会对训练和预测速度产生太大影响。

放在分类器之前

以概率p置0神经元,保留神经元输出除以(1-p),否则将不能收敛或者发生其他意外情况

通常 p = 0.5

猜你喜欢

转载自blog.csdn.net/qq_31239495/article/details/82587937