BN,IN都是这个公式
其中μ和σ是running_mean和running_var
γ和β是weight和bias
这是稍微复杂的写的BN的过程
仿射(affine)指的就是最后一步
如果
affine=False
则固定γ=1,β=0,并且不能学习被更新
如果 track_running_stats=True,
表示跟踪整个训练过程中的batch的统计特性,得到方差和均值,而不只是仅仅依赖与当前输入的batch
的统计特性。相反的,如果track_running_stats=False
那么就只是计算当前输入的batch的统计特性中的均值和方差了。
做BN的时候,每个channel都会做BN
Pytorch中的BN和IN(affine仿射, track_running_stats)
猜你喜欢
转载自blog.csdn.net/hxxjxw/article/details/120618446
今日推荐
周排行