最近在研究attention机制,这篇是发表于16年的一篇涉及Attention机制的paper。
提出的原因:
(1)现有的CNN结构对空间不变形的处理能力较弱
(2)希望根据文理和形状就可以区分object的方位和部分变形
(3)max-pooling具有一定的空间不变形能力,但是局部的,而且只限制在高层次的cnn和max-pooling层,中间层无法获取空间转换能力。(某种程度来说,现有的CNN的空间转换不变性是受限的、预定义的)
优点:
(1)end-to-end的train
(2)stn的trainformer模块是可微的,不需要使用有监督训练或者修改现有优化机制,根据自己的特征图就可以主动学习特征图的转换能力
(3)spatial transformer能解决的图片转换种类:平移(translation)、缩放(scale)、旋转(rotate)和扭曲(warp)
(4)STN直接对数据处理,而不是对特征提取器处理!
原理:
spatial transformer的模块组成:定位网络、产生网格、抽样映射。
(1)localisation network
转换的theta多种多样,实现形式也是多种多样,只需要最后一层可以输出回归值就行。
(2)grid generator
映射方向是:输出target=》输入source
(3)sampler
对输入特征图的像素抽样,计算经过何种方式可以获取到输出像素值。
需要保证输入和输出的channel数目一致。
源码实现注意点:
(1)spatial transformer的数目(一般来说6个参数作为整体)和输入图片数目保持一致。
-- 未完待续 --