一定要先看这里，不然下面有点懵：
在fasterrcnn的基础上理解，在已经检测到候选前景框的情况下使用RoIPooling（Crop或者RoIWarp或者RoIAlign）实现尺寸统一化，然后将统一化尺寸的特征图送入后续的RCNN进行分类和回归
解释下为什么需要尺寸统一化：在卷积神经网络中，如果使用到了全连接层，那么在全连接前一层的特征图尺寸必须固定，不然你想呀，从一个特征图到全连接层的这一步的参数该怎么确定呢？由于这个参数的限制，而且实际输入卷积网络的图片尺寸不固定，所以就需要将特征图尺寸固定。
Crop和RoIWarp
Crop，顾名思义就是将原始大尺寸的特征图crop为指定尺寸的特征图；
RoIWarp，就相当于将目标尺寸放缩成指定尺寸的特征图。
为什么一般不用这两种方式？
两种办法的示意图如下图所示，可以看到无论采取那种办法都不好，要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息。回忆RPN网络生成的proposals的方法：对foreground anchors进行bound box regression，那么这样获得的proposals也是大小形状各不相同，即也存在上述问题。所以Faster RCNN中提出了RoI Pooling解决这个问题（需要说明，RoI Pooling确实是从SPP发展而来，但是限于篇幅这里略去不讲，有兴趣的读者可以自行查阅相关论文）。
但是从maskrcnn文中可以看出，RoIWarp的结果还是要比RoIpooling要好，感觉还是由于RoIpooling损失的精度太多了导致的，具体如何损失请看下面的RoIpooling。
RoIPooling
这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map
先贴出一张图，接着通过这图解释RoiPooling的工作原理
针对上图
1)Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25
2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，如果你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操作，于是，进行所谓的第一次量化，即映射的特征图大小为20*20
3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将上面在 feature map上映射的20*20的 region proposal划分成49个同等大小的小区域，每个小区域的大小20/7=2.86,即2.86*2.86，此时，进行第二次量化，故小区域大小变成2*2
4)每个2*2的小区域里，取出其中最大的像素值，作为这一个区域的‘代表’，这样，49个小区域就输出49个像素值，组成7*7大小的feature map
总结，所以，通过上面可以看出，经过两次量化，即将浮点数取整，原本在特征图上映射的20*20大小的region proposal，偏差成大小为14*14的，这样的像素偏差势必会对后层的回归定位产生影响
所以，产生了替代方案，RoiAlign。
RoIAlign
这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的
先贴出一张图，接着通过这图解释RoiAlign的工作原理
同样，针对上图，有着类似的映射
1)Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25
2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，此时，没有像RoiPooling那样就行取整操作，保留浮点数
3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将在 feature map上映射的20.78*20.78的region proposal 划分成49个同等大小的小区域，每个小区域的大小20.78/7=2.97,即2.97*2.97
4)假定采样点数为4，即表示，对于每个2.97*2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算，这样，就会得到四个点的像素值，如下图
上图中，四个红色叉叉‘×’的像素值是通过双线性插值算法计算得到的。
这里解释下双线性插值。
如图，已知Q12，Q22，Q11，Q21，但是要插值的点为P点，这就要用双线性插值了，首先在x轴方向上，对R1和R2两个点进行插值，这个很简单，然后根据R1和R2对P点进行插值，这就是所谓的双线性插值。
最后，取四个像素值中最大值作为这个小区域(即：2.97*2.97大小的区域)的像素值，如此类推，同样是49个小区域得到49个像素值，组成7*7大小的feature map
总结：知道了RoiPooling和RoiAlign实现原理，在以后的项目中可以根据实际情况进行方案的选择；对于检测图片中大目标物体时，两种方案的差别不大，而如果是图片中有较多小目标物体需要检测，则优先选择RoiAlign，更精准些。
参考资料
何凯明的PPT：链接: https://pan.baidu.com/s/1jHRubfK 密码: jh5c