1、目标检测
检测图片中所有物体的
- 类别标签
- 位置(最小外接矩形/Bounding box)
区域卷积神经网络R-CNN
模块进化史
2、区域卷积神经网络R-CNN
- Region proposals+手工特征+分类器
R-CNN模块划分
- 模块1:Selective Search(SS)获取区域
- ~2000个区域Region proposals
- 跟分类无关,包含物体
- 区域预处理
- Bounding box膨胀
- 尺寸变换成227x227
- 模块2:AlexNet 网络
- 对所有区域进行特征提取
- fine-tune
- 模块3:线性SVMs分类器
- 对CNN特征(4096)进行分类
- 每个分类一个SVM
- 模块4:Bounding box回归模型
- 对SS提供的区域进行精化
- 基于CNN特征
- 每个分类一个SVM
正样本:所有Ground-truth区域
负样本:跟Ground-truth重合IoU<0.3的SS区域
R-CNN训练流程
- M<——在ImageNet上对CNN模型进行预训练pre-train
- M‘<——在SS生成的所有区域上对M进行fine-tune
- C<——在M’的Fc7特征上训练线性SVMs分类器
- R<——在M‘的Conv5特征上训练Bounding box回归模型
R-CNN测试阶段
- Selective Search(fast mode)提取~2000区域/图片
- 将所有区域膨胀+缩放到227x227
- 使用fine-tune过的AlexNet计算两套特征
- 为每个类别执行
- Fc7特征——>SVM分类器——>类别分值
- 使用非极大值抑制(IoU>=0.5)获取无冗余的区域子集
- 所有区域分值从大到小排序
- 剔除冗余:与最大分值区域IoU>=0.5的所有区域
- 保留该最大分值区域,剩余区域作为新候选集
- Conv5特征——>Bounding box回归模型——>Bbox偏差
- 使用Bbox偏差修正区域子集
- 为每个类别执行
R-CNN性能评价
True Positive区域:IoU>=0.5
False Positive区域:IoU<0.5
False Negative区域:遗漏的Ground truth区域
准确率precision:TP/(TP+FP)
号召率recall:TP/(TP+FN)
第C类的平均精度(AP):PR曲线之下的面积,是Precision对于Recall的积分。
mAP:所有类别的平均精度求和初一所有类别,即数据集中所有类的平均精度的平均值。
3、SSP-Net
- R-CNN速度慢的原因之一:卷积特征重复计算量太大,每张图片的~2000区域都会计算CNN特征
- 两大改进
- 直接输入整张图片,所有区域共享卷积计算(一遍):在Conv5层输出上提取所有区域的特征
- 引入空间金字塔池化(Spatial Pyramid Pooling):为不同尺寸的区域,在Conv5输出上提取特征;映射到尺寸固定的全连接层上。
SSP-空间金字塔池化:
- 替换Conv5的Pooling层
- 3个level和21个Bin:1x1,2x2,4x4
- Bin内使用Max pooling
SPP-Net训练过程
- M<——在ImageNet上对CNN模型进行pre-train
- F<——计算所有SS区域的SPP特征
- M'<——使用F特征fine tune新fc6——>fc7——>fc8层
- 与R-CNN区别:SPP特征<——Pool5特征;只finetune全连接层
- F'<——计算M'的fc7特征
- C<——使用F'特征训练线性SVM分类器
- R<——适应F特征训练Bounding box回归模型
4、Fast R-CNN网络
改进:
- 比R-CNN,SPP-Net更快的training/test
- 更高的mAP
- 实现end-to-end(端对端)单阶段训练:多任务损失函数(Multi-task loss)
- 所有层的参数都可以fine-tune
- 不需要离线存储特征文件
在SPP-Net基础上引入2个新技术
- 感兴趣区域池化层(RoI pooling layer)
- 多任务损失函数(Multi-task loss):分类器loss;Bounding box回归L1 loss。
5、Faster R-CNN=Fast R-CNN+RPN
集成Region Proposal Network(RPN)网络:取代离线Selective Search模块,解决性能瓶颈。
进一步共享卷积层计算;基于Attention注意机制;Region proposals量少质优:高precision,高recall。
训练过程:
Step1---训练RPN网络
- 卷积层初始化<——ImageNet上pretrained模型参数
Step2---训练Fast R-CNN网络
- 卷积层初始化<——ImageNet上pretrained模型参数
- Region proposals由Step1的RPN生成
Step3---调优RPN
- 卷积层初始化<——Fast R-CNN的卷积层参数
- 固定卷积层,finetune剩余层
Step4---调优Fast R-CNN
- 固定卷积层,finetune剩余层
- Region proposals由Step3的RPN生成
Region Proposal Network(RPN)网络:全卷积网络
- 3x3,256-d卷积层+ReLU<——输入图片的Conv5特征
- 1x1,4k-d卷积层——>输出k组proposal的offsets(r,c,w,h)
- 1x1,2k-d卷积层——>输出k组(object score,non-object score)