版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012927281/article/details/86765089
在yolo模型inference执行完成后,会产生很多的冗余结果,此时就需要调用nms对冗余结果进行去重。
nms函数在darknet框架中是do_nms_sort函数,位于box.c文件中,现对do_nms_sort过程做详细分析:
for(i = 0; i <= k; ++i){
if(dets[i].objectness == 0){
detection swap = dets[i];
dets[i] = dets[k];
dets[k] = swap;
--k;
--i;
}
}
上述循环过程的功能是将没有物体的检测结果由后向前交换,--k表示最后一个位置向前移动一个位置,--i后再++i表示i的位置没有改变,之所以采用这一做法的原因是,交换后的检测结果可能同样objectness为0,因此先保持在原位置不变,当检测结果的objectness不为0时,才移动到下一个物体。
经过上述过程,所有检测结果中不包含物体的全部被移动到了最后,包含物体的检测结果全部被移动到了数组前方。
for(k = 0; k < classes; ++k){
for(i = 0; i < total; ++i){
dets[i].sort_class = k;
}
qsort(dets, total, sizeof(detection), nms_comparator);
for(i = 0; i < total; ++i){
if(dets[i].prob[k] == 0) continue;
box a = dets[i].bbox;
for(j = i+1; j < total; ++j){
box b = dets[j].bbox;
if (box_iou(a, b) > thresh){
dets[j].prob[k] = 0;
}
}
}
}
然后按照类别对检测结果进行排序,排序的依据是某个检测结果属于某一类的概率,调用nms_comparator函数。
for(i = 0; i < total; ++i){
if(dets[i].prob[k] == 0) continue;
box a = dets[i].bbox;
for(j = i+1; j < total; ++j){
box b = dets[j].bbox;
if (box_iou(a, b) > thresh){
dets[j].prob[k] = 0;
}
}
}
最后一个二重循环的作用是,计算两个检测结果之间的iou,若二者之间的iou大于thresh,则将后者直接置0,认为上述两个框是同一个框。此处代码中给出的thresh是0.45。但上述做法实际上产生了一个问题,若两个物体重叠部分大于thresh,则会造成其中一个物体的丢失,进而造成准确率的下降。解决上述问题已有一些方法,但不是本文的重点,此处先暂且不表。
至此do_nms_sort的过程就分析完成了,总结起来就是三个过程:
1)去除没有物体的检测结果。
2)按照检测结果类别排序。
3)计算检测结果之间的iou,若大于thresh,则舍去。