(太长不看系列)
结论:混淆矩阵的值是检测框和标注框根据一定的IOU计算的,终端指标的输出是找到最大的f1 score所对应的精确率p和召回率r,所以会不一致。
1. 问题
之前有同事问,怎么yolov5训练绘制的混淆矩阵,跟终端输出的对不上。(之前我也没注意这个问题)
这里以训练烟雾、火焰两个类别为例,输出的混淆矩阵如下所示:
而终端的输出截图如下所示:
对比两张图可以发现,在混淆矩阵中,fire和smoke类别的灵敏度(数值上等于召回率)分别是0.65、0.50,而终端输出的召回率是0.635、0.497。
2. 原因
2.1 混淆矩阵绘制
混淆矩阵的计算在yolov5工程的val.py文件的大概第233行,如下图所示:
进入到confusion.process_batch里面,函数位于utils/metric.py里,如下图所示;
就是根据检测框detections和标注labels的iou来计算,得到混淆矩阵。
2.2 终端指标的计算
终端指标的计算,主要位于val.py文件的第255行的ap_per_class函数里,如下图所示:
进入到ap_per_class里,函数位于utils/metrics.py文件的,如下图所示:
训练过程中,会根据不同的conf值,计算一系列的f1、P、R等值并绘制曲线,如下图所示;
在代码的第83行左右,会选取最大的f1值所对应的p和r,所以终端的输出跟绘制的混淆矩阵会不一致。
结束。