目标检测的评价指标整理:
本来想整理一波评价指标,查找资料发现有几个博主整理的很全面,就copy过来啦,西西~~
目标检测 — 评价指标 - 深度机器学习 - 博客园 (cnblogs.com)
1、准确率 (Accuracy)
所有样本中正确样本所占的比值为准确率,是系统中最常见的一个评价指标。
准确率一般用来评估模型的全局准确程度,无法全面评价一个模型性能。
2、混淆矩阵 (Confusion Matrix)
混淆矩阵中的横轴是模型预测的类别统计,纵轴是数据真实标签的分类统计。对角线表示模型预测和数据标签一致的数目,所以对角线之和除以测试集总数就是准确率。对角线上数字越大越好,在可视化结果中颜色越深,说明模型在该类的预测准确率越高。如果按行来看,每行不在对角线位置的就是错误预测的类别。因此,对角线越高越好,非对角线越低越好。
3、精确率(Precision)与召回率(Recall)
TP:正样本被预测成个样本
TN:负样本被预测成负样本
FP:负样本被预测成正样本
FN:正样本被预测成负样本
P(精确率、查准率):预测为正样本中实际为正样本的占比。
R(召回率、查全率):所有正样本中实际被预测为正样本的占比。
P-R曲线(查准率-查全率曲线):
P-R图直观的显示出学习器在样本总体上的查全率、查准率,再进行比较时,若一个学习器的 P-R曲线被另外一个学习器的曲线完全“包住”,则可断言后者的性能优于前者。P-R曲线下面积的大小,在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。
4、ROC和AUC
- 横坐标:假正率(False positive rate, FPR),FPR = FP / [ FP + TN] ,代表所有负样本中错误预测为正样本的概率,假警报率;
- 纵坐标:真正率(True positive rate, TPR),TPR = TP / [ TP + FN] ,代表所有正样本中预测正确的概率,命中率。
- 对角线对应于随机猜测模型,而(0,1)对应于所有整理排在所有反例之前的理想模型。曲线越接近左上角,分类器的性能越好。ROC曲线有个很好的特性:当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡(class imbalance)现象,即负样本比正样本多很多(或者相反),而且测试数据中的正负样本的分布也可能随着时间变化。
- AUC(Area Under Curve)即为ROC曲线下的面积。AUC越接近于1,分类器性能越好。
5、mAP、[email protected]、[email protected]:.95
平均精度(Average-Precision,AP)、 mean Average Precision(mAP)
AP是PR曲线下面的面积,一个越好的分类器,AP值越高。
如果是多类别目标检测任务,就要使用mAP,mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均,得到的就是mAP的值,mAP的大小一定在[0,1]区间,越大越好。该指标是目标检测算法中最重要的一个。
[email protected]指的是IOU的值取50%,AP70同理
[email protected]:.95指的是IOU的值从50%取到95%,步长为5%,然后算在在这些IOU下的AP的均值