目录
一、指标概念
样本总数 = TP+FP+FN+TN
一般情况下,查准率高,查全率就会偏低,反之。
查准率:预测为正例的实例中真实正例的比例;
查全率:真实正例被预测为正例的比例;
F1-score:度量一个模型的好坏,综合考虑查准率和查全率。
分类结果混淆矩阵
正例 | 反例 | |
---|---|---|
正例 | TP(true positive) | FN(false negative) |
反例 | FP(false positive) | TN(true negative) |
二、问题解决
1、问题导入
假如重庆交通大学准备招标采购一套宿舍行人目标图像识别系统,选择2家公司的产品来测试。测试手段是:从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下:
- 算法1(产品1)的检测结果:检测出“男生”人数82人,其中78人为男生,4人其实是女生;
2)算法2(产品2)的检测结果:检测出“男生”人数88人,其中80人为男生,8人其实是女生;
3)经过人工检测,视频中实际准确的总人数为100人,其中男生80人,女生20人。
请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少?你认为哪个更优秀?
2、结果表格
评价指标 | 算法1 | 算法2 |
---|---|---|
查准率 | 0.975 | 1 |
查全率 | 0.951 | 0.91 |
F1-score | 0.963 | 0.952 |
3、对比分析
由计算结果表格可知,算法1的查准率低于算法2,其余两项则高于算法2。按查准率高,查全率就会偏低,算法1优于算法2。总体而言,算法2较好。
三、总结与参考资料
1、总结
准确理解机器学习算法的常用评价指标。