分类模型常见F分数、精确率、召回率、正确率、虚警率和漏检率等性能评价指标

1、常见的几种预测情况

TP ,True Positive,表示把正类预测为正类
TN,True Negative,表示把负类样本预测为负类
FP,False Positive,表示把负类预测为正类
FN,False Negative,表示把正类预测为负类。

“狼来了”的故事模型
在这里插入图片描述

2、精确率和召回率(Precision And Recall)

精确度/精确率(Precision)是针对预测结果而言的,表示预测为正的样本中真正的正样本占比。预测为正分两种情况,一种是把正类预测为正类(TP),另一种是把负类预测为正类(FP),即
在这里插入图片描述
召回率/真阳性率(Recall)是针对原来的样本而言的,表示样本中的正类有多少被预测正确了。同样分两种情况,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN),即
在这里插入图片描述
要全面评估模型的有效性,必须同时检查精确率和召回率。遗憾的是,精确率和召回率往往是此消彼长的情况。也就是说,提高精确率通常会降低召回率值。

3、F1-分数(F1-Score)

精确率(Precision)和召回率(Recall)评估指标,理想情况下做到两个指标都高当然最好,但一般情况下,Precision高,Recall就低,Recall高,Precision就低。

所以在实际中常常需要根据具体情况做出取舍,例如一般的搜索情况,在保证召回率的条件下,尽量提升精确率。而像癌症检测、地震检测、金融欺诈等,则在保证精确率的条件下,尽量提升召回率。

引出了一个新的指标F-score,综合考虑Precision和Recall的调和值。
在这里插入图片描述
· 当β=1时,称为 F1-score或者 F1-Measure,这时,精确率和召回率都很重要,权重相同。
· 当有些情况下,我们认为精确率更重要些,那就调整β的值小于1,
· 如果我们认为召回率更重要些,那就调整β的值大于1。
常见的F1分数**(F1-Score**)计算公式如下:
在这里插入图片描述
举个例子:某地区新冠病毒检查数据样本有10000个,其中5个样本核酸检测呈阳性,其它多次检测都是阴性。假设分类模型在多次检测都是阴性的数据9995中预测正确了9990个,在5个核酸检测呈阳性数据中预测正确了4个,此时TP(正->正)=4,TN(负->负)=9990,FP(负->正)=5,FN(正->负)=1。
注:这里正类表示核酸检测呈阳性,负类表示多次检测呈阴性。
根据准确度,精确率和召回率的计算公式:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Accuracy = (4+9990) /10000=99.94% 
Precision = 4/(4+5)= 44.44% 
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13% 
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%

4、其他常见性能评价指标

正确率/准确度(Accuracy)表示正负样本被正确分类的比例在这里插入图片描述

虚警率(False alarm)表示负类样本被分为正类样本比例。
在这里插入图片描述
对应上述的例子就是1/5,20%

漏警率表示(Missing alarm)表示正类样本被分为负类样本的比例。
在这里插入图片描述对应上述的例子就是5/9995,0.05%
参考:
https://blog.csdn.net/sinat_35821976/article/details/81334181
https://blog.csdn.net/And_ZJ/article/details/105917794
http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
https://www.cnblogs.com/wushaogui/p/9146049.html
https://blog.csdn.net/saltriver/article/details/74012163

猜你喜欢

转载自blog.csdn.net/qq_16488989/article/details/109090801