一、分类指标
- 样本中存在两种两种标签:样本真实标签和模型预测标签。
- 根据这两个标签可以得到一个混淆矩阵:
- 每一行代表样本的真实类别,数据总数表示该类别的样本总数。
- 每一列代表样本的预测类别,数据总数表示该类别的样本总数。
- 分类模型的评价指标主要基于混淆矩阵。
二、混淆矩阵
三、正确率
- 用来表示模型预测正确的样本比例。
- 定义如下:
四、精度和召回率
- 精度和召回率是比正确率更好的性能评价指标,是对某个类别的评价。
- 精度:(查准率)是指正确预测的正样本占所有预测为正样本的比例:
- 召回率:(查全率)又称灵敏度和命中率,是指正样本中被正确预测的比例:
五、F1值
- 精度和召回率是负相关的:高精度往往对应召回率
- F值即是综合考虑精度和召回率的一个指标:
其中为β正数,其作用是调整精度和召回率的权重。β越大,召回率的权重更大;β越小,则精度的权重更大。 当β正数为1时为F1值,精度和召回率权值一样。
六、ROC与AUC
- ROC曲线和AUC是一个从整体上评价二分类模型优劣的指标,其中AUC是ROC曲线与其横轴之间的面积。AUC值越大说明模型越好。
- ROC曲线通过真阳率和假阳率两个指标进行绘制:
- 真阳率是真实标签为正样本里预测也为正样本的比例,用TPR表示
- 假阳率是真实标签为负样本里预测为正样本的比例,用FPR表示