混淆矩阵
- TP(真正样本数): 预测是正样本(positive),预测正确(ture)的个数,即实际是正样本预测成正样本的样本数
- FN(假负样本数)
- TN(真负样本数)
- FP(假正样本数)
ROC
- 横轴:FPR(负正样本率)=FP/(FP+TN) 即,预测错的原本负样本占总体负样本的比例
- 纵轴:TPR(真正样本率)=TP/(TP+FN) 即,预测对的原本正样本占总体正样本的比例
横轴越小越好,纵轴越大越好,即,ROC曲线在斜对角线以下,则表示该分类器效果差于随机分类器,反之,效果好于随机分类器,当然,我们希望ROC曲线尽量除于斜对角线以上,也就是向左上角(0,1)凸。
AUC
ROC下的面积,即,AUC量化了ROC曲线的分类能力,越大分类效果越好,输出概率越合理
- AUC = 1,代表完美分类器
- 0.5 < AUC < 1,优于随机分类器
- 0 < AUC < 0.5,差于随机分类器