AUC是什么?
AUC是ROC曲线下与坐标轴围成的面积。
ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。
AUC越接近1,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。因为对于0-1分类问题,靠猜 猜对的概率是0.5,如果AUC小于等于0.5则说明准确性和靠猜差不多。
ROC是什么?
ROC曲线是评估分类器分类能力的曲线;ROC曲线是由FPR、TPR的值决定的;
x轴是FPR,y轴是TPR;
FPR(x轴):假阳率,越小越好;预测错了;实际是反例,但预测是正例,预测结果是错的;
TPR(y轴):真阳率,越大越好;实际是正例,预测也是正例,预测结果是对的;
x轴值越小,y轴值越大,说明分类器的分类能力越好。所以ROC曲线越接近y轴越好,分类器越准确。
补充:
如果是以AUC为评分标准的话,结果要以概率值来表示,需要用predict_proba()生成概率值;而如果用predict(),则值计算出来的结果如果是0,1,那得分会低很多。