〇、写在前面
参考资料:
- 《机器学习》周志华
一、分类器评价指标
- 准确率/精度:正确预测的样本数/样本数
- 平衡准确率:每个类上获得的召回率的平均值
- average_precision_score
- (查准率)精确率:
precision=tp+fptp,直观地说是分类器不将负样本标记为正样本的能力。
- (查全率)召回率:
recall=tp+fntp,直观上是分类器发现所有正样本的能力。
- F1:
F1=precision+recall2(precision×recall),实际上是精确率和召回率的调和平均。
-
Fβ:
Fβ=β2×precision+recall(1+β2)×precision×recall,加权调和平均,考虑了偏好,
β>1时查全率更偏好。
- logloss:也叫做逻辑损失或交叉熵损失。
logloss=−m1i=1∑m(yilog(pi)∗δ+(1−yi)log(1−pi))或
logloss=−logP(yt∣yp)=−(ytlog(yp)+(1−yt)log(1−yp))
brier_score_loss
jaccard_score
- roc_auc_score:将测试样本排序,越可能是正例的排在越前面,定义两个概念:真正例率
TPR=TP+FNTP,假正例率
FPR=TN+FPFP,则有roc曲线(本图来源《机器学习》周志华)
AUC为ROC曲线以下的面积,可以看出AUC越大,模型的效果越好。
二、聚类器评价指标
2.1 外部指标
a=∣SS∣,SS={(xi,xj)∣λi=λj,λi∗=λj∗,i<j)}b=∣SD∣,SD={(xi,xj)∣λi=λj,λi∗=λj∗,i<j)}c=∣DS∣,DS={(xi,xj)∣λi=λj,λi∗=λj∗,i<j)}d=∣DD∣,DD={(xi,xj)∣λi=λj,λi∗=λj∗,i<j)}
其中
(xi,xj)表示一对样本,将他们放到聚类模型
λ和参考模型
λ⋆中有四种情况。
由于每个样本对
(xi,xj)
(i<j)仅能出现在一个集合中,因此有a+b+c+d= m(m- 1)/2成立。
2.1.1 Jaccard系数(Jaccard Coefficient, 简称JC)
JC=a+b+ca
[0,1],越大越好
2.1.2 FM指数(Fowlkes and Mallows Index,简称FMI)
FMI=a+ba⋅a+ca
[0,1],越大越好
2.1.3 Rand指数(Rand Index,简称RI)
用于评价相似度。
RI=m(m−1)2(a+d)
[0,1],越大越好
2.1.4 调整Rand指数(ARI)
ARI = (RI - Expected_RI) / (max(RI) - Expected_RI)
[-1,1]
2.1.5 互信息
2.1.6 同质性、完备性与v-测度
[0,1],越大越好
2.1.7 Fowlkes-Mallows scores
FMI=(TP+FP)(TP+FN)
TP
2.1.8 轮廓系数
a表示聚类正确,b表示聚类错误。则轮廓系数
s=max(a,b)b−a
2.1.9 Calinski-Harabasz指数
2.1.10 Davies-Bouldin指数
2.1.11 可能性矩阵
2.2 内部指标
考虑聚类结果的簇划分
C=C1,C2,...,Ck,定义
avg(C)diam(C)dmin(Ci,Cj)dcen(Ci,Cj)=∣C∣(∣C∣−1)21⩽i<j⩽∣C∣∑dist(xi,xj)=1⩽i<j⩽∣C∣maxdist(xi,xj)=xi∈Ci,xj∈Cjmindist(xi,xj)=dist(μi,μj)
2.2.1 DB指数(Davies-Bouldin Index,简称DBI)
DBI=k1∑i=1kmaxj=i(dcen(μi,μj)avg(Ci)+avg(Cj))
越小越好
2.2.2 Dunn指数(Dunn Index,简称DI)
DI=min1⩽i⩽k{minj=i(max1⩽ldiam(Cl)dmin(Ci,Cj))}
越大越好
2.2.3 统计量
-
r2统计量:类间离差平方和之和在总离差平方和中所占的比例,该值越大说明聚类效果越好。该值总是随着聚类个数的减少而变小,故可以选择一个骤降点作为聚类个数的选择。
- 半偏
r2统计量:是上一步
r2与这一步
r2值之差,故该值越大,说明上一次聚类效果越好。
- 伪F统计量:越大说明这次聚类越好。
- 伪
t2统计量:越大说明这次聚类越好。
adjusted_mutual_info_score
adjusted_rand_score
completeness_score
fowlkes_mallows_score
homogeneity_score
mutual_info_score
normalized_mutual_info_score
v_measure_score
三、回归器评价指标
- 均方误差(mean-square error, MSE):
MSE(y,y^)=m1i=1∑m(yi−y^i)2
- 最大误差:
max_error=max(∣yi−y^i∣)
- 平均绝对误差(mean_absolute_error):
MAE=m1i=1∑m∣yi−y^i∣
1.explained_variance_score
3.mean_absolute_error
5.mean_squared_log_error
6.median_absolute_error
7.r2_score