1、以二分类任务为例,假定数据集D包含1000个样本,将其划分为训练集S和测试集T,其中S包含800个样本, T包含200个样本,用S进行训练后,如果模型在T上有50个样本分类错误,那么模型的正确率为_____75%_______。
2、PR(Precision-Recall)曲线的横轴和纵轴分别是_____查全率______和_____查准率_______。
3、ROC曲线的横轴和纵轴分别是______假正例率_____和_____真正例率_____。
4、对于二分类问题,可将样本根据其真实类别与学习器预测类别的组合划分为真正例(true positive,TP)、假正例(false positive,FP)、真反例(true negative,TN)和假反例(false negative,FN)四种情形,请画出分类结果的混淆矩阵。
5、F1度量是综合考虑了查准率和查全率的性能度量指标,请写出其公式。
6、有多种因素可能导致过拟合,其中最常见的情况是由于________学习能力过于强大___________,以至于把训练样本所包含的不太一般的特性都学到了,而欠拟合则通常是由于__________学习能力低下____________而造成的。
7、查准率和查全率是分类任务中常用的性能度量指标,请写出其公式并对这两种指标进行分析。
查准率和查全率是一对矛盾的度量,一般来说,查准率高时,查全率往往偏低,而查全率高时,查准率往往偏低。
8. 简述k折交叉验证法。
答:“”交叉验证法”先将数据集划分为k个大小相似的互斥子集,每个子集都尽可能保持数据分布的一致性,即从数据集中通过分层采样得到。然后,每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集,这样就可以获得k组训练集/测试集,从而可以进行k次训练和测试,最终返回的是这k个测试结果的均值。显然,交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值,为强调这一点,通常把交叉验证法称为“k折交叉验证”。
9、分析偏差和方差的含义。
答:偏差度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。
方差度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。
10、对于一个三分类问题,数据集的真实标签和模型预测标签如下:
真实标签
1
1
2
2
2
3
3
3
3
预测标签
1
2
2
2
3
3
3
1
2
分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。
答:
机器学习与数据挖掘-作业二-第二章 模型评估与选择
猜你喜欢
转载自blog.csdn.net/m0_64351669/article/details/127344702
今日推荐
周排行