1、评估方法
1.1留出法
D = SUT, S∩T = Ø
S : 训练集
T : 测试集
注意:保持数据分布一致性
1.2 交叉验证法
D = D1 U D2 U D3........U Dk , Di ∩ Dj = Φ
k-1 个子集的并集为训练集,余下的子集为测试集
k值常用取值 10, 5, 20
1.3 自助法
扫描二维码关注公众号,回复:
7433050 查看本文章
m个样本的数据集,每次随机从D中挑选一个样本,将其拷贝放入D',然后再将该样本放回初始数据集中,使得该样本在下次采样中仍有可能被采到,这个过程重复m次得到包含m个样本的数据集D',
D' 训练集, D/D' 测试集
应用:数据集较小,难以有效划分训练测试集时。
2、性能度量
均方误差(回归任务)
错误率 、精度 (分类任务)
查准率、查全率与F1
ROC 与AUC
代价敏感错误率与代价曲线(不同类型的错误所造成的结果不同)
3、比较检验
3.1 假设检验
3.2 交叉验证t检验
3.3 McNemar检验
3.4 Friedman检验与Nemenyi后续检验
4、偏差与方差