重抽样( resampling )主要用于以下三个目的:
(1). 估计样本统计量(如中位数、方差、分位数等)的精度,使用数据的子集( jackknifing )或者样本的有放回抽样( bootstrapping );
(2). 检验时交换数据点的标签;
(3). 使用随机的样本子集,验证模型的有效性。
Bootstrap 方法
基本思想
Bootstrap 是评价统计精度的一种常见方法。它的基本思想是,利用样本的重抽样数据推断总体。由于总体是未知的,因此,样本统计量关于总体值的真实误差也是未知的。在 Bootstrap 重抽样中,总体由样本表示。
设样本
其中,
设统计量
模拟
设样本
设函数
特别地,
因此,可以用模拟的样本均值(方差)代替总体均值(方差)。
bootstrap 方差估计
设样本分布是
(1). 取样本
(2). 计算
(3). 重复(1), (2)
(4). 令
Bootstrap 通常应用于估计一个统计量的分布,不使用正态理论。
交叉验证
交叉验证( cross-validation )是一种模型验证技术,它主要用于估计一个预测模型的准确性。在一个预测问题里,数据集通常分成已知的(训练集)和未知的(检验集)两部分。其中训练集用来训练预测模型,检验集用来检验模型的准确性。
一轮交叉验证,是指首先将样本分割成训练集和检验集两部分,在训练集上建模,在检验集评价分析模型。为了降低变异度,需要做多轮交叉验证,平均评价指标(例如,预测误差)。
交叉验证的常见类型:
- 留p法(Leave-p-out cross validation, LPOCV)
使用p 个观测数据点作为检验集,其余的数据作为训练集。该方法需要学习和验证
- 留一法
在留 p 法中,取 p=1, 即得留一法。
- K倍法
将随机样本随机地分成 K 等份。一个子样本作为检验集,其余 K-1 个子样本作为训练集。交叉验证重复
阅读更多精彩内容,请关注微信公众号“统计学习与大数据”!