自助法是一类应用很广的统计方法,可以用来定量化参数估计或者统计学习方法的不确定性。自助法重复地从原数据集中采样,这里采样是可放回的(replacement),可以允许有同样的样本出现,然后用得到的样本进行参数估计。
举一个例子来说明自助法的应用。假设有 X X X 和 Y Y Y 两种不同的金融资产,现要对 X X X 和 Y Y Y 进行投资,使得总风险最小。假设有 α \alpha α 投给了 X X X, 1 − α 1-\alpha 1−α 投给了 Y Y Y,那么总风险就是 V a r ( α X + ( 1 − α ) Y ) Var(\alpha X+(1-\alpha)Y) Var(αX+(1−α)Y)。可以证明,当:
α = σ Y 2 − σ X Y σ X 2 + σ Y 2 − 2 σ X Y \alpha = \frac{\sigma_Y^2-\sigma_{XY}}{\sigma_X^2+\sigma_Y^2-2\sigma_{XY}} α=σX2+σY2−2σXYσY2−σXY
时,总风险最小,这里 σ X 2 = V a r ( X ) , σ Y 2 = V a r ( Y ) , σ X Y = C o v ( X , Y ) \sigma_X^2=Var(X),\sigma_Y^2=Var(Y),\sigma_{XY}=Cov(X,Y) σX2=Var(X),σY2=Var(Y),σXY=Cov(X,Y)。
实际问题中, σ X 2 , σ Y 2 , σ X Y \sigma_X^2,\sigma_Y^2,\sigma_{XY} σX2,σY2,σXY 都是未知的,可以用原数据得到他们的估计: σ ^ X 2 , σ ^ Y 2 , σ ^ X Y \hat\sigma_X^2,\hat\sigma_Y^2,\hat\sigma_{XY} σ^X2,σ^Y2,σ^XY,然后得到
α ^ = σ ^ Y 2 − σ ^ X Y σ ^ X 2 + σ ^ Y 2 − 2 σ ^ X Y \hat\alpha = \frac{\hat\sigma_Y^2-\hat\sigma_{XY}}{\hat\sigma_X^2+\hat\sigma_Y^2-2\hat\sigma_{XY}} α^=σ^X2+σ^Y2−2σ^XYσ^Y2−σ^XY
自助法旨在估计 S E ( α ) SE(\alpha) SE(α)
假设总共有 n = 3 n=3 n=3 个观测数据,原数据集记作为 Z Z Z。我们先随机有放回地选择 n n n 个数据,得到一个新的数据集记作 Z ∗ 1 Z^{*1} Z∗1(如下图 ),然后用 Z ∗ 1 Z^{*1} Z∗1 得到 α \alpha α 的一个估计,记作 α ∗ 1 \alpha^{*1} α∗1。再将该操作重复 B B B 次,得到数据集 Z ∗ 1 , Z ∗ 2 , ⋯ , Z ∗ B Z^{*1},Z^{*2},\cdots,Z^{*B} Z∗1,Z∗2,⋯,Z∗B,还有 α \alpha α 的估计 α ∗ 1 , α ∗ 2 , ⋯ α ∗ B \alpha^{*1},\alpha^{*2},\cdots \alpha^{*B} α∗1,α∗2,⋯α∗B,那么 S E ( α ) SE(\alpha) SE(α) 就可以用下式来估计:
S E B ( α ^ ) = 1 B − 1 ∑ r = 1 B ( α ^ ∗ r − 1 B ∑ r ′ = 1 B α ^ ∗ r ′ ) 2 SE_B(\hat\alpha)=\sqrt{\frac{1}{B-1}\sum_{r=1}^B(\hat\alpha^{*r}-\frac{1}{B}\sum_{r'=1}^B\hat\alpha^{*r'})^2} SEB(α^)=B−11r=1∑B(α^∗r−B1r′=1∑Bα^∗r′)2
ISLR读书笔记九:自助法(bootstrap)
猜你喜欢
转载自blog.csdn.net/weixin_43084570/article/details/108993245
今日推荐
周排行