概念
所谓统计推断( statistical inference ),指的是给定样本
x1,x2,…,xn
下,如何推断总体
F
? 或者
F
的数字特征,如均值、方差等。
统计模型
参数模型
参数模型,指的是一个分布集合
F
, 其中的参数可以由有限个参数给定。
例2.1 一维正态分布集
F={f(x;μ,σ2):f(x;μ,σ2)=12π−−√σexp{−12σ2(x−μ)2},μ∈R,σ2∈R+}
参数模型集通常可以表示为
F={f(x;θ);θ∈Ⓢ}
非参数模型
非参数模型,分布集
F
不能被参数化。
例2.2
FAll={allCDFs}
,
CDF
指的是累积分布函数( cumulative distribution function ).
例2.3 一维参数估计
设样本
x1,x2,…,xn
来自 Bernoulli(p), 估计
p
.
例2.4 二维参数估计
设样本
x1,x2,…,xn
来自一维正态分布族
F
, 估计
μ,σ2
.
例2.5 非参数密度估计
设样本
x1,x2,…,xn
来自某连续分布
F
, 密度为
f
, 估计
f
.
这里,不能仅假定
F∈FAll
, 为了估计
f
, 需要进一步假定
f∈FDENS⋂FSOB
.
其中,
FDENS
是所有概率密度函数集。
FSOB={f:∫(f′′(x))2dx<∞}
, 称
FSOB
为索伯列夫空间( Sobolev Space ), 该空间的函数具有一定的稳定性。
例2.6 非参数函数估计
设样本
x1,x2,…,xn∼F
, 称
F
的函数为统计泛函,记为
T(F)
. 例如,
均值
μ=∫xdF(x)
, 方差
σ2=∫x2dF(x)−(∫xdF(x))2
,
中位数
median=F−1(12)
.
点估计
设
x1,x2,…,xn
是来自某分布
F
的样本,参数
θ
一个点估计
θ^n=g(x1,x2,…,xn)
.
定义2.1 估计的偏差( bias )
bias(θ^n)=Eθ(θ^n)−θ
定义2.2 称
θ^n
是无偏的( unbiased ), 如果
E(θ^n)=θ
, 即
bias(θ^n)=0
.
定义2.3 称
θ^n
是相合的或一致的( consistent ), 如果
θ^n−→pθ
, 当
n→∞
时,即
对∀ε>0,limn→∞P(|θ^n−θ|≥ε)=0
定义2.4 称估计量
θ^n
的分布为抽样分布。
定义2.5 称
θ^n
的标准差( standard deviation ) 为标准误差,简称标准误 ( standard error ), 即
se=se(θ^n)=Var(θ^n)−−−−−−−√
例3.1 设样本
x1,x2,…,xn
来自
Bernoulli(p)
, 则估计量
p^n=x¯=1n∑i=1nxi
,
E(p^n)=1n∑i=1nE(xi)=p
,
se=Var(p^n)−−−−−−−√=p(1−p)n−−−−−−−√
.
定义2.6 称
Eθ(θ^n−θ)2
为均方误差( mean squared error ), 记为 MSE, 即
MSE(θ^n)=Eθ(θ^n−θ)2
.
定理2.1
MSE(θ^n)=bias2(θ^n)+Var(θ^n)
.
证明: 令
θ¯n=Eθ(θ^n)
, 则
Eθ(θ^n−θ)2=Eθ(θ^n−θ¯n+θ¯n−θ)2=Eθ(θ^n−θ¯n)2+2(θ¯n−θ)Eθ(θ^n−θ¯n)+Eθ(θ¯n−θ)2
=(θ¯n−θ)2+Eθ(θ^n−θ¯n)2=bias2(θ^n)+Var(θ^n)
.
定理2.2 如果
bias→0
,
se→0
, 当
n→∞
时, 则
θ^n
是
θ
的相合估计。
证明: 依定理3.1,
MSE=Eθ(θ^n−θ)2→0
, 当
n→∞
时,那么,对
∀ε>0
, 由切比雪夫不等式
P(|θ^n−θ|>ε)=P(|θ^n−θ|2>ε2)≤Eθ(θ^n−θ)2ε2→0
,
故
θ^n−→pθ
, 当
n→∞
时.
例3.2 接例3.1,
bias(p^n)=E(p^n)−p=0
,
se=p(1−p)n−−−−−−−√→0
, 当
n→∞
时, 故依定理3.2,
p^n
是相合的。
分布的估计
定义2.7 经验分布( empirical distribution )
称
F^n(x)=1n∑i=1nI(xi≤x),x∈R
为经验分布(函数)。
定理2.3 对
∀x∈R
, 有
E(F^n(x))=F(x)
,
Var(F^n(x))=F(x)(1−F(x))n
,
MSE(F^n(x))=F(x)(1−F(x))n→0
, 故
F^n(x)−→pF(x)
, 其中,
F(x)
为总体分布。
定理2.4 ( The Glivenko-Cantelli Theorem )
设样本 x_1, x_2, \dots, x_n 来自分布
F
, 则
supx|F^n(x)−F(x)|−→p0,n→∞
阅读更多精彩内容,请关注微信公众号“统计学习与大数据”!