设参数空间
Ⓢ
可以分解为互不相交的子空间
Ⓢ0
和
Ⓢ1
. 检验
H0:θ∈Ⓢ0v.s.H1:θ∈Ⓢ1
零假设
H0
(
null hypothesis ), 备择假设
H1
(
alternative hypothesis ), 检验结果
设样本
x
, 检验统计量
T(x)
, 临界值
c
, 则拒绝域
R
通常可以表示为
R={x:T(x)>c}
定义3.1 一个检验的势或功效( power function ) 定义为
β(θ)=Pθ(X∈R)
定义检验的容度(
size )为
α=supθ∈Ⓢ0β(θ)
.
称检验的水平为
α
, 如果该检验的容度不超过
α
, 即,对
∀θ∈Ⓢ0,有β(θ)≤α
The Wald Test
设
θ
的估计量
θ^
,
se^
是估计量的标准误。
扫描二维码关注公众号,回复:
1544692 查看本文章
定义3.2 检验
H0:θ=θ0H1:θ≠θ0
假设
θ^
是渐近正态的,即
θ^−θ0se^−→dN(0,1)
那么,水平
α
的 Wald 检验:拒绝
H0
, 当
|W|>zα2
, 这里
W=θ^−θ0se^(zα=Φ−1(1−α))
定理3.1 渐近地, Wald 检验有水平
α
, 即
Pθ0(|W|>zα2)⟶α,当n→∞时
.
定义3.3 称
β(θ)=Pθ(X∈R),θ∈Ⓢ1
为检验的功效( Power ).
例3.1 比较两个总体的均值
设
x1,x2,…,xm;y1,y2,…,yn
是分别来自两个总体的样本,均值分别为
μ1,μ2
, 检验
H0:μ1=μ2H1:μ1≠μ2
令
δ=μ1−μ2
, 则检验等价于
H0:δ=0H1:δ≠0
δ
的估计量
δ^=x¯−y¯
,
se^=s21m+s22n−−−−−−−√
,
s2i,(i=1,2)
为样本方差。
令
W=δ^−0se^=x¯−y¯s21m+s22n−−−−−−−√
那么,拒绝域
R={W>zα2}
例3.2 比较两个总体的中位数
令
δ=ν1−ν2
,
νi
为总体中位数,即
νi=F−1i(12)
. 检验
H0:δ=0H1:δ≠0
令
δ^=ν1^−ν2^
,
νi^
为样本中位数,
标准误从
bootstrap 样本得到, 则
W=δ^/se^
, 拒绝域
R={W>zα2}
定义3.4 设对每一个
α∈(0,1)
, 存在水平为
α
的检验,其拒绝域为
Rα
. 则
p−value=inf{α:T(X)∈Rα}
. 即,
p
值是能够拒绝
H0
的最小显著性水平。
定理3.2 假设水平为
α
的检验形式: 拒绝
H0
, 当且仅当
T(X)≥cα
. 那么,
p−value=supθ∈Ⓢ0Pθ(T(X)≥T(x))
x
为
X
的观测值。如果
Ⓢ0={θ0}
, 那么
p−value=Pθ0(T(X)≥T(x))
定理3.3 令
w=θ^−θ0se^
是
Wald
统计量
W
的观测值,则
p−value=Pθ0(|W|>|w|)≈P(|Z|>|w|)=2Φ(−|w|)
这里,
Z∼N(0,1)
.
多项分布数据的卡方检验
χ2
分布
定义3.5 令
Z1,Z2,…,Zk
是独立同分布的( i.i.d. ),
Z1∼N(0,1)
. 令
V=∑i=1kZ2i
, 则称
V
是具有自由度
k
的
χ2
分布,记为
V∼χ2(k)
.
χ2
的均值
E(V)=k
, 方差
Var(V)=2k
.
χ2k,α=F−1(1−α)
, 其中
F
为累积分布函数,即
P(χ2>χ2k,α=α)
多项分布( Multinomial distribution )
多项分布是二项分布的推广。例如,掷一个 k 面的骰子 n 次,相当于 n 次独立试验,每一次有 k 类中的一类发生( success ), 每一类有固定的成功概率,多项分布给出不同类的成功次数的任一组合的概率。特别地,当 n=1, k=2 时,多项分布即贝努利( Bernoulli )分布; 当 n>1, k=2 时,即二项( Binomial )分布。
定义3.6 设有 n 次试验,每次试验有 k 个可能的互斥结果,发生的概率分别为
p1,p2,…,pk
. 则
∑i=1kpi=1,pi≥0,i=1,2,…,k
. 令
Xj
表示第 j 类结果在 n 次试验中发生的次数,令
X=(X1,X2,…,Xk)′
,
称
X
服从参数为
n,p
的多项分布。
显然,
∑j=1kXj=n
, 说明
X1,X2,…,Xk
之间不独立。
f(x1,x2,…,xk;p1,p2,…,pk)=P(X1=x1,X2=x2,…,Xk=xk)
=n!x1!x2!⋯xk!px11px22⋯pxkk
=Γ(∑j=1nxj+1)∏i=1kΓ(xi+1)∏i=1kpxii
E(Xi)=npi
,
Var(Xi)=npi(1−pi)
,
cov(Xi,Xj)=−npipj
, 令
p=(p1,p2,…,pk)′
, 矩阵表示为
E(X)=np
cov(X,X)=n{diag(p)−pp′}
χ2
检验
设
X=(X1,X2,…,Xk)′∼multinomial(n,p)
, 则
p
的最大似然估计
p^=(p^1,p^2,…,p^k)′=(x1n,x2n,…,xkn)′
. 检验
H0:p=p0=(p01,p02,…,p0k)′H1:p≠p0
令 Pearson’s
chi2
统计量
Tn=∑j=1k(Xj−np0j)2np0j=∑j=1k(Xj−Ej)2Ej
在
H0
下,
Ej=E(Xj)=np0j
定理3.4 在
H0
下,
Tn−→dχ2k−1
. 那么,给定渐近水平
α
,
拒绝域
{Tn>χ2k−1,α}
置换检验
置换检验( Permutation Test )是一种非参数的方法,主要检验两个分布是否相同。也称随机化检验 ( randomization test )或精确检验( exact test ). 假设
x1,x2,…,xm∼FX
,
y1,y2,…,yn∼FY
, 检验
H0:FX=FYH1:FX≠FY
令统计量
T=T(x1,x2,…,xm;y1,y2,…,yn)
, 例如,
T=|x¯m−y¯n|
,
令
N=m+n
, 考虑混合样
x1,x2,…,xm;y1,y2,…,yn
的所有
N!
个排列,
每一个排列,计算一个
T
, 得
T1,T2,…,TN!
, 定义置换分布
PH0(T=Tj)=1N!,j=1,2,…,N!
p−value=PH0(T>tobs)=1N!∑j=1N!I(Tj>tobs)
实际上,置换
B
次而不是
N!
次。
p−value=1B∑j=1BI(Tj>tobs)
似然比检验
H0:θ∈Ⓢ0H1:θ∉Ⓢ0Ⓢ0⊂Ⓢ
令似然比统计量
λ=2logsupθ∈ⓈL(θ)supθ∈Ⓢ0L(θ)=2logL(θ^)L(θ^0)
θ^
是
θ
的最大似然估计,
θ∈Ⓢ
;
θ^0
是
θ
的最大似然估计
θ∈Ⓢ0
.
定理3.5 设
θ=(θ1,θ2,…,θq+1,…,θr)
, 令
Ⓢ0={θ:(θq+1,…,θr)=(θ0,q+1,…,θ0,r)}
. 令
λ
是似然比统计量,在
H0:θ∈Ⓢ0
下,
λ(x)−→dχ2r−q,α
p−value=PH0(χ2r−q>λ)
其中,
r−q=dim(Ⓢ)−dim(Ⓢ0)
.
阅读更多精彩内容,请关注微信公众号“统计学习与大数据”!