AIC信息
假设
f
为可以反映真实情况的理想模型,
g
为用来近似真实情况的模型。两个模型见的
Kullback−Leibler
信息距离(
K−L
距离)是指有模型
g
来近似
f
所带来的信息损失。简称
g
到
f
的距离,
K−L
距离由式
(1)
表示。
I(f,g)=∫f(x)log⟮f(x)f(x|θ)⟯dx(1)
g
到
f
的
K−L
距离越小,则代表模型
g
越好。整理式
(1)
可知,
K−L
距离可以由两个
f
的期望来表示,其中,第一个期望是仅与未知的真实集
f
相关的定值。
I(f,g)=∫f(x)log(f(x))dx−∫f(x)log(g(x|θ))dx=Ef[log(f(x))]−Ef[log(g(x|θ))]=C−Ef[log(g(x|θ))](2)
则可以定义相对
K−L
距离,比较不用模型
g
的相对
K−L的
距离大小,同样可以对模型优劣程度做比较
I(f,g)−C=−Ef[log(g(x|θ))](3)
相对于
K−L
距离在实际模型比较重仍然不适用,因为相对
K−L
距离的计算依赖于真实集
f
,
Akaike
提出了一种估计
K−L
距离的特定方法。给定一个模型形式
g
,存在一个特定模型参数
θ0
,使得
g
到
f
的
K−L
距离最小。这个特定的模型参数
θ0
依赖于真实集
f
,模型形式
g
,以及样本集
x
。所以,
Akaike
提出用极大似然估计出的
θ^
来估计
θ0
,则模型挑选准则从相对
K−L
距离的比较进一步转化成对期望估计的
K−L
距离的比较:
EyEx[log⟮g⟮x|θ^(y)⟯⟯](4)
Akaike
发现这个
K−L
距离的估计在实际情况中,存在过估计,过估计的量近似等于需要估计的模型参数个数
K+1
。即
log⟮L⟮θ^|data⟯⟯−(k+1)=C−E^θ^⟮I⟮f,g^⟯⟯(5)
因此,
Akaike
定义了期望相对
K−L
距离来作为模型挑选的准则,称为
Akaike
信息准则
(Akaike′sinformationCriterion,AIC)
,即:
AIC=−2log⟮L⟮θ^|y⟯⟯+2(k+1)
特别的,用最小二乘法估计的方法简化上式,则
AIC
可进一步表示为:
AIC=nlog⟮σ^2⟯+2(k+1)(6)
式中,
σ^2
是
σ2
的极大似然估计;
n
为样本大小;
RSS
为残差平方和。
σ^2=RSSn(7)