多元回归模型
Y=Xβ+μ
被解释变量的估计值与观测值的残差
e=Y−Xβ^=Xβ^+μ−X(X′X)−1X′(Xβ^+μ)=μ−X(X′X)−1μ=[I−X(X′X)−1X′]μ=Mμ
残差的平方和
e′e=μ′M′Mμ
因为
M=[I−X(X′X)−1X′]是对称等幂矩阵,即
M=M′M2=M′M=M
所以有
e′e=μ′Mμ
由于
μ′Mμ为一数量,它本身就是它的迹,于是
E(e′e)=E(μ′Mμ)=tr[ME(μ′μ)]=tr[I−X(X′X)−1X′]σ2=[n−(k+1)]σ2
于是
σ2=n−k−1E(e′e)
所以
σ^2=n−k−1e′e