【8】多元正态总体样本的极大似然估计

抱歉先把【8】发了出来，本来整理了一篇关于一元情况下参数估计以及优良性准则的帖子，但是这一篇有一则我搞了很久的证明，趁着记性好抓紧整理出来。

考虑\(p\)元正态总体\(X\sim N_p(1_n\mu',I_n\otimes\Sigma)\),设\(X_{(i)}=(x_{i1},\dots,x_{ip})',\)\((i=1,\dots,n)\)为\(p\)元正态总体\(X\)的简单随机样本，则有观测数据库：
\[ X= \left( \begin{array} {cccc} x_{11} & x_{12} & \dots & x_{1p}\\ x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \dots & x_{np}\\ \end{array} \right) \]
是一个随机阵。

引理

对于矩阵\(A_{m\times n}\),\(A_{n\times m}\)有：\(tr(AB)=tr(BA)\)。

\[ \begin{align} tr(AB)=&\sum_{i=1}^m(AB)_{ii}\\ =&\sum_{i=1}^m(\sum_{j=1}^na_{ij}b_{ji}）\\ 同理：tr(BA)=&\sum_{i=1}^n(\sum_{j=1}^mb_{ij}a_{ji}） \end{align} \]

由于\(\Sigma\)的可交换性，因此：
\[ tr(AB)=\sum_{i=1}^m(\sum_{j=1}^na_{ij}b_{ji})=\sum_{i=1}^n(\sum_{j=1}^mb_{ij}a_{ji}）=tr(BA) \]
于是可以推广到多个矩阵相乘：
\[ tr(\prod_{i=1}^nA_i)=tr(A_n\prod_{i=1}^{n-1}A_i) \]

似然函数\(L(\mu,\Sigma)\)

对于样本\(X_{(i)}=(x_{i1},\dots,x_{ip})',\)\((i=1,\dots,n)\),其联合密度函数为：
\[ f(x_{(i)})=\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\left\{-\frac12(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)\right\} \]
而由似然函数定义：
\[ \begin{align} L(\mu,\Sigma)=&\prod_{i=1}^nf(x_{(i)})\\ =&\prod_{i=1}^n\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\left\{-\frac12(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)\right\}\\ =&\frac1{(2\pi)^{np/2}|\Sigma|^{n/2}}exp\left\{-\frac12\sum_{i=1}^n(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)\right\} \end{align} \]
由于：
\[ (x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)=C_0（是一个数） \]
所以：
\[ tr\{(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)\}=tr(C_0) \]
于是：
\[ \begin{align} L(\mu,\Sigma) =&\frac1{(2\pi)^{np/2}|\Sigma|^{n/2}}exp\left\{-\frac12\sum_{i=1}^n(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)\right\}\\ =&\frac1{(2\pi)^{np/2}|\Sigma|^{n/2}}exp\left\{-\frac12\sum_{i=1}^ntr[(x_{(i)}-\mu)'\Sigma^{-1}(x_{(i)}-\mu)]\right\}\\ (由引理)=&\frac1{(2\pi)^{np/2}|\Sigma|^{n/2}}exp\left\{-\frac12\sum_{i=1}^ntr[\Sigma^{-1}(x_{(i)}-\mu)(x_{(i)}-\mu)']\right\}\\ =&\frac1{(2\pi)^{np/2}|\Sigma|^{n/2}}exp\left\{-\frac12\Sigma^{-1}\sum_{i=1}^n(x_{(i)}-\mu)(x_{(i)}-\mu)'\right\}\\ \end{align} \]
其中：
\[ \begin{align} &\sum_{i=1}^n(x_{(i)}-\mu)(x_{(i)}-\mu)'\\ =&\sum_{i=1}^n(x_{(i)}-\bar{X}+\bar{X}-\mu)(x_{(i)}-\bar{X}+\bar{X}-\mu)'\\ =&\sum_{i=1}^n(x_{(i)}-\bar{X})(x_{(i)}-\bar{X})'+n(\bar{X}-\mu)(\bar{X}-\mu)'\\ =&A+n(\bar{X}-\mu)(\bar{X}-\mu)' \end{align} \]