摘自Steven M. Kay，《Fundamentals of Statistical Signal Processing: Estimation Theory》。
6.4 找到BLUE
BLUE估计，其实就是无偏的具有最小方差的线性估计。因此如果MVU估计是线性的，则BLUE就是MVU，否则就不是。并且BLUE有可能不存在。其中根据无偏约束，有
E ( θ ^ ) = ∑ n = 1 N − 1 a n E ( x [ n ] ) = θ . (6.2) \tag{6.2} {\rm E}(\hat \theta)=\sum_{n=1}^{N-1}a_n{\rm E}(x[n])=\theta. E(θ^)=n=1∑N−1anE(x[n])=θ.(6.2) θ ^ \hat \theta θ^的方差为
v a r ( θ ^ ) = E [ ( ∑ n = 1 N − 1 a n x [ n ] − E ( ∑ n = 1 N − 1 a n x [ n ] ) ) 2 ] . {\rm var}({\hat \theta})={\rm E} \left[ \left(\sum_{n=1}^{N-1}a_nx[n] -{\rm E}\left(\sum_{n=1}^{N-1}a_nx[n]\right) \right)^2 \right]. var(θ^)=E⎣⎡(n=1∑N−1anx[n]−E(n=1∑N−1anx[n]))2⎦⎤.令 a = [ a 0 a 1 … a N − 1 ] T {\bf a}=[a_0\ a_1\ \ldots \ a_{N-1}]^{\rm T} a=[a0 a1 … aN−1]T，则 θ ^ = a T x \hat \theta={\bf a}^{\rm T}{\bf x} θ^=aTx，因此可以得到
v a r ( θ ^ ) = E [ ( a T x − a T E ( x ) ) 2 ] = E [ ( a T ( x − E ( x ) ) ) 2 ] = E [ a T ( x − E ( x ) ) ( x − E ( x ) ) T a ] = a T C a . (6.3) \tag{6.3} \begin{aligned} {\rm var}({\hat \theta})&={\rm E} \left[ \left({\bf a}^{\rm T}{\bf x}-{\bf a}^{\rm T}{
{\rm E}(\bf x)} \right)^2 \right]\\ &={\rm E} \left[ \left({\bf a}^{\rm T}({\bf x}-{
{\rm E}(\bf x))} \right)^2 \right]\\ &={\rm E} \left[ {\bf a}^{\rm T}({\bf x}-{
{\rm E}(\bf x))} ({\bf x}-{\rm E}(\bf x))^{\rm T}{\bf a} \right]\\ &={\bf a}^{\rm T}{\bf C}{\bf a}. \end{aligned} var(θ^)=E[(aTx−aTE(x))2]=E[(aT(x−E(x)))2]=E[aT(x−E(x))(x−E(x))Ta]=aTCa.(6.3)
由于满足无偏估计，因此 E ( x [ n ] ) {\rm E}(x[n]) E(x[n])对于 θ \theta θ一定是线性的，即满足
E ( x [ n ] ) = s [ n ] θ , (6.4) \tag{6.4} {\rm E}(x[n])=s[n]\theta, E(x[n])=s[n]θ,(6.4)这里的 s [ n ] s[n] s[n]是已知的。否则就不可能满足无偏约束。例如，如果 E ( x [ n ] ) = cos θ E(x[n])=\cos\theta E(x[n])=cosθ，则无偏估计应该是 ∑ n = 0 N − 1 cos a n θ = θ \sum_{n=0}^{N-1}\cos a_n\theta=\theta ∑n=0N−1cosanθ=θ。显然，不存在能够使得无偏约束成立的系数 a n a_n an。
注意如果我们将 x [ n ] x[n] x[n]表示为
x [ n ] = E ( x [ n ] ) + [ x [ n ] − E ( x [ n ] ) ] , x[n]=E(x[n])+[x[n]-E(x[n])], x[n]=E(x[n])+[x[n]−E(x[n])],如果将 x [ n ] − E ( x [ n ] ) x[n]-E(x[n]) x[n]−E(x[n])看作噪声 w [ n ] w[n] w[n]，则有
x [ n ] = θ s [ n ] + w [ n ] . x[n]=\theta s[n]+w[n]. x[n]=θs[n]+w[n].(6.4)意味着BLUE适用于噪声中对已知信号进行幅度估计。为了让其应用更广泛，我们可以将其进行非线性变换（如前文所述的功率估计的例子。）
基于(6.4)，下面我们来总结估计问题。为了找到BLUE，我们需要满足无偏估计约束条件下，最小化方差
v a r ( θ ^ ) = a T C a . {\rm var}(\hat \theta)={\bf a}^{\rm T}{\bf C}{\bf a}. var(θ^)=aTCa.根据(6.2)和(6.4)，可以得到
∑ n = 1 N − 1 a n E ( x [ n ] ) = θ \sum_{n=1}^{N-1}a_n{\rm E}(x[n])=\theta n=1∑N−1anE(x[n])=θ ∑ n = 1 N − 1 a n s [ n ] θ = θ \sum_{n=1}^{N-1}a_ns[n]\theta=\theta n=1∑N−1ans[n]θ=θ ∑ n = 1 N − 1 a n s [ n ] = 1 \sum_{n=1}^{N-1}a_ns[n]=1 n=1∑N−1ans[n]=1 a T s = 1 {\bf a}^{\rm T}{\bf s}=1 aTs=1根据Appendix 6A，可以得到最优解为
a o p t = C − 1 s s T C − 1 s , {\bf a}_{\rm opt}=\frac{
{\bf C}^{-1}{\bf s}}{
{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}, aopt=sTC−1sC−1s,因此BLUE为
θ ^ = s T C − 1 x s T C − 1 s , (6.5) \tag{6.5} \hat \theta=\frac{
{\bf s}^{\rm T}{\bf C}^{-1}{\bf x}}{
{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}, θ^=sTC−1ssTC−1x,(6.5)最小方差为
v a r ( θ ^ ) = 1 s T C − 1 s . (6.6) \tag{6.6} {\rm var}(\hat \theta)=\frac{1}{
{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}. var(θ^)=sTC−1s1.(6.6)注意到根据(6.4)，由于 E ( x ) = θ s E({\bf x})=\theta{\bf s} E(x)=θs，BLUE为无偏的
E ( θ ^ ) = s T C − 1 θ s s T C − 1 s = θ . (6.5) \tag{6.5} \begin{aligned} E(\hat \theta)&=\frac{
{\bf s}^{\rm T}{\bf C}^{-1}\theta {\bf s}}{
{\bf s}^{\rm T}{\bf C}^{-1}{\bf s}}\\ &=\theta. \end{aligned} E(θ^)=sTC−1ssTC−1θs=θ.(6.5)正如前面我们强调的，确定BLUE，只需知道
- s \bf s s或者标量均值；
- 协方差 C \bf C C。
或者说一、二阶矩，而非所有PDF。