3.1 矩估计方法
假设我们知道某个随机变量满足高斯分布,但不知道高斯分布的两个参数 ,怎么估计这些参数呢,这就是参数估计要解决的问题。实践中经常遇到这种问题。显然我们必须从这个分布中抽取样本,假设随机抽取到 个样本 ,怎么利用这些样本估计参数呢?
一个显而易见的方法是,利用抽取的样本可以获得样本均值 ,根据中心极限定理,知样本均值 为高斯分布,均值为 ,方差为 。当 较大时,方差很小,样本均值 充分接近分布均值 ,我们就可以样本均值作为分布均值的估计值。
同理,样本方差为 ,则 服从自由度为 的卡方分布 。根据自由度为n的卡方分布 的期望等于 、方差等于 ,则可得分布方差的估计值为 。注意,计算样本方差是除以 而不是样本数量 ,这是个十分难以理解的事实。但是如果分布均值已知,则样本方差为 ,就是除以样本数量 了。
上面这种估计参数的方法称为矩估计方法。矩估计方法估计高斯分布的参数可以获得很好效果,但是用来估计拉普拉斯的参数就不太好,鲁棒性不高。这是因为矩估计方法容易受异常值影响,比如计算样本平均值时,如果某个样本值很大,远大于其他样本,则样本均值受该异常样本影响很大,会使其远离分布均值。国家发布人均收入值时,很多人有被平均的感觉,就是因为收入是厚尾分布,存在大量的马云同志把人均收入提高了,但其实很多人收入低于平均收入。同理,估计方差参数更容易受异常值影响,因为方差计算是平方,某个远离样本均值的样本值由于平方运算,会放大影响。拉普拉斯分布是厚尾分布,很容易抽样到远离分布均值的样本(异常样本),采用矩估计方法十分不稳定。所以只要分布是厚尾分布,采用矩估计就不鲁棒,现实中很多随机变量都有厚尾现象。这也是前面介绍的最小二乘法和 PCA 鲁棒性不高的原因,需要采用相应的鲁棒方法。