Markov不等式有一个很简洁的结果,但是它有一个不近人情的前提条件。它要求随机变量取正值。这通常是没法满足的。为此,我们需要对现有的随机变量进行一些改造,构造一个随机变量的函数。那么什么函数必取正值呢?最常用的是偶次数幂函数,以及指数函数。这就分别得到了切比雪夫不等式和切诺夫界。本文介绍切比雪夫不等式。
定理2. 对任意的期望有界的随机变量,都有
Pr{|X−E[X]|>c}≤var(X)c2
对所有的
c>0
成立,其中
var(X)=E[X−E[X]]2
是随机变量
X
的方差。
证明: 我们注意到
Pr{|X−E[X]|>c}=Pr{|X−E[X]|2>c2}.
而
|X−E[X]|2
只取正值,因此利用
定理1便有定理2成立。
由切比雪夫不等式,我们可以得到第1个大数定律。
推论3. 设
X1,X2,...,XN
是N个i.i.d.的随机变量,它们的概率分布于随机变量
X
的概率分布相同。那么对任意的
c>0
有
Pr{|1N∑i=1NXi−E[X]|>c}<var(X)nc2.
证明 如果把
Y=1N∑Ni=1Xi
看做是一个随机变量,其期望
E[Y]=E[1N∑i=1NXi]=1N∑i=1NE[Xi]=1N∑i=1NE[X]=E[X],
其方差
var(Y)====var[1N∑i=1NXi]1N2∑i=1Nvar[Xi]1N2∑i=1Nvar[X]var[X]N.
结合定理2,便有推论成立。
推论3告诉我们,如果随机变量
X
的方差有界,并且我们依随机变量
X
i.i.d.地生成
N
个样本。那么当
N
充分大时,有很大的概率,这N个样本的均值落在
X
的期望附近。这也是依概率收敛的意义。
注意:切比雪夫不等式考虑的是随机变量的二阶中心距,也即方差。事实上我们还可以考虑任意偶次阶中心距。更确切地
Pr{|X−E[X]|>c}≤E[X−E[X]]2kc2k
对任意的正整数
k
成立。