一、数学期望
1.1 一维离散型随机变量的数学期望
这里大家在中学应该都学过:一维离散型随机变量的数学期望就是把每一个
x 和它对应的
P 相乘。
E[X]=i=1∑∞xipi
1.1.1 几种常见离散型分布的数学期望
【1】二项分布的数学期望:若
X ~
B(n,p) 那么,
EX=np
【2】泊松分布的数学期望:若
X ~
Pois(λ) 那么,
EX=λ
【3】几何分布的数学期望:
1.2 一维离散型随机变量函数的数学期望
如果有:
Y=g(X) 那么
E[g(X)] 可以表示为:
E[g(X)]=i=1∑∞g(xi)pi
1.3 一维连续型随机变量的数学期望
这里我们直接上公式:
EX=∫−∞+∞xfX(x)dx
1.3.1 几种常见连续型分布的数学期望
【1】均匀分布:若
X ~
U[a,b]那么,
EX=2a+b
【2】正态分布:若
X ~
N(μ,σ2),那么其数学期望为
EX=μ
【3】指数分布:若
X ~
Exp(λ),那么其数学期望为:
EX=λ1
1.4 一维连续型随机变量函数的数学期望
1.5 数学期望的性质
- 常数 C 的数学期望也是 C:
EC=C
-
E(X+C)=EX+C 这里我们一样进行类比:假设全班同学在测量身高的时候都站在了一般高的砖头上,那么必然平均身高测出来就会高。
-
E(kX+b)=kEX+b
-
E(X±Y)=EX±EY
- 当
X,Y 独立时,
E(XY)=EX⋅EY
1.6 二维随机变量的期望
这一部分将在本博客的第2.2.1 和 2.2.2 节详细介绍!
二、方差
我们以身高为例,期望反应的是全班同学的平均身高,那么方差反应的就是全班同学身高的起伏
下面给出方差的定义式:
DX=E(X−EX)2,值得注意的是,我们这里是对
(X−EX)2 求期望。
下面我们分别给出离散型和连续型随机变量的方差的定义:
【1】离散型:
DX=∑k(xk−EX)2Pk
【2】连续型:
DX=∫−∞+∞(x−EX)2fX(x)dx
但是,往往在解题的时候我们很少用到(当然有时候也会有用)方差的定义,我们常常用这样一个公式:
DX=EX2−(EX)2
2.1 方差的性质
- 常数C 的方差恒为0:
DC=0
-
D(X+C)=DX 我们可以这样理解全班同学在测量身高时都站在一般高的砖头上了,那很明显大家都站高了一点对总的身高起伏是没有影响的。
-
D(CX)=C2DX 这里需要特别注意的是,在方差运算里面把常数 C 提出来需要变成
C2
-
D(kX+b)=k2DX(这个其实就是性质二和性质三的结合)
- 若
X,Y 独立,则
D(X±Y)=DX+DY
2.2 协方差
我们先来看看协方差的定义:
Cov(X,Y)=E[(X−EX)(Y−EY)]
我们一般很少用这个定义去计算协方差,而是用下面的公式:
Cov(X,Y)=E[(X−EX)(Y−EY)]=E[XY−XEY−YEX+EXEY]=E(XY)−EXEY
所以大家就要记得这个公式:
Cov(X,Y)=E(XY)−EXEY。同时说一句,大家看这个定义就知道,Cov 是针对二维随机变量的。
进一步讲,我们在刚刚讨论协方差的性质时,不是有一条:若
X,Y 独立,则
D(X±Y)=DX+DY 那么下面我们将把约束条件减小:
即对于任意X, Y ,均有:
D(X±Y)=DX+DY±2Cov(X,Y)
2.2.1 二维离散型随机变量的协方差计算
这里有固定的套路。我来解释解释:首先上公式:
Cov(X,Y)=E(XY)−EXEY
- 计算出X, Y 的边缘分布 ,然后根据它们的边缘分布表算出
EX,EY
- 对于
E(XY) 的计算,其实是和求一维随机变量期望原理一样的,就是把每一个(X, Y)对 相乘,然后乘上它们对应的联合概率,然后把所有这些项加起来。
我们举一个例子,就一目了然了:
XY |
-1 |
0 |
1 |
-1 |
81 |
81 |
81 |
0 |
81 |
0 |
81 |
1 |
81 |
81 |
81 |
下面计算
Cov(X,Y)
【第一步】先计算 X, Y 的边缘分布:
X |
-1 |
0 |
1 |
p |
83 |
41 |
83 |
Y |
-1 |
0 |
1 |
P |
83 |
41 |
83 |
根据两个边缘分布表,我们就可以分别计算出
EX,EY:
EX = -1x
83 + 1x
83 = 0;EY = -1x
83 + 1x
83 = 0
【第二步】计算
E(XY)
下面大家注意下面的式子:
E(XY) = (-1)x(-1)x
81 + (-1)x1x
81 + 1x(-1)x
81 + 1x1x
81 = 0
因此,最终我们得出:
Cov(X,Y)=0
但是这里需要特别注意一件事情:协方差等于0能够推导出不相关,独立可推出不相关,但是不相关不能推出独立!
2.2.2 二维连续型随机变量的协方差计算
已知:
f(x,y)={x+yif(0≤x≤1,0≤y≤1)0else
计算
Cov(X,Y)
【第一步】也是先计算 X,Y 的边缘分布:
fX(x)=∫−∞+∞f(x,y)dy=∫01(x+y)dy=x+21
同理也可以算出 Y 的边缘分布:
fY(y)=y+21
因此,下面就可以开始计算
EX,EY:
EX=∫−∞+∞xfX(x)dx=∫01x(x+21)dx=127
同理算出 EX =
127
【第二步】计算 E(XY):
E(XY)=∬D(xy)f(x,y)dxdy=∫01∫01xy(x+y)dxdy=31
最后我们就得出:
Cov(X,Y)=31−127 127=−1441
2.2.3 协方差的一些性质
-
Cov(X,Y)=Cov(Y,X)
-
Cov(aX,bY)=abCov(X,Y)
- 若
X,Y 独立,则
Cov(X,Y)=0。注意:反过来是不成立的!!!!
-
Cov(C,X)=0,即X 和一个常数的协方差等于0
-
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
在本次
Blog 的最后,我们在讨论一个问题:
我们知道:协方差
Cov(X,Y) 反应的是两个变量之间的关系。但是
Cov(X,Y) 却会收到计量单位的影响:比如说我们像衡量父子间身高的关系,如果我们用“米”做单位,父亲身高1.7m,儿子 1.8m,那么二者相差只有 0.1,但是如果用 cm 做单位,那么相差就是10了。
这时,为了避免单位带来的影响,我们引入了 “标准化” :令:
X∗=DX
X−EX Y∗=DY
Y−EY
最终,
Cov(X∗,Y∗) 就是一个不受单位影响的了,我们带入公式计算一下:
Cov(X∗,Y∗)=E(X∗Y∗)−EX∗EY∗=E(DX
X−EX⋅DY
Y−EY)−E(DX
X−EX)E(DY
Y−EY)
我们先分析后面的:
E(DX
X−EX)=DX
1E(X−EX)=DX
1(EX−EX)=0
同理,
E(DY
Y−EY) 也是等于0.因此,有:
Cov(X∗,Y∗)=E(DX
X−EX⋅DY
Y−EY)=DX
DY
Cov(X,Y)
我们定义
Cov(X∗,Y∗) 为相关系数,这将在下一篇博客里面学习!