一、均值
1.1 离散情况:
X=n∑i=1nXi
二、标准差
S=n−1∑i=1n(xi−X)2
三、方差
1.1 样本方差:
S2=n−1∑i=1n(xi−X)2
1.2 均值的方差
D(x)=D(n1∑xi)=n21∑D(xi)=n21⋅nσ2=nσ2
1.3 方差的性质
- 设C为常数,
D(C)=0
- 设X是随机变量,C是常数,则有:
D(CX)=C2D(X),D(X+C)=D(X)
- 设X与Y是两个随机变量,则:
D(X±Y)=D(X)+D(Y)±2Cov(X,Y)
四、协方差
4.1 为什么需要协方差
4.1.1 定义
标准差和方差一般是用来描述一维数据的,但现实生活中我们常常会遇到含有多维数据的数据集。最简单的是上学时我们要统计多个学科的考试成绩,面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是我们想了解的更多,比如数学成绩和物理成绩是不是有一定的相关关系,协方差就是这样一种用来度量两个随机变量关系的统计量。
我们可以仿照方差的定义:
var(X)=n−1∑i=1n(Xi−X)(Xi−X)
来定义协方差如下(离散):
cov(X,Y)=n−1∑i=1n(Xi−X)(Yi−Y)=E(xy)−E(x)E(y)
协方差的结果如果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义);如果结果为负值,则说明两者是负相关;如果为0,则说明两者之间没有关系,就是统计上的“相互独立”。
从协方差的定义上可以看出一些显而易见的性质,如:
-
cov(X,X)=var(X)
-
cov(X,Y)=cov(Y,X)
4.1.2 关于协方差的图解:
首先将x,y做去均值处理,此时
x=y=0,所以此时x和y之间的协方差:
cov[x,y]=E[(x−x)(y−y)]=E[x⋅y]
- 如果x和y的联合分布多位于一三象限,则
x⋅y多为正数,此时协方差为正,x和y正相关:
- 如果x和y的联合分布多分布在二四象限,此时
x⋅y多为负数,则协方差为负,x和y负相关
- 如果x和y几乎均匀的分布在所有象限中,则
x⋅y有正有负,均值接近于0,说明x和y之间没有相关性(只是说明没有线性相关):
4.1.3 协方差的性质
-
Cov(X,Y)=Cov(Y,X)
-
Cov(aX,bY)=abCov(X,Y)
-
Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)
4.2 协方差矩阵
前面提到的问题是典型的二维问题,而协方差也只能处理二维问题,维数多了自然就需要计算多个协方差,这时我们会想到利用矩阵来组织这些数据(协方差矩阵就是用来计算各维度之间的相关性):
4.2.1 定义
将二维随机变量
(X1,X2)的四个二阶中心距
c11=E{[X1−E(X1)]2}
c12=E{[X1−E(X1)][X2−E(X2)]}
c21=E{[X2−E(X2)][X1−E(X1)]}
c22=E{[X2−E(X2)]2}
排成矩阵的形式:
(c11c21c12c22)
称此矩阵为
(X1,X2)的协方差矩阵
类似定义n维随机变量
(X1,X2,...,Xn)的协方差矩阵:
若:
cij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]}i,j=1,2,...,n
都存在,称矩阵:
C=⎝⎜⎜⎜⎛c11c21⋮cn1c12c22⋮cn2……⋱…c1nc2n⋮cnn⎠⎟⎟⎟⎞
为
(X1,X2,...,Xn)的协方差矩阵
4.2.2 性质
协方差矩阵是半正定矩阵
证明:
一组随机变量,共n个:
X=(X1,X2,...,Xn)T
设协方差矩阵为Σ,对任意向量y:
yTΣy=yTE[(X−μ)(X−μ)T]y
=E[yT(X−μ)(X−μ)T)y]
=E[((X−μ)Ty)T((X−μ)T)y)]
=E[∣∣(X−μ)Ty∣∣2]≥0
协方差矩阵是实对称矩阵
五、矩
5.1 混合矩和混合中心矩
设X和Y是随机变量
若:
E(XkYL)K,L=1,2,...
存在,则称它为X和Y的K+L阶混合(原点)矩,
若:
E{[X−E(X)]k[Y−E(Y)]k}
存在,则称它为X和Y的K+L阶混合中心矩。
可以知道协方差cov(X,Y)是X和Y的二阶混合中心矩。