1.条件概率
某个事件在给定其它事件发生时出现的概率被称为条件概率。我们将给定
x=x
,
y=y
的条件概率记为
P(y=y∣x=x)
,这个条件概率可以通过下列公式计算:
P(y=y∣x=x)=P(x=x,y=y)P(x=x)
条件概率只有在
P(x=x)>0
时有定义。
2.链式法则
任何多维随机向量的联合概率分布,都可以分解为只有一个变量的条件概率相乘的形式:
P(x(1),...,x(n))=P(x(1))∏i=2nP(x(i)∣x(1),...,x(i−1))
这个规则被称为概率的
链式法则或
乘法法则。
3.相互独立和条件独立
两个随机变量
x
,
y
,如果他们的联合概率分布可以表示成两个因子的乘积形式,并且一个因子只包含
x
另一个因子只包含
y
,我们就称这两个随机变量是相互独立的。
∀x∈x,y∈y,p(x=x,y=y)=p(x=x)p(y=y)
如果关于
x
和
y
的条件概率分布对于
z
的每一个值都可以写成乘积的形式,那么这两个随机变量
x
和
y
在给定随机变量
z
时是
条件独立的。
∀x∈x,y∈y,z∈z,p(x=x,y=y∣z=z)=p(x=x∣z=z)p(y=y∣z=z)
我们可以采用另一种简化方式来表示相互独立性和条件独立性:
x⊥y
表示
x
和
y
相互独立,
x⊥y∣z
表示
x
和
y
在给定条件
z
时条件独立。