1 条件概率
设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率为:
P(A∣B)=P(B)P(A,B)
一般说到条件概率这一概念的时候,事件A和事件B都是同一实验下的不同的结果集合,事件A和事件B一般是有交集的,若没有交集(互斥),则条件概率为0。
用图更能说明上述问题,我们进行某一实验,某一实验所有的可能的样本的结合为Ω(也即穷举实验的所有样本),圆圈A代表事件A所能囊括的所有样本,圆圈B代表事件B所能囊括的所有样本。
由图再来理解一下这个问题:“B已经发生的条件下,A发生的概率”,这句话中,“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中,其实就等价于这句话:“在圆圈B中,A发生的概率”,显然P(A|B)就等于A,B交集中样本的数目/B的样本数目(为什么这里用的是样本的数目相除,而上面的公式却是用的概率相除,原因很简单,用样本数目相除时,把分子分母同除以总样本数,这就变成了概率相除)。
2 乘法公式
这里的乘法公式其实是条件概率公式的变形,具体推导如下:
由
P(A∣B)=P(B)P(A,B),可得
P(A,B)=P(A∣B)P(B),由
P(B∣A)=P(A)P(B,A),可得
P(B,A)=P(B∣A)P(A),其中
P(A,B)=P(B,A),所以有如下式子即乘法公式成立:
P(A,B)=P(A∣B)P(B)=P(B∣A)P(A)
乘法公式推广:对于任何正整数
n≥2,当
P(A1A2...An−1)>0 时,有如下式子成立:
P(A1A2...An−1An)=P(A1)P(A2∣A1)P(A3∣A1A2)...P(An∣A1A2...An−1)
3 全概率公式
- 如果事件组
B1,
B2,… 满足
-
B1,
B2…两两互斥,即
Bi∩Bj=∅ ,
i=j,i,j=1,2,....,且
P(Bi)>0,
i=1,2,....;
-
B1∪B2∪....=Ω ,则称事件组
B1,B2,...是样本空间
Ω的一个划分
- 设
B1,B2,...是样本空间
Ω的一个划分,A为任一事件,则:
P(A)=∑i=1∞P(Bi)P(A∣Bi)
下面我们还是以图解的方式来分析上述全概率公式是怎么得到的。
已知各个
A∩Bi的样本数、
Bi的样本数,求
A的样本数 / 总样本数
Ω?
上图中,某一实验所有的可能的样本的集合为
Ω,圆圈
A代表事件
A所能囊括的所有样本。
把总集合
Ω分为
n个小集合,依次为
B1、B2⋅⋅⋅Bn,这些小集合两两互斥(满足上述全概率公式的两个条件)。
显然,
A的样本数目可以通过与
Bi的交集来获得,也即
=A∩B1的样本数+A∩B2的样本数+⋅⋅⋅⋅+(A∩Bn的样本数)(在分析条件概率时已经说过,样本数公式和概率公式,本质上是一样的东西),A∩B_i$的样本数可以通过乘法公式获得。通过上述分析可以得到全概率公式。
4 贝叶斯公式
与全概率公式解决的问题相反,贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因(即大事件
A已经发生的条件下,分割中的小事件
Bi的概率),设
B1,B2,...是样本空间
Ω的一个划分,则对任一事件
A(P(A)>0),有
P(Bi∣A)=∑j=1∞P(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
上式即为贝叶斯公式(Bayes formula)。贝叶斯公式就是条件概率、乘法公式、全概率公式的组合。
-
Bi 常被视为导致试验结果
A发生的”原因“,
P(Bi)(i=1,2,...)表示各种原因发生的可能性大小,故称先验概率;
-
P(Bi∣A)(i=1,2...)则反映当试验产生了结果
A之后,再对各种原因概率的新认识,故称后验概率。
下面举例来说明贝叶斯公式怎么用。
已知各个
A∩Bi的样本数、
Bi的样本数,求
A∩B3的样本数 /
A的样本数?
例子:发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰,当发出信号“∪”时,收报台分别以概率0.8和0.2受到信号“∪”和“—”;又当发出信号“—”时,收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时,发报台确系发出“∪”的概率。
解析:贝叶斯这一概念,所探讨的问题,也是事件A和事件B都是某一实验的不同的结果集合,然后把事件B这个结果集合分为n小份,每一小份也是结果集合,只不过这些小集合一定位于B集合内部,每一小份结果集合称为
Bi(i∈[1,n]),
Bi之间两两互斥,所有
Bi并起来就是B。
本例中,实验为“发一次报,收一次报,然后记录发、收的字符”,事件A为“收到了U”,事件B为"发出了信号",事件
B1为“发出了U”,事件
B2为“发出了—”,显然这里
B1∪B2=B,B1∩B2=∅。要想求
P(B1∣A),根据条件概率公式,
P(B1∣A)=P(A)P(B1A),只要分别计算出分子分母就行了,显然分子可以用上面的乘法公式来求,分母为已知(若分母未知,就得用全概率公式来求)。
这几个公式不用死记硬背,把这几个图记住,公式基本上就可以分析出来啦。