概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一
个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散
个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散
的还是连续的。
PMF: 离散型变量的概率分布可以用概率质量函数(probability mass function, PMF)
1来描述。我们通常用大写字母P 来表示概率质量函数。通常每一个随机变量都会有
一个不同的概率质量函数,并且读者必须根据随机变量来推断所使用的PMF
如果一个函数P 是随机变量x 的PMF,必须满足下面这几个条件:
PDF: 当我们研究的对象是连续型随机变量时,我们用概率密度函数(probability
density function, PDF)而不是概率质量函数来描述它的概率分布
如果一个函数p
是概率密度函数,必须满足下面这几个条件:
有时候,我们知道了一组变量的联合概率分布,但想要了解其中一个子集的概
率分布。这种定义在子集上的概率分布被称为边缘概率分布(marginal probability
distribution)。
条件概率的链式法则
相对于 联合概率分布, 不是独立分布
两个随机变量x 和y,如果它们的概率分布可以表示成两个因子的乘积形式,并
且一个因子只包含x 另一个因子只包含y,我们就称这两个随机变量是相互独立的
(independent):
如果关于x 和y 的条件概率分布对于z 的每一个值都可以写成乘积的形式,
那么这两个随机变量x 和y 在给定随机变量z 时是条件独立的