概率图模型

概率图模型（Probabilistic Graphical Model，PGM）是一种对现实情况进行描述的模型。其核心是条件概率，本质上是利用先验知识，确立一个随机变量之间的关联约束关系，最终达成方便求取条件概率的目的。

对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型就构建了这样一幅图，通观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布图，从而解决问题。

概率图中的结点分为隐含结点与观测结点，边分为有向边与无向边，而图又分为有向图与无向图。从概率论的角度，结点对应于随机变量，边对应于随机变量间的依赖或相关关系，有向边表示单向依赖，无向边表示相互依赖。依据图模型可以描述变量之间的联合概率分布。

概率图模型中除了一些基本要素外，还有一些结点间相关性、因子分解等知识点。

贝叶斯网络

之前讲过朴素贝叶斯，其中有个重要前提假设：各随机变量（特征属性）之间相互独立。但是在现实生活中，我们遇到的情况不是所有随机变量都相互独立的，他们之间相互关联、相互影响。贝叶斯网络是由有向无环图描述的。

例如下图：

（图片来自网络）

对于“迟到”来讲，如果视“堵车”与“摔跤”为朴素贝叶斯分类中的特征，我们需要假设它们之间独立。但实际上，“堵车”与“摔跤”共同受“下雪”这个条件影响，所以它们具有相关性，并不是完全独立的。所以如果仍然使用朴素贝叶斯来处理这个问题，是无法达到理想结果的。

网络结构

根据上面这个贝叶斯网络的示例图，我们可以看到图中的关系是多对多的：一个节点可能有多个父节点影响，也可能影响多个子节点。它们之间的影响关系又包含直接关系与间接关系。

根据独立性与相互关系，我们可以还原结点的联合概率分布。

有下图：

由图可知，

1）在给定 A 的条件下，B 与 C是条件独立的；

即： $P(C|A,B) = P(C|A)$

2）在给定 B、C 的条件下，A 与 D 是条件独立的；

即： $P(D|A,B,C) = P(D|B,C)$

那么以此可以写出 ABCD 的联合概率分布：

$\begin{aligned} P(A,B,C,D)=&P(A)P(B|A)P(C|A,B)P(D|A,B,C)\\ =&P(A)P(B|A)P(C|A)P(D|B,C)\\ \end{aligned}$

动态贝叶斯网络

以上所讲贝叶斯网络大都基于固定的训练数据，而对于动态的数据则需要一定的变动。所谓动态数据是指随着时间的变化，数据也随之变化，而要适应这种情况就出现了动态贝叶斯网络。

一个 贝叶斯网络 可以定义为： $BN=(G，θ)$，其中 G 是对于随机变量 X 联合概率分布的有向无环图，θ 表示网络的参数。其中，X 上的联合概率分布定义为：

$\displaystyle P(X1,X2,...,Xn)=∏_{i=1}^nP(X_i|P'(X_i))$

动态贝叶斯网络在加入时间变量后，将这种表述扩展到模型化含时间因素的随机过程。为了用 BN 表述随机过程，需要得到随机变量 $X_1,X_2,...,X_T$ 上的一个概率分布，但这样一个分布十分复杂。为了能够对复杂系统进行研究并建立相应的模型，需要做一些假设和简化条件处理。

假设条件：

• 假设在一个有限时间内条件概率变化过程对所以 t 是一致平稳 ；
• 假设动态概率过程具有马尔科夫性质的，即满足： 一个时刻的概率只与前一时刻有关而与其他过去时刻无关；
• 假设相邻时间的条件概率的过程平稳。

基于上述假设，建立在变量时间上的动态贝叶斯网络就由初始联合概率分布 B₀ 与转移联合概率分布 B_→ 两部分组成。

若给定一个DBN模型，则在 $X_1,X_2,...,X_T$ 上的联合概率分布为：

$\displaystyle P(X_1,X_2,...,X_T)=P_{B_0}(X_1)∏_{t=1}^{T}P_{B→}(X_{t+1}|X_t)$

我们可以看出动态贝叶斯网络与隐马尔科夫网络具有相似之处。

而马尔科夫网络是将有向边变成无向图。