背景介绍

一、玻尔兹曼机

玻尔兹曼机简单地说就是一个马尔科夫随机场（Markov Random Field），即一个无向图模型。但是玻尔兹曼机比无向图模型还是多了一些东西，就是玻尔兹曼机将其中的节点分为两类，一类是 hidden nodes，另一类是 visible nodes。

如上图所示，就是一个玻尔兹曼机，其中蓝色的是 hidden nodes，白色的是 visible nodes。
对于一个无向图模型来说，最重要的就是因子分解（Hammersley Clifferd Theorem）：（基于最大团的概念）
$P(x) = \frac 1z\prod _{i = 1}^{K} \psi_i(x_{ci})\\ s.t. \quad \psi>0 \\ K表示最大团的个数\\ ci表示最大团\\ x_{ci}表示最大团对应的随机变量集合\\ \psi_i(x_{ci})是势函数\\ z是归一化因子$
$一般取\psi为指数函数，即可保证大于0 \\ \psi_i(x_{ci})=exp\{ -E(x_{ci}) \}\\ \begin{aligned} P(x) &= \frac 1z\prod _{i = 1}^{K} \psi_i(x_{ci})\\ &=\frac 1z\prod_{i=1}^K e^{-E(x_{ci})}\\ &=\frac 1z e^{-\sum_{i = 1}^{K} E(x_{ci})} \end{aligned}$
其中E是能量函数(Energy function)，能量越大越不稳定，就有从该状态变为稳定状态（能量低的状态）的趋势。

二、限制性玻尔兹曼机

对玻尔兹曼机进行了简化，hidden 节点与 visible 节点之间有连接，但是 hidden 节点与 hidden 节点之间，以及 visible 与 visible 节点之间没有连接。