1. 简介
贝叶斯神经网络不同于一般的神经网络，其权重参数是随机变量，而非确定的值。如下图所示：
2. 模型
假设 NN 的网络参数为 W，p(W) 是参数的先验分布，给定观测数据 D={X,Y}，这里 X 是输入数据，Y 是标签数据。BNN 希望给出以下的分布：
其中：
这里 P(W|D) 是后验分布，P(D|W) 是似然函数，P(D) 是边缘似然。
从公式（53）中可以看出，用 BNN 对数据进行概率建模并预测的核心在于做高效近似后验推断，而 VI 是一个非常合适的方法。
BNN 不同于 DNN，可以对预测分布进行学习，不仅可以给出预测值，而且可以给出预测的不确定性。这对于很多问题来说非常关键，比如：机器学习中著名的 Exploration & Exploitation （EE）的问题，在强化学习问题中，agent 是需要利用现有知识来做决策还是尝试一些未知的东西；实验设计问题中，用贝叶斯优化来调超参数，选择下一个点是根据当前模型的最优值还是利用探索一些不确定性较高的空间。比如：异常样本检测，对抗样本检测等任务，由于 BNN 具有不确定性量化能力，所以具有非常强的鲁棒性。
参考：
变分推断