概率论中，对于两个独立事件，它们的联合概率为 $P(A,B)=P(A\mid B)P(B)=P(B\mid A)P(A)$进一步，得到贝叶斯公式： $P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A)}$ $P(A)=P(A\mid B)P(B)+P(A\mid \bar{B})P(\bar{B})$
推广到机器学习中，令 $A=D(data),B=M(model)$ $P(M\mid D)=\frac{P(D\mid M)P(M)}{P(D)}$
似然概率： $P(D\mid M)$
先验概率： $P(M)$
事实概率： $P(D)$
后验概率： $P(M\mid D)$

注意：
似然概率和后验概率都是条件概率，如果一个当作正向条件概率，那么另外一个称为反向条件概率。

在进行贝叶斯统计时，需要利用一个真实数据集作为训练数据集，来估计概率模型的参数，然后用于统计推断。