朴素贝叶斯
我们先来看贝叶斯公式：
这个和咱们上一讲生成概率模型的公式是不是很相似，朴素贝叶斯其实就是概率生成模型的一个特例，概率生成模型是假设x 是服从某种特定的概率分布的。x中的各个维度有有相互关系的。 但是朴素贝叶斯为什么朴素，就是假设x是独立分布的。
以邮件分类应用为例，当邮件中出现单词‘buy’，‘price’很可能是广告邮件，我们可能把他分类为垃圾邮件。那么我们得到：
联合分布中的参数定义:
所以，我们从新的x中对他的分类的计算：
这里还有一个技巧：拉普拉斯平滑变换（Laplace smoothing）：
还是邮件分类的例子，如果我们想给NIP大会投稿，邮件中第一次出现NIP的单词，根据上面的公式：
这个结果肯定不是我们想要的。
我们把概率的分子加+1，分母加上要分类的数总数k，如果k=2 就是2分类
所以我们的概率计算为：
然后使用贝叶斯公式计算就可以。