全部笔记的汇总贴：统计学习方法读书笔记汇总贴

PDF免费下载：《统计学习方法（第二版）》

朴素贝叶斯 （naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。

一、朴素贝叶斯法的学习与分类

朴素贝叶斯法对条件概率分布作了条件独立性的假设。
$$\begin{gathered} P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k) \\ =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯法分类时，对给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类输出。
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
所以，$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

所以，朴素贝叶斯分类器可以表示为：$$y=f(x)=\underset{c_k}{\mathrm{argmax}}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

因为对于所有的$c_k$，分母都是相同的，所以，
$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。根据期望风险最小化准则可以得到后验概率最大化准则：$$f(x)=\underset{c_k}{\mathrm{argmax}}P(c_k|X=x)$$

二、朴素贝叶斯法的参数估计

（一）极大似然估计

先验概率$P(Y=c_k）$的极大似然估计是$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$$
条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计是$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)},j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K$$
其中$x_i^{(j)}$是第$i$个样本的第$j$个特征，$a_{jl}$是第$j$个特征可能取的第$l$个值，$I$为指示函数。

（二）贝叶斯估计

条件概率的贝叶斯估计是：$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$
相比较极大似然估计，我们需要引入一个$\lambda$，此时$\lambda \ge 0$，常取$\lambda =1$，此时称为拉普拉斯平滑。

同样的，先验概率的贝叶斯估计为：$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

扫描二维码关注公众号，回复： 12192586 查看本文章

（三）朴素贝叶斯算法

1. 计算先验概率及条件概率
2. 对于给定的实例计算$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
3. 确定$x$的类$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

极大似然估计可以对比P63的例4.1的计算过程，贝叶斯估计可以对照例4.2。

下一章传送门：统计学习方法读书笔记（五）-决策树