第四章 朴素贝叶斯法
4.1朴素贝叶斯法的学习与分类
4.1.1基本方法
朴素贝叶斯法通过训练数据集学习联合概率分布。
利用先验概率分布和条件概率分布求得联合概率分布:
条件概率参数是指数级,太复杂—条件独立性假设:用于分类的特征在类确定的条件下是独立的。
朴素贝叶斯分类器:
4.1.2 后验概率最大化的含义
朴素贝叶斯法就是将实例分到后验概率最大的类中。
因此期望风险最小化就是后验概率最大化:
4.2朴素贝叶斯法的参数估计
4.2.1极大似然估计
先验概率的极大似然估计:
条件概率的极大似然估计:
4.2.2学习与分类算法
算法流程:
4.2.3贝叶斯估计
极大似然估计存在问题:概率值为0——采用贝叶斯估计:
拉普拉斯平滑: