在使用朴素贝叶斯方法进行文本分类时,如果待分类的文本包含某个属性值在训练样本中不存在,则类条件概率为0,
这时候算出的所有类别的后验概率都是0,导致无法对文本分类。一般可采用M估计(M-Estimate)来平滑类条件概率的计算,从而得到非0的可比较的近似概率值,达到分类的目的。
设 文本由一个属性向量x=(x1,x2,x3,...xn)表示,给定分类集合Y={yj|yj 属于Y}
求 文本向量的一个属性xi 对于分类yj的类条件概率P(xi|yj)。
首先假设Nyj 是分类yj的样本总数,Nxi是包含属性xi且属于分类yj的样本数。
由概率知识得到:
P(xi|yj) = Nxi / Nyj ------公式1
如果采用M-Estimate,得到的公式是
P(xi|yj) = (Nxi + mp) / (Nyj + m) ------公式2
其中p是 P(xi|yj) 的近似值,即有 Nxi / Nyj ~= p
由公式1和p逐步推导出公式2的过程如下:
为简化起见,设 a = Nyj, b = Nxi, 则 p ~= b / a, 可得:
P(xi | yj) = b / a
= b(a+m) / a(a+m)
= (ba + bm) / a(a+m)
= (b + m*(b/a)) / (a+m)
~= (b + mp) / (a+m) -------- 用 p ~= b / a 代入。
= (Nxi + mp) / (Nyj + m)
得证。
M估计的实际应用:
1. 多项式模型:
m = |V|,p = 1/|V|, 这里|V|为样本空间V的词库大小。
2. 伯努利模型:
m = 2, p = 1/2
至于为什么m取2,我还没弄懂,期待有知道的朋友分享一下。