(1)全概率公式
如果事件组
B1,B2,…满足:
-
B1,B2,…两两互斥,即
Bi∩Bj=∅ ,
i̸=j,
i,j=1,2,…,且
P(Bi)>0,i=1,2,…
-
B1∪B2∪⋯=Ω ,则称事件组
B1,B2,…是样本空间
Ω的一个划分
设
B1,B2,…是样本空间
Ω的一个划分,
A为任一事件,则:
P(A)=i=1∑∞P(Bi)P(A∣Bi)
该式即为全概率公式。
(2)贝叶斯公式
与全概率公式解决的问题相反,贝叶斯公式建立在条件概率的基础上寻找事件发生的原因(即大事件
A已经发生的条件下,分割中的小事件
Bi的概率),设
B1,B2,…是样本空间
Ω的一个划分,则对任一事件
A(P(A)>0),有
P(Bi∣A)=P(A)P(Bi,A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi)
上式为贝叶斯公式。
Bi 常被视为导致试验结果
A发生的”原因“,
P(Bi)(i=1,2,…)表示各种原因发生的可能性大小,故称先验概率;
P(Bi∣A)(i=1,2,…)则反映当试验产生了结果A之后,再对各种原因概率的新认识,故称后验概率。
(3)分类任务表达式
贝叶斯公式可以转为分类任务表达式:
P(类别i∣特征j=1,2,…)=P(特征j=1,2,…)P(特征j=1,2,…∣类别i)P(类别i)
(4)朴素贝叶斯
朴素贝叶斯对条件概率分布作了条件独立性假设,具体的,条件独立性假设是:
P(X=x∣Y=ck)=P(X(1)=x(1),X(2)=x(2),…,X(n)=x(n)∣Y=ck)=j=1∏nP(X(j)=x(j)∣Y=ck)
结合后验概率根据贝叶斯定理得:
P(Y=ck∣X=x)=P(X=x)P(X=x∣Y=ck)P(Y=ck)=∑kP(X=x∣Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck)
两式结合,得朴素贝叶斯得基本公式:
P(Y=ck∣X=x)=∑kP(Y=ck)∏jP(X(j)=x(j)∣Y=ck)P(Y=ck)∏jP(X(j)=x(j)∣Y=ck),k=1,2,…,K
因为分母对于
ck都是相同得,于是,朴素贝叶斯分类器表示为
y=f(x)=ckargmaxP(Y=ck)j∏P(X(j)=x(j)∣Y=ck)