使得
为了方便估计
EM算法是一个迭代的过程,假设第n次迭代当前
等价的,我们希望最大化他们的不同:
现在我们考虑隐变量的问题,隐变量可能是没有观测到的或者缺失的变量,有时为了计算最大似然函数更容易解决也会引入隐变量,因为可以利用EM框架来方便计算。我们假设隐变量用Z来表示,那么
我们重写一下
利用Jensen's不定式:
其中常量
其中由于
所以有:
我们可以写作:
为了方便,我们定义:
这样我们得到
现在我们得到了似然函数
另外我们观察到:
所以当
所以任何能够增加
所以EM算法选择最大化
最终我们得到:
去掉相对于
所以EM包含以下迭代步骤:
1、E-step: 得到条件期望
2、M-step:求解