1. EM算法背景
1)用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.
2)概率模型有时候既含有观测变量,又含有隐变量或潜在变量.如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数.但是当有隐变量时,就不能简单的使用这些估计方法.
3)EM算法的每次迭代由两次组成:求期望、求极大
2. EM(expectation maximization期望极大)算法的引入
2.1 EM算法入门之三硬币模型
注:该公式表示一次观测概率,随机变量y是观测变量,y值为1或0,随机变量z是隐变量,表示未观测到的掷硬币A的结果,θ(π,p,q)是模型参数.
注: 式(9.3)中的yj表示第几个观测数据,Y是一个例如1001110的观测序列.
2.2 EM算法
2.3 EM算法的导出
注:上面的推导过程即将对L(θ)的极大化转换为对B(θ,θ(i))的极大化.
4. EM算法在高斯混合模型中的应用
4.1 高斯混合模型
4.2 高斯混合模型参数估计的EM算法
高斯混合模型参数估计EM算法总结:
