EM+GMM算法的学习
1 意义
- EM算法为存在隐变量的模型提供了一种学习策略
- EM可分为:
2 推导
- 如果存在样本
x1,x2,x3,...,xn
- 其中
xi
的隐变量为类别
zi
-
zi
服从某一分布
Qi(zi),∑ziQi(zi)=1
- 模型以
p(xi,θ)
代表样本出现的概率,则似然函数为:
-
l(θ)=∑i=1nlogp(xi,θ)
-
θ
为模型参数
- 当隐变量不存时,可以利用梯度上升算法直接对模型参数进行学习,当隐变量存在时,就不能利用这种方法了
l(θ)=∑i=1nlog∑ziQi(zi)∗p(xi,zi;θ)Qi(zi)
≥∑i=1n∑ziQi(zi)logp(xi,zi;θ)Qi(zi)
p(xi,zi;θ)Qi(zi)=c
时不等式等号成立
3 利用EM求解GMM参数
- 然后分别对不同参数进行求导,等于零构建方程,从而计算新一轮的参数
μ
的求解:
ϕ
的求解:
-
ϑ2
的求解:
4 EM的收敛性