适用范围
假设训练样本的属性变量是不完整的
隐变量
令
表示已经观测的变量集合,
表示隐变量集,
表示模型参数.如果对
做最大似然估计,则应当最大化对数似然
然而由于 是隐藏变量,上式无法直接求解。此时我们可以通过对 计算期望,来最大化已观测数据的对数“边际似然”(marginal likelihood)
EM(Expectation_Maximization)算法
EM是常用的估计参数隐藏变量的利器,它是一种迭代式方法,其基本思想是:若参数
已知,则可以对训练数据集推断出最优隐变量
的值(
步);反之,若
的值已知,则可以方便对参数
做极大似然估计(
步)。
于是,以初始值
为起点,对(
),可以迭代执行以下步骤直至收敛:
- 基于 推断隐变量 的期望,记做
基于已观测变量 和 对参数 做极大似然估计,记做
EM算法的步骤
E步
以当前参数 推断隐变量分布 ,并计算对数似然 关于 的期望
M步
寻找参数最大化的期望似然,即