【一】 Latent Variable Model（隐变量模型）
举个例子：比如说一个人的观测值为【公益活动，运动，执行力强】，但其对应的未观测值为【善良，坚持，博学】，也就是说这是一种因果关系，【善良，坚持，博学】=》【公益活动，运动，执行力强】，“因” 是隐变量，“果” 是观测值
- Complete Case（X，Z 已知；θ 未知）-- MLE
- Incomplete Case（X 已知；Z，θ 未知）-- EM
【二】 Expectation Maximization（EM算法）
【无监督】一种 迭代算法，用于含 隐变量 的概率模型参数的极大似然估计（E 求期望 + M 求极大）
- 观测数据 & 未观测数据
- 求解 观测数据 的似然函数
- 求解模型参数 θ 的对数极大似然估计
【三】 手推 EM 算法
- 输入：观测变量数据 Y，隐变量数据 Z，联合分布 P(Y,Z∣θ) ，条件分布 P(Z∣Y,θ)
输出：模型参数 θ
- 推导过程：
- E - Step:
- M - Step:
- 重复 E-Step，M-Step，直至收敛 （Lθ1 < Lθ2 < Lθ3 < … < Lθn）
