在学习EM算法的时候,涉及了这两个知识。在此先提前学习一下这两个知识点。
KL散度
KL散度就是相对熵,用于衡量两个概率分布之间的差异。对于两个概率分布p(x) 和 q(x),其相对熵的计算公式为:
由于p(x) 和 q(x)在公式中的地位不是相等的,所有KL(p || q) 不等于 KL(q || p)。
相对熵的特点是,只有当p(x) = q(x)时,其值为0,若两者略有差异,其值就会大于0。
ELBO
全称为 Evidence Lower Bound,即证据下界。主要常出现在变分推断当中。