w~Mult(w|p)
这里可以引入一个新的概念:概率图模型,来画出这种模型。如图 3-1所示,图中被涂色的 表示可观测变量,方框表示重复抽取的次数, 表示一篇文档中总共 个单词, 表示M篇文档。也就是说,重复抽取 篇文档,每个文档抽取 个单词,这样的生成模型生成了整个语料(corpus)。
总结：
这就是LDA的Collapsed Gibbs Sampling采样公式了，其中的 alpha和beta由于考虑了对称超参数，所以均使用同一个 alpha和 beta代替不同的alpha_i 和bata_k 。
这一推导将永远是MCMC历史上的经典之作，