1. Sum-product(Message passing) on trees
-
目的是为了计算边缘分布,相比于 elimination 的优势在于可以用较少的计算次数计算所有随机变量的边缘分布,关键在于复用 message
-
algorithm
-
Step 1: Compute messages
-
Step 2: Compute marginals
-
-
Remarks
-
什么是 message?
-
tree 的一枝表示什么?实际上就是一个条件分布,如下图中实际上就是
-
2. Sum-product algorithm on factor trees
-
algorithm
-
Message from variable to factor
-
Message from factor to variable
-
3. Max-Product for undirected tree/factor tree
4. Parallel Max-Product
- 所有节点同时运算,至多需要 d(最长path的length) 次迭代即可
- trick: 整体的减少乘法次数
其他内容请看:
统计推断(一) Hypothesis Test
统计推断(二) Estimation Problem
统计推断(三) Exponential Family
统计推断(四) Information Geometry
统计推断(五) EM algorithm
统计推断(六) Modeling
统计推断(七) Typical Sequence
统计推断(八) Model Selection
统计推断(九) Graphical models
统计推断(十) Elimination algorithm
统计推断(十一) Sum-product algorithm