我们在大学中学到的概率分布有一大部分属于指数族分布,该类分布有一些共同的重要特性。
概率密度形式
指数族分布的概率密度函数形式可以表达为:
其中可以把其看做三个部分,包含x的h(x)、包含x和的还有包含的。我们把称为自然参数(natural parameters),称为充分统计量(sufficient statistic),称为 log normalizer(它确保概率积分结果为1,实际上指数族分布做积分使结果为1,可以得到 )。
指数族分布的最大似然方法(MLE)
指数族分布的最大似然的求解是非常方便的,它有统一的格式。
我们使上式求导等于0,可以得到
共轭先验
我们知道,后验概率正比于似然概率和先验概率:
那么什么是共轭先验呢?对于似然函数来说,如果某一个先验概率使得其对应的后验概率和先验是同一种分布,那么该先验概率就是共轭的。注意,共轭先验是对于某个似然函数来定义的。
扫描二维码关注公众号,回复:
5872820 查看本文章
如果似然概率是指数族分布,那么我们一定可以找到其对应的共轭先验。此处证略,有兴趣可以参考prml。
参考文献
[1] 徐亦达机器学习视频(bilibili)