指数族分布可以应用于广义线性模型(回归/分类)、概率图模型(RBM)、和变分推断(简便运算)中。
指数族分布的具体表示形式如下:
P(x|g)=h(x)exp(gTfai(x)-A(g)).
其中fai(x)为充分统计量,A(g)为对数配分函数(log partition function)【配分函数其实就是归一化因子的概念,为了使概率满足概率总和为1的约束】。
对数配分函数的推导
指数族分布有三个重要性质,分别是充分统计量、共轭、最大熵。
关于充分统计量:(sufficient statistic)的理解:比如高斯分布中的{均值、方差}就是一组充分统计量,通过{均值,方差}我们就能得到这一组数据的大部分信息。(待确定)
不仅是{均值,方差},也可以是{sum(xi),sum(xi)^2}...,【查找相关统计概念】
充分统计量“充分”指的就是参数组{ ..}包含的原始数据的信息足够多,可以用于压缩数据。
“统计量”指的就是数学意义上一组数据的统计量,比如均值,方差...。
关于共轭:是通过似然和先验的共轭关系,将先验的分布与后验的分布联系起来。如果似然和先验共轭,那么后验的分布与先验的分布是同一种分布。
关于最大熵:【待定:对未知参数的估计,往最随机的方向假定。】
参考:
1.https://www.bilibili.com/video/BV1QW411y7D3?p=2,B站UP主:shuhuai008