指数族分布:相关概念理解

指数族分布可以应用于广义线性模型(回归/分类)、概率图模型(RBM)、和变分推断(简便运算)中。

指数族分布的具体表示形式如下:

P(x|g)=h(x)exp(gTfai(x)-A(g)).

其中fai(x)为充分统计量,A(g)为对数配分函数(log partition function)【配分函数其实就是归一化因子的概念,为了使概率满足概率总和为1的约束】。

            对数配分函数的推导

指数族分布有三个重要性质,分别是充分统计量、共轭、最大熵。

关于充分统计量:(sufficient statistic)的理解:比如高斯分布中的{均值、方差}就是一组充分统计量,通过{均值,方差}我们就能得到这一组数据的大部分信息。(待确定)

不仅是{均值,方差},也可以是{sum(xi),sum(xi)^2}...,【查找相关统计概念】

充分统计量“充分”指的就是参数组{ ..}包含的原始数据的信息足够多,可以用于压缩数据。

“统计量”指的就是数学意义上一组数据的统计量,比如均值,方差...。

关于共轭:是通过似然和先验的共轭关系,将先验的分布与后验的分布联系起来。如果似然和先验共轭,那么后验的分布与先验的分布是同一种分布。

关于最大熵:【待定:对未知参数的估计,往最随机的方向假定。】

参考:

1.https://www.bilibili.com/video/BV1QW411y7D3?p=2,B站UP主:shuhuai008

猜你喜欢

转载自www.cnblogs.com/feynmania/p/13405284.html
今日推荐