KL(kullback-Leibler-devergence)散度（相对熵）非负性

其他 2018-12-15 11:41:07 阅读次数: 0

KL(kullback-Leibler-devergence)散度（相对熵）非负性证明

两个概率分布：P(X)和Q(X)，两个分布之间的距离：

$D_{KL}(P||Q)=\sum_{x\in X}P(x)log\frac{P(x)}{Q(x)}=E[log\frac{P(X)}{Q(X)}]=-E[log\frac{Q(X)}{P(X)}]$

根据jensen不等式，log函数为上凸函数，则 $E(f(X))\geq f(E(X))$

clip_image019

则进一步化简： $\tiny -E(log\frac{Q(X)}{P(X)})\geq -log [E(\frac{P(X)}{Q(X)})]=-log[\sum_{x\in X}P(X)\frac{Q(X)}{P(X)}]=-log(\sum_{x\in X}Q(X))=0$

猜你喜欢

转载自blog.csdn.net/KID_yuan/article/details/84800434

KL(kullback-Leibler-devergence)散度（相对熵）非负性

Kullback-Leibler_divergence（KL散度、相对熵）

KL散度(Kullback–Leibler divergence，KLD)

Kullback-Leibler Divergence （KL 散度）

Kullback-Leibler(KL)散度介绍

机器学习：Kullback-Leibler Divergence （KL 散度）

机器学习之Kullback-Leibler Divergence （KL 散度）

相对熵（KL散度）

相对熵——KL散度

损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）

Lipschitz连续 | Wasserstein距离 | KL散度(Kullback–Leibler divergence) | JS散度(Jensen-Shannon)

信息熵，相对熵，KL散度，JS散度

KL-散度(相对熵)

相对熵 KL散度（KullbackLeibler divergence）

解释Kullback-Leibler散度

香农熵、相对熵（KL散度）与交叉熵

交叉熵和相对熵(KL散度)

KL散度(相对熵)、交叉熵的解析

自信息,KL散度(相对熵),交叉熵

交叉熵与KL散度（相对熵）总结比较

面试准备---- 交叉熵，相对熵（KL散度），softmax

交叉熵、(KL散度)相对熵、互信息

信息量、相对熵（KL散度）、交叉熵

熵[1]—熵、交叉熵、相对熵（KL散度）的关系

机器学习、深度学习中的信息熵、相对熵（KL散度）、交叉熵、条件熵

Kullback-Leibler 散度, 互信息，信息增益

熵、交叉熵、相对熵（KL 散度）意义及其关系

机器学习基础（五十八）—— 香农熵相对熵（KL散度）与交叉熵

数学（三）信息熵、相对熵(KL散度)和交叉熵

交叉熵与KL散度

今日推荐

周排行

深度学习------Lingvo框架下的加速通道GPipe

webjars管理静态资源

C专家编程_2.2

mysql 源码安装

json文件操作

123231432

注解的实现

Spring MVC 控制器

《人月神话》读后感二

C#使用HttpWebRequest和HttpWebResponse上传文件示例

每日归档

2024-09-08(0)

2024-09-07(0)

2024-09-06(0)

2024-09-05(0)

2024-09-04(0)

2024-09-03(0)

2024-09-02(0)

2024-09-01(0)

2024-08-31(0)

2024-08-30(0)