信息熵
H(x)=-\int _{x}P(x)log(P(x))dx
信息熵表示一个随机变量在经过随机事件结果,随机变量状态量的大小。
条件熵
表示的是在已知随机变量X的前提下,随机变量Y的信息熵,注意X是随机变量。
H(Y|X) = \sum_{x,y}p(x,y)log\frac{p(x)}{p(x,y)}
链式法则:
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)
互信息
由链式法则,H(X)-H(X|Y)=H(Y)-H(Y|X)
互信息I(X;Y) = H(X)-H(X|Y)
= H(x)+H(Y)-H(X,Y)
= \sum_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}
表示的是一个随机变量X信息量有多少是关于X,Y互相包含的信息。
距离函数
定义一个集合元素之间的距离的函数。
d:x*x->[0,+\infin)并且满足以下条件:
- d(x,y)>=0
- d(x,y)=0<=>x=y
- d(x,y) = d(y,x)
- d(x,z)<=d(x,y)+d(y,z)
Total Variation distance (TV)
\theta(P,Q)=sup_{A\in F}|P(A)-Q(A)|
描述两个分布的距离,L1正则化。
KL divergence
- KL不具有对称性,KL(P||Q) != KL(Q||P).
- KL不具有可比性,K(P||Q)>KL(R||Q),不能说明分布P更接近Q.
KL(P||Q)= -\int_{x}P(x)log\frac{Q(x)}{P(x)}dx
描述的是两个分布之间的相似性。但是有以上缺点
f-divergence
D_{f}(p||q)=\int q(x)f(\frac{p(x)}{q(x)})dx
当f取-log时,f散度是KL散度
Jensen-Shanno divergence
JSD(P||Q)=0.5*KL(P||M)+0.5*KL(Q||M)M=0.5*(P+Q)
1. JS散度和互信息有相关性
2. JS散度范围是[0,1]
3. JS散度具有可比性
描述的是两个分布之间的距离。
Wasserstein distance
描述的是从分布P(x)移动到分布Q(x)所需要的最小代价。
W_{p}(u,v) =inf_{r\in T(u,v)} \int_{M*M}(d(x,y))^{p}dr(x,y)^{p}
r(x,y)是要满足的约束。