版权声明:转载时须注明出处 https://blog.csdn.net/KID_yuan/article/details/84800434
KL(kullback-Leibler-devergence)散度(相对熵)非负性证明
两个概率分布:P(X)和Q(X),两个分布之间的距离:
根据jensen不等式,log函数为上凸函数,则
则进一步化简:
KL(kullback-Leibler-devergence)散度(相对熵)非负性证明
两个概率分布:P(X)和Q(X),两个分布之间的距离:
根据jensen不等式,log函数为上凸函数,则
则进一步化简: