KL散度的不对称性和概率分布(PDF)为零的情况处理

KL散度用来衡量两个分布之间的差异, 网上已经有很多资料,不再赘述。
但是需要注意的是,KL散度虽然觉得很像是一种“距离”,但其实并不对,没有对称性。
详细的解释可以看这里
有人已经在matlab实现了KL散度,也处理的某些概率为零的情况(多在数据稀疏的情况下),做法是在所有概率上加了一个eps,即MATLAB默认的最小浮点数精度.

猜你喜欢

转载自blog.csdn.net/yq_forever/article/details/81084519