信息量
信息量表示事件的不确定性。一件事情发生的概率越大那么那么它的发生所带来的信息量越小,反之,一件事情发生的概率越小那么那么它的发生所带来的信息量越大。由于存在这种关系,我们可以表示一件事情发生所带来的信息量为-logP。
熵
熵是所有信息量的期望。
条件熵
我们把H(X,Y) - H(X)即X,Y事件的熵减去X的熵,即在已知X的情况下所具有的熵即H(Y|X)条件熵。
由以上公式及 概率相关公式推导可得。
信息增益
信息增益我们可以理解为互信息。
增益率
基尼指数
扫描二维码关注公众号,回复:
3894570 查看本文章