信息熵即确定一件不确定的事情的信息量的大小。
问题:比如世界杯比赛,总共32只球队,如果让你猜哪只球队夺冠需要猜多少次?
解答:假设每支队伍夺冠概率相同,则可以根据二分查找,需要5次,其用信息熵计算便是下面的公式:
-1/32 *(log(1/32))=5;
假设概率不同,则必须按照下面的公式计算,数学系的应该可以证明一下,下面的结果总是小于5的。
结论:夺冠概率一样,说明夺冠这件事不确定性很大,相应的信息熵比较大;而概率不同,则可以说明概率高的可能性比较高,相应的信息熵比较小。
不确定性越大------------》熵越大;
不确定性越小------------》熵越小。