理论：
通过信息论的学习，可知如果信息的随机性越大，那么把它确定下来的价值也越大，信息论通过定义一种定量的学习方法“熵”来比较任意两个随机变量的信息价值
离散变量的熵定义：
连续变量的熵定义：
假设有一枚硬币，正面朝上的概率为p,反面朝上的概率为1-p,所以问题的信息熵公式
例子实现：
- # encoding=utf-8
- import numpy as np
- import matplotlib.pyplot as plt
- p = np.linspace(0,1,100)
- entropy = -p*np.log2(p)-(1-p)*np.log2(1-p)
- plt.plot(p,entropy)
- plt.xlabel('p(x)')
- plt.ylabel('entropy')
- plt.show()
- 当概率p=0.5时，此问题的信息熵最大，也就是当概率等于0.5时，相比概率等于其它值时，更能引起人们兴趣，带来惊喜度
