个人理解，专业人士笑一下就好了。
熵越小，信息量越大，越不稳定。举个例子，公司年会抽奖，假设有四个球ABCD，只有一个球是10万元现金奖。负责抽奖系统的是吃喝玩乐的狗肉朋友。
（1）朋友偷偷的告诉你：A的中奖概率25%，B的中奖概率25%，C的中奖概率25%，D的中奖概率25%。不知道想不想打他一顿，这朋友是不是太不厚道？
朋友提供的信息，惊喜度很小，也就是非常稳定，信息量很少（和没说一样），这个时候给出的信息很混乱，完全没有确定度，也就是熵值很大。
（2）朋友说：A的中奖概率1%，B的中奖概率1%，C的中奖概率97%，D的中奖概率1%
这朋友当的没话说。信息量巨大，熵值接近0。
熵的减小代表着进化，同时需要外界能量介入。熵最初是在热力学出现的，现在也用于很多领域。
据说华为任正非很喜欢熵理论，有本书：《熵减：华为活力之源 华为内训书系》推荐大家看看。