信息熵是对信息的度量，那什么又是信息呢？ 直观上的理解就是，知道我们原来不知道的事物就是获得信息的过程，因此对于个人来说，一件事的未知性越大，即不确定性越大，相应的信息就应该越大，传输或者存储应该付出更多的代价。例如我们说太阳从东边升起，这是一件必然的事，听到这句话没有获得任何信息，因此它的熵是0，信息论中信息与不确定性等价。

有了这个直观认识，可以对其数学化，在数学中表达不确定性的就是概率。在上面的例子中，我们讨论信息的时候，实质上是在说一件事发生的概率大小，这件事有一定概率发生。我们说信息熵是大是小，要明确是哪个随机变量的信息熵，这样才不至于迷糊。一件事发生的概率大，那么它的熵就小，一件事发生的概率小，那么它的熵就大。

问32支球队哪个得冠军，我们可以设一个随机变量X表示得冠军的球队，假设每个球队得冠军的概率相等，那么一个球队的熵x1 表示为 h(x1) = logp(x1), 所有球队求和得到X的熵：

一般情况对数取2为底，表示X对应的比特数。

总之，信息熵可以让我们定量的说出信息有多少，让一个抽象的概念可以定量的描述。另外，当我们说到信息熵的时候首先明确一下是哪个随机变量的信息熵，该随机变量的样本空间是什么，然后运用概率论的知识就可以求出来了。需要注意的是信息量的多少和信息的重要性没有必然的联系，信息熵只是在数量上给了一个数值，并非表示该信息的重要性。

参考 数学之美