信息熵，或者信息量，是由概率空间的性质决定的。前面说过，信息论当中的通信主体都是虚拟的，概率空间都是简单纯粹的，因此信息量就是个简单的数学问题。然而人们远远不满足于就此止步，而是把这些概念和理论扩展到了远比香浓童鞋当初的设想复杂得多的领域和场合。这样做的结果就是--天下大乱！

信息本来就只是编码，和真实世界没半点关系，概率空间只能反映离散世界，对于连续性无计可施。把连续的世界变成离散的世界模型，这个可不是虚拟的信源信宿能够做到的事情，且不说这个理论出来的时候信源和信宿都只是笨拙的电子管电路，就是今天最NB的处理器一样的不行，因为机器就是机器，是学不会抽象思维的。

抽象思维能力，即使对人类来说，也不是理所当然，与生俱来的。人不是从有了语言那天起，才可以相互沟通的，在那之前，也可以通过表情、动作、声音、接触等进行一定的沟通，但是这种沟通没有有意识的编码解码过程，既然不存在有意识的编码，也就不是通常意义的信息沟通，因此没有必要刻意构造概率空间；事实上，这种沟通也是有概率空间的，只不过这个概率空间是人脑神经网络从生活经验中自发形成的，没有明确的定义和严格的形式，也就无法应用信息理论加以解释，沟通的结果也不可预测。

语言为沟通规定了标准的形式，尽管从工业社会的眼光来看，它还远远不够标准，但是不管怎样，人类之间的沟通从此符号化了，于是至少在理想条件下，在语言被解释出具体含义之前，它在通信系统中的传递是有保障的，噪音和畸变是可以识别出来并加以去除的，也就是说，至少可以保证信宿听到的话就是信源说出的那一句，而不用考虑信源的地方口音或者信宿的听力下降对此有什么影响（这当然指的是信源和信宿的语言概率空间完全一致的理想情况，现实中语言是不同的人类个体各自习得的，很难完全一致）。语言本身的概率空间，尽管具有复杂的结构，但至少是有限的，可以构造出来的，并且是不经常改变的，然而信宿想要得到的，绝不仅是一串语言符号，而是理解语言的含义，从而知道自己希望知道的事实。一牵扯到语言的含义，信息论就很难应用了，因为人脑具有构造无穷多个不同概率空间的可能性。发出什么信息是由信源的通信意图，结合他对信息所涉及的概率空间的认知，以及他对信宿概率空间的猜测所决定的。而信宿从信源发出的信息中得到多少信息量，是由信息本身，自己的概率空间，以及对信源的概率空间的猜测所决定的。这样一来，就不存在一个两边一致认可的“客观”信息量，而只有信源和信宿各自的“主观”信息量，分别由信源发信时的主观心理状态和信宿收信时的主观心理状态所决定。如果我们不打算强迫香浓童鞋去研究心理学，那么最好还是就当作信息在进入人脑的那一刹那就此消失了，而不要再去管后面发生的事情。简单的说，当信息遭遇智能，唯一的结果就是死掉。