姜咏江       

关键词：信息 信息处理 信息熵                                               

前言

什么是信息？时至今日仍然有很多人说不清楚。一谈到信息，常见是一大堆信息的历史，还有各家各派的观点，很少有作者自己的观点。本文想从实际通信数据计量的角度，谈谈有关信息的概念和信息如何度量问题。文中力求简单通俗的给出信息的概念，说清楚香农的信息熵度量同现今实用信息量的关系。希望此文能与读者共同探讨。

信息的概念

简单地说，信息就是事物的表现和描述。

事物、表现、描述是人类最基本的一类概念。事物是指世间的万事万物。表现是事物在环境中自身发出的属性。而描述是事物之间的相互关联属性。事物之间通过表现或描述进行相互联系和作用，从而才构成了纷纭复杂的世界。表现是一种直接的形式，描述是一种间接的形式。

一切事物自身的存在总是在一定的环境内表现着，这是事物存在的一种形式，这种形式不以人们或周围的事物是否已经“感知”它的存在为客观现实。当人们或周围的事物感知某事物存在的时候，在人们或其他事物之中就形成了一种区别于被感知事物的描述，这就是信息。举个例子，某处发生了爆炸，那么其周围的环境就会以声音和光等形式将爆炸描述出来，并传递到各个能够接受的事物。由于爆炸周围有空气，故而才会以声光的形式传播。没有爆炸自身的表现，就不会有爆炸现象的描述与传播。因此人们说：“表现是信息的根本，描述是信息的长期存在形式。”

信息既不是物质，也不是精神，信息就是信息。信息依赖事物存在，事物通过信息相互关联。

信息属性与相关概念

正因为信息是表现或描述，故而，信息可以存储、复制、转化、传播、由简单到复杂地综合、从复杂到简单地分析。这些是信息的基本属性。进行信息属性方面的工作，就称为信息处理。数据体现了信息将被处理的特性，因此待处理的信息是人们常说的数据。

信息是事物的表现或描述，自然要涉及到表现或描述什么？用什么表现或描述信息？还有如何得到信息的表现与描述的问题。如何得到信息的表现或描述就是信息处理问题。回答表现和描述什么，引出了信息主体概念。回答用什么来表现和描述信息，引出了媒体的概念。

信息表现描述的对象叫信息主体，信息赖以存在的物质形态叫媒体。由信息主体或媒体都可以来划分信息的种类。例如，商业信息，战争信息，这是从信息主体方面分类的。再如，电信息，光信息，声音和文字等信息，这是从媒体方面进行分类的。

由于信息主体纷纭复杂，信息媒体多种多样，才使以往的认识难以准确给信息定义。从信息主体与信息媒体可知，信息不是物质，也不是人们的精神，而是事物关联作用的一种客观形式。主体是信息产生的根源，媒体是信息存在的形式，二者缺一不可。

信息的度量

信息的概念长期遭到的困惑，恐怕是因信息量的问题而起。信息以表现或描述的存储方式，对人类社会很有用，所以信息很早就成为了有价值的东西。特别是现代社会，信息早已经成为了可以交换的商品。商品交换需要度量信息。但由于商品交换价值的随机性，因而信息的计量也曾被左右其中了。

由于信息概念起源于通信学问题，从人类通信的角度来看，同一个消息，对受信者有知晓程度之分，故香浓前辈将信息量定义为“未知程度”的量度。显然，这种度量信息的方法，只可以说明信息对接受者的“有用程度”，但因为并没有一把统一的尺子，也就不具有“客观性”。  

度量不仅要在同一属性内进行，而且一定要有一个统一固定的尺度，这两者缺一不可。香浓的信息量度量，虽然有同一属性的前提，但缺乏统一的尺度（概率难确定），因而不能对不同的信息进行有效准确的度量。

计算机的出现，使信息的度量有了客观的，统一的尺子。由于在计算机领域中，用二进制数可以表示一切信息，因而，信息量的大小就可以用二进制数表示的位长来量度，bit就是统一的尺度。这种量度不会因人而异，不必再通过通信的方式才能度量，所以客观实在，目前被人们普遍接受了。在二进制中，表达的数码的位数是由最高位前一位基数幂2ⁿ来确定的。若一条信息是二进制数N，那么这个数的位数就是log₂N，于是可定义信息量n=log₂N。不难理解n就是bit数量。

由于用k进制数也可以表示任何信息（这是理论上的，实际上要寻求具体的表达方式），那么k进制数N表示信息的信息量也可以用n=log_kN表示，k是大于1的整数。   

 概率信息量的解释

宇宙间的一切事物无不具有两重性，这就是“确定性”和“不确定性”。信息虽然也是客观实在的东西，但充满了不确定性也是它的一个重要特征。人们最早注意到信息，是来自“消息”。因为各种各样的消息会引导人们的行动。特别是在战争中，消息往往会起着决定战争胜负的作用。消息有真有假，当人们已经知道某个消息之后，这个消息再传来，已经是过时的了，因而就没有对这个消息一无所知的人用处大。可见消息或信息的“可用性”是它们的一个重要属性。从信息对人们的可用性来考虑，同一信息对不同的接收者的作用来说，就有大有小，对于这方面度量研究，就产生了香农的信息熵的概念。

熵实质上就是概率条件下的信息接受者所得到的信息量。

由于信息对不同的接收对象D作用不同，香农就想到用事件的概率作为信息量度的依据。假如一个信息接受对象D能够用随机变量x表示其构成的样本点，并以概率p(x)向x传送信息。由于0≤p(x)≤1，那么每一个p(x)“这个数”的二进制表示就需要 -log₂p(x)位数码。

从不确定的可能性理解，这个二进制数的位数到传达到D的实际信息量就应该应由p(x)来确定，即为 -p(x)log₂p(x)。作为表达该信息对象D的全部的信息量，应具有求和特征。于是用H表示信息接受对象D接受的全部信息量（即所谓的熵），则有二进制数表达的公式

H = -

易知同样可以得出其他进制这样的熵公式。

从香农信息量计算公式的得出，不难看出他首先使用了信息数值化方法。也就是用二进制数来表示概率，其次才找出一种熵的计算公式。虽经千变万化，最终还是以“数码的位数”来确定信息量的大小而已。

古典概型下的熵

在古典概型下，很容易证明所谓的信息熵H，就是有x个样本点的数x的位数 log₂x。因为古典概率p(x)=1/x，所以

    H = -

     =

=   

=    log₂x

二进制编码

人们之所以采用二进制来计算信息量，是因为通信使用二进制编码，计算机也使用二进制编码。信息采用何种度量方式，取决于人们对信息的工作方式，亦即信息处理方式。当然也取决于人们对信息的量化方式。从“可能”到“必然”是人们求知认知的过程。如今人们已经准确地掌握了数字编码和通信的方法，当人们处理一个编码数据的时候，已经基本上没有了那种“不确定性”。而且真的有了错误，还能够及时纠正，因而也就无需非要与“概率”硬拉关系，除非要搞纯粹的“数学理论推导”。

统一采用二进制编码来度量信息量，直观，简单，易于量度，没有二义性，因而被人们现在的信息社会普遍接受。特别是在通信问题中，不会有人提出用bit的数量来度量，有什么不合理的地方。

结言

数字化时代，信息量的计算十分简单，只要数一数以数码方式表达的信息有多少位，就知道这个信息的信息量有多大了，不必再麻烦香农前辈。

依据信息通信和计算机的实践，各种各样的信息都可以用二进制数表达出来，而且信息处理的过程都在用bit进行计量。这种既简单又实用的信息表达与计量方式，不正反映了信息的真谛吗？过多地重复人们对信息艰苦的认识过程，并无更大的意义。