7.信息熵的定义.docx

信息熵的定义

信息的作用在于消除事物的不确定性，一个信息所包含信息量的大小可用其消除的不确定性的多少来衡量.获得信息的目的在于减少不确定度，信息的质量越高，其消除的不确定性越大.获取信息的过程是一种从无序向有序转化的过程，因而人们把熵的概念延伸过来，用信息熵来描述事物的不确定程度.信息熵越小，事物的不确定性也越小.事物完全确定，信息熵最小，定义为零.由于信息的获得意味着事物不确定性的减小，于是可以用接收某一信息后事件的信息熵的减小值来描述这个信息的信息量的多少.

信息熵概念的建立，为测试信息的多少找到了一个统一的科学的定量计量方法，奠定了信息论的基础.这里引人的信息熵的概念，既不与热力学过程相联系，也与分子运动无关，但信息熵与热力学熵之间有着密切的关系.可以证明，信息熵与热力学熵二者之间成正比关系.从某种意义上讲，我们完全可以这样看，熵概念在热力学中即为热力学熵，应用到信息论中则是信息熵.

1948年申农（Shannon）发表了《通信的数学理论》，在这个理论中提出了信息熵的概念：，其中P_i为系统的第i个微观态出现的概率，也是第i个信息基元出现的概率.P表示概率，而概率都是小于1的，所以求出来的实际上是正值，，也就是对于所有可能状态求平均值.

假设这个系统每个状态取到的概率都相同，那么概率就和状态数成反比.所以信息熵就可以写为，和热力学熵只是底数的区别.这里取2是因为可以和信息里的bit相对应，可以估算系统所有状态可以大概可以用多少个bit长度的二进制数列一一对应.当系统每个状态的概率都一样时信息熵实际上是取到了最大值.这时系统所含信息量最大.反之，当概率集中在一个状态时，信息熵最小，所含信息量也最少.