没头脑和不高兴的博客分享 http://blog.sciencenet.cn/u/suxiaolu 这里是没头脑和不高兴组成的团队

博文

信息不是神马,只是编码(续)

已有 3256 次阅读 2011-3-3 21:07 |个人分类:知识领域模型|系统分类:科研笔记| 神马, 信息论, 符号, 概率空间

上文书说道,信息不是神马,只是编码。离开了信道,进入信宿,信息也就消失了。前面我们没有详细探究信源和信宿,只说道那都是香浓童鞋杜撰出来的。然而香浓童鞋杜撰出来的东西既然大家都能理解,那就必然有一定的现实性基础,这次我们就来好好研究一下这两个家伙。
信源和信宿要对概率空间的组成,以及先前某一时刻的状态有完全一致的认识,这是香浓理论的基础。只有这样,在后来概率空间发生变化的时候,信源得知了这种变化,并将这种变化编码发送给信宿,才能消除信宿对概率空间认识上的不确定性。
概率空间是一种抽象思维的产物,而不是自然界中客观实在之物,这本是很清楚明白的事情,但是很多人却在这个地方思想产生了混淆。就拿最简单的抛硬币试验来说,不论怎么叙述都要涉及这么几个抽象概念:质量、均匀、硬币、正面、反面、朝上,它们构成一个抽象的数学模型,现代社会中的受过一定文化教育的人理解这些概念,以及整个模型并不困难。但是如果我们设想一下,要把这整件事解释给一个原始部落中的人类,会不会是件轻松的事情呢?其实部落人类算是很容易沟通的对象了,毕竟大家都住在地球上适宜人类居住的区域,有结构和功能完全相同的大脑和身体,共享基本的人类常识。可见,很多我们看起来理所当然的事情,其实并不那么理所当然。
在解决了通信主体对概率空间的理解问题之后,才能继续谈论信息论后面的问题。香浓童鞋提出用熵来度量信息量,也就是消除掉的不确定性的量。概率空间的构造是千变万化的,对于同一事件,理解的角度不同,就可以构造不同的概率空间,不同的概率空间就意味着不确定性数量上的巨大差异。催生出邮票的发明的那个爱情故事,当事人双方约定的概率空间,只需要1比特的信息量就可消除不确定性,而如果是普通的爱人之间的书信,稍微多纳入一些事件的细节,为此改变一下概率空间,可能就要成千上万比特了。说句题外话,这个故事也说明:任何企图提高编码信息量的技术努力,都不如通信主体的主观能动性效果显著。
因为概率空间有无限多种可能,研究向人类这样复杂多变的智能通信主体之间的通信是很困难的,据我所知,大凡搞自然语言理解的都没有好下场,不是已经死掉了,就是快要死掉,苟延残喘。香浓童鞋的聪明之处就在于避开了这个深不见底的大坑,引入了虚拟通信主体。对于虚拟的通信主体来说,其实并不需要考虑如何构造概率空间的问题,虚拟通信主体间的通信没有那么多猫腻,用不着考虑怎么才能赖掉邮费。虚拟主体只是傻乎乎的把一串符号从这里传到那里,决不问这些符号代表什么。这样一来,概率空间就只由所传递的符号的特点唯一确定,是一个简单、先验的存在,可以放心地把处理算法烧进芯片里,几十年不变,于是世界清静了。既然对于虚拟主体来说,符号没有含义,那么这些符号组成的整条信息也理所当然没有含义,这件事情显而易见,却常常被人忽略,很多人会不自觉地把自己当成通信主体,然后对符号望文生义地解释一番,于是乎对信息论理解的很多谬误就由此而生。其实信息论只是一个关于如何传送符号的理论。不应过度解释。
今天有点晚了,本想谈谈熵的问题,下次再说吧。


https://blog.sciencenet.cn/blog-533026-418483.html

上一篇:信息不是神马,只是编码
下一篇:难住了几个硕士博士的小学几何题
收藏 IP: 111.164.202.*| 热度|

1 邱嘉文

发表评论 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 19:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部