鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

香农反对研究语义信息吗?——《语义信息G理论》连载之5

已有 232 次阅读 2024-12-20 11:25 |个人分类:信息的数学和哲学|系统分类:论文交流

上个世纪,机器学习还没有兴起,很多经典信息论捍卫者排斥对语义信息的研究,国际权威信息论期刊IEEE Transaction of Information Theory(简称IEEE IT)从不发表研究语义信息的文章。主要原因是香农说过这样的话【1(P. 3)

通常, 消息含有意义, 也就是说, 它们指代概念实体或(根据某些系统)与某些物理或概念实体相关联。而通信的这些语义方面与工程问题无关。

实际上, 香农只是限制其理论应用范围, 并不是反对语义信息研究。如果他反对, 他怎么会同意把自己的文章和Weaver的那篇倡导研究语义信息的文章放一起出版呢【22】?香农那样说的原因是担心有人对其理论期望过高,盲目地把它用在很多涉及语义信息的场合,得到似是而非甚至荒谬的结论。而香农深知其理论的局限性,所以强调工程应用(主要是电子通信编码)可以不考虑语义问题。

另一方面,香农信息论问世后很长一段时间,计算机和情报等行业不接受香农的信息定义,比如计算机教科书通常定义:信息是结构化的有用数据。这主要是因为香农信息测度不能度量语义信息,而计算机科学的主要任务——数据处理——就是信息处理。从G理论角度看,有用数据(包括文字、图像和语音)都是有含义的,因而传递语义信息。但是数据本身只是载体,并不是信息本身。

过去学术界对语义信息论的排斥也和大家对语义信息的理解有关。很多人想把语义信息内容(符号所代表对象的各种属性)当作度量对象,这当然是困难的。而按照Davidson的形式语义学,我们可以只考虑真值函数或概念的外延。这并不是坏事,因为只有在仅考虑形式时得到的公式和理论才具有一般性。按照这种理解,真值函数就反映语义(形式语义)。

其实香农理论也离不开语义。失真量是真值的反面,两者之间可以建立转换关系:真值=exp(-失真量)。这个公式可以保证:失真量等于0 时真值等于1,失真量是无穷大时真值等于0. 香农使用了失真函数,所以其理论也涉及语义。后面我们将说明:给定平均失真限制的香农互信息正好可以用语义互信息公式表示。参看我的语义信息论研究网页:http://www.survivor99.com/lcg/books/GIT/ 

可幸的是,中国语义信息研究遭遇要好一点。北京邮电大学的钟义信教授和吴伟陵教授(先后当过中国信息论学会会长)上世纪八十年代就倡导语义信息研究。钟义信教授更是坚持不懈,他最早呼吁信息论和人工智能相结合,还提出信息哲学和信息生态学,他的有关才研究比西方信息哲学家Floridi的研究还早。正是在这种环境下,我研究语义信息的论文和专著得以在上个世纪90年代初发表。

最近十几年, 随着人工智能和互联网的发展, 社会对语义通信理论的需求越来越迫切, 越来越多学者,特别是研究机器学习和希望根据语义做数据压缩的人,开始研究语义通信理论,包括语义信息论。IEEE Information Theory Society名下除了IEEE IT也有了姊妹期刊IEEE Journal on Selected Areas in Information Theory, 它经常发表关于语义通信的文章。

捍卫一个理论最好的方法是改进它,让它在适应性更广的理论中保留其核心地位,而不是限制其发展和应用!这也应该是香农所希望的。



https://blog.sciencenet.cn/blog-2056-1465227.html

上一篇:香农信息论的局限性——《语义信息G理论...》连载之4
下一篇:语义信息论研究历史——从Hartley和Popper开始——《语义信息G理论连载之6》
收藏 IP: 99.199.190.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-22 13:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部