上次写得不满意，删除重新上载。书名改了，用了“G理论”是因为ChatGTP回答语义信息问题时会提到我的语义信息G理论。用“语义信息G理论”便于区别其他语义信息理论。

1.1 什么是信息？香农信息和语义信息的区别？

英文中两个单词“information”和“message”都可能翻译成信息，但是严格说来， 前者是信息论所说的信息，后者在大多数情况下应翻译成“消息”或“留言”。可以说，message是information的载体，information是message的内容。

如果用通俗的语言来说，信息就是我们以前不知道或知道得不那么确定的东西。麦凯在1969年的文章种(Mackay, 1969)说了类似的话。有些字典也有类似解释。不确定又分为发生不确定和范围不确定。发生不确定的例子比如：看见闪电，我们知道很快有雷声——雷声的确定性提高了，闪电就提供关于雷声的信息。类似地，公鸡叫提供关于天亮的信息；树枝弯曲提供关于风的信息。前者提高了后者发生的确定性。这类信息就是香农信息，信息量可以通过概率的增加来表示。这也是为什么香农定义：信息是减小的不确定性。这也是哈特莱的定义。

范围不确定的例子比如：我以前不知道张三年纪，你告诉我他是未成年人，我就得到了关于他年纪的信息——因为不确定范围减小了。如果你告诉我张三17岁， 我得到的信息就更多，因为不确定范围更小了。我以前不知道张三出生地，如果你告诉我他出生于中国，因为范围太大，提供信息极少；如果你告诉我他出生在某省某县，范围缩小了，信息就多。自然语言提供的几乎所有信息都涉及范围或概念外延。自然语言告诉我们以前不知道的东西是什么？就是回答“谁”，“什么”、“何时”、“在哪”、“干什么”、“怎样”…时提供的。这些回答减少了所指对象范围的不确定性。我们称这类信息是语义信息。

什么是语义？语义包括外延（即所指对象的范围）和内涵。但是许多学者的语义学研究只考虑语义的外延方面，如Davidson的真值条件语义学【】。我们也可以认为仅考虑外延的语义学是形式语义学。因为只考虑形式，结论才更有一般性，如同数学。

英语中的语义信息是“semantic information”, semantic在这里的意思是有含义的，所以语义信息不限于语言的信息。因为时钟、定位地图、温度表、股市指数、红绿灯…也回答各种疑问，也能翻译成对疑问句的回答，所以它们也提供语义信息。西方哲学家Floridi就如此肯定【】，我很赞成。机器学习中，有人也称反映事物特征的图案（比如像水的波纹）含有语义信息。语义在这里当理解为“有含义的”。

我们的感官和测量仪器是类似的，比如一种色觉反映了某些色光（它们的主波长和饱和度相同），也提供语义信息。信息的多少和感官的色觉分辨率有关。我的语义信息研究就是从色觉开始的。我于1990年在一个不正规的英文模糊数学期刊BUSEFAL上发表了一篇文章《香农公式改造和应用》【】，其中就有现在机器学习常用的交叉熵和SoftMax函数，也有最近一些学者提出的语义熵【】。我在这篇文章中就讨论了怎样度量色觉信息，以及色觉信息如何和分辨率相关。

计算机科学通常把信息定义结构化的有用的数据。奎格利和戴彭斯（Quigley and Debons,1998）解释说，这些数据提供信息是因为它们也回答各种问题【】。不过严格说来，数据只是载体，不是信息本身。

各种含有语义信息的载体，比如GPS指针（指一般的全球定位系统，而非特指美国的GPS），都有一个共同特点：代表一个小范围内对象，而事实可能超出这个小范围，有对错或误差。

有人会说，一个真的小狗出现时，它自身就提供语义信息。其实小狗也还是通过我们的感官观察到的，在理论上存在错误或混淆的可能。如果错误可能性极小，为方便起见，我们也可以假设事物自身提供信息或语义信息。不过信息多少还是和观察者的分辨率有关。

现在我们可以说， 香农信息是减少的事件发生的不确定性，语义信息是减少的概念外延（所指对象的范围）的不确定性。无论对于香农信息还是语义信息，香农的信息定义——信息是减少的不确定性——同样适合。

有香农信息未必有语义信息，但有语义信息必然有香农信息。比如医学检验中，阴性表示没病，阳性表示有病；阴性和阳性提供关于有病没病的语义信息。如果不考虑对错，信息就是香农信息。因为用香农信息公式度量阴性和阳性提供的信息的时候，即使总是报反了，香农信息一样多；而语义信息量会不一样。天气预报也是如此【】。GPS定位提供的信息也是，包含香农信息和语义信息，如果存在系统偏差，语义信息就大为减少；而香农信息不变。

为什么很多人不能接受香农的信息定义？第一个原因是，人们根据香农的信息公式把不确定性理解为事件发生的不确定性，认为这个定义和语义无关，不合适日常和语义有关的信息。但是，如果认为不确定性包含范围的不确定性，我们就能看出香农定义也合适语义信息。

第二个原因是：很多人认为我们的信息来源首先是事物引起的红绿、冷热、酸咸等的感觉，这些感觉或事物的感觉性质含有信息——关于事物自身是什么样子的信息。香农的定义不合适这样的信息。他们更加接受这样的定义：信息是被反映的物质性质。这种看法基于朴素的反映论观点：我们的红色觉反映了物体或色光红的性质。

然而，现代色觉理论和科学哲学并不支持这种哲学观。我为此写过专著《色觉奥妙和哲学基本问题》http://www.survivor99.com/lcg/books/color/index.htm  ，它介绍了两个发现：1）色觉机制如同数字电路中的译码器，我们的色觉只是符号——模拟量符号，一种色觉是某一类色光（同色异谱的色光）的符号；2）不同的人对于红花绿草的感觉可能不同，如果两个人红绿天生色觉颠倒，但是语言一致，这是可能的。所以，结论是：认为红绿色觉反映红绿属性，这在逻辑上得不到证明；色觉提供的信息是关于色光类别的信息，而不是色光自身是什么样子的信息。

色觉天生颠倒不影响语言一致，这在美国已经是比较公认的结论，但是美国哲学家没有得到我关于实指定义的结论——那样他们就是唯物主义者了。参看斯坦福哲学百科全书条目“Inverted Qualie” 和我的文章《由颠倒色觉的逻辑可能性澄清实指定义》http://www.survivor99.com/lcg/my/007-inverted.html 。

不过，香农的定义偏向技术，我们似乎也需要偏哲学的信息定义。为此，我在《广义信息论》一书中提出信息定义：信息是被反映特殊性。这一定义和香农的定义是兼容的。因为逻辑概率越小的事件就越不确定，也越是特殊。钟义信等人定义：信息是对事物运动和变化的反映。这也是可以接受的。因为事物维持现状先验概率大，运动而且朝特殊方向运动的先验概率小，反映出来就是后验概率大，所以运动提供信息多。

有人对只关注外延的语义信息度量方法不满意。比如，我们度量“老年人”的信息，只根据“老年人”的外延——包含哪些年龄的人，而不考虑老年人具体是什么样子。他们认为我们还要考虑老年人的很多属性，比如头发白，皱纹多、衰老等。我要说，要提供“老年人”的各种属性信息，最好是手指老年人，或通过绘画和视频说明。类似地，要想通过各种动植物名称提供动植物的属性信息，最好的办法是用图文字典或纪录片。提供对象的类别信息和提供对象的各种属性信息，任务不同。不能因为一个否定另一个。我们频繁地遇到“老年人”一词，只有一开始需要了解“老年人”到底是什么样子，后来就不需要了。我们要度量的信息都是后来“老年人”提供的信息。