博文
信息概念点卯（一）定量理论
|||
恐怕没有人会否认我们生活在“信息时代”。可是，什么是这个定义我们时代特征的这个东东，什么是“信息”呢？不问则已，一问发现不是没有答案，而是众说纷纭。这里，把俺接触到的若干“信息”概念给叫出来瞅瞅，算是支持倪鹏云老师倡导成立信息本质探讨圈子。
（1）先说来自电子工程和通讯领域里的香农（Shannon）“信息论”。这个定量的理论给了我们一套数学工具，可以对带宽、噪声、“信息量”等等的相互关系进行量化的处理。可是，它既不定义信息，也不关心意义。香农最初的论文标题叫做“通讯的一个数学理论”（A mathematical theory of communication，既不是后来出书时候的“The Mathematical Theory of Communication”，也不是后来大家习惯所称的“information theory”）。他在其中明确表示该理论不对付意义方面的问题。“矿工全部救出来了”这条消息，在特定编码空间里和传输条件下，跟“矿工全部埋起来 了”，相区别的程度，相混淆的概率是可以计算的，由此可以确定其信息量等等是可以的，在语言研究、密码学等等也大有用武之地。可是，要帮助我们理解这条消 息的意义，大概是无能为力的。具体说来，这里的原因在于香农信息论只对各个可能信号的概率进行量化。香农自己就曾经写过一篇短文，叫做“游行彩车” （“The Bandwagon”），抱怨对他的概率量化理论的滥用，把该理论糟蹋成游行彩车，谁见了都往上跳。
（2）再举一个量化理论的例子：算法信息论（Kolmogorov，Chaitin；在加拿大滑铁卢的李明教授是这个东东的权威）。它的基本思路是可以用生成特定比特串的机器的复杂度，来度量该比特串的复杂度。跟图灵机可以相通，跟香农信息论也有一定联系，但是依然不能对付意义。
（3）第三个量化理论是Rolf Landauer提出来的，把热力学跟信息操纵联系起来，其大意是把信息的不可逆丢失（比如两个比特通过与门变成0，而从这个0，你不可以再知道当初输入那个是0，那个是1）跟热的释放定量地联系起来，每丢失一位，释放的热量跟kT成正比（其中k是玻尔兹曼常数，T是器件的温度）。这个理论把信息跟热力学意义上的秩序以及（不）可逆性直接联系起来。
好，量化的理论说完了。下回说点和意义有关的“信息”概念。
https://blog.sciencenet.cn/blog-453866-373503.html
上一篇：有限无穷的实数人生
（1）先说来自电子工程和通讯领域里的香农（Shannon）“信息论”。这个定量的理论给了我们一套数学工具，可以对带宽、噪声、“信息量”等等的相互关系进行量化的处理。可是，它既不定义信息，也不关心意义。香农最初的论文标题叫做“通讯的一个数学理论”（A mathematical theory of communication，既不是后来出书时候的“The Mathematical Theory of Communication”，也不是后来大家习惯所称的“information theory”）。他在其中明确表示该理论不对付意义方面的问题。“矿工全部救出来了”这条消息，在特定编码空间里和传输条件下，跟“矿工全部埋起来 了”，相区别的程度，相混淆的概率是可以计算的，由此可以确定其信息量等等是可以的，在语言研究、密码学等等也大有用武之地。可是，要帮助我们理解这条消 息的意义，大概是无能为力的。具体说来，这里的原因在于香农信息论只对各个可能信号的概率进行量化。香农自己就曾经写过一篇短文，叫做“游行彩车” （“The Bandwagon”），抱怨对他的概率量化理论的滥用，把该理论糟蹋成游行彩车，谁见了都往上跳。
（2）再举一个量化理论的例子：算法信息论（Kolmogorov，Chaitin；在加拿大滑铁卢的李明教授是这个东东的权威）。它的基本思路是可以用生成特定比特串的机器的复杂度，来度量该比特串的复杂度。跟图灵机可以相通，跟香农信息论也有一定联系，但是依然不能对付意义。
（3）第三个量化理论是Rolf Landauer提出来的，把热力学跟信息操纵联系起来，其大意是把信息的不可逆丢失（比如两个比特通过与门变成0，而从这个0，你不可以再知道当初输入那个是0，那个是1）跟热的释放定量地联系起来，每丢失一位，释放的热量跟kT成正比（其中k是玻尔兹曼常数，T是器件的温度）。这个理论把信息跟热力学意义上的秩序以及（不）可逆性直接联系起来。
好，量化的理论说完了。下回说点和意义有关的“信息”概念。
https://blog.sciencenet.cn/blog-453866-373503.html
上一篇：有限无穷的实数人生
