书稿部分内容连载（公式太多的章节不包括），欢迎留言批评指正。不清楚地方我会根据网友意见改进补充。

《语义信息论和机器学习应用》

内容简介：语义信息论是关于优化语义通信的数学理论。本书介绍的语义信息G理论是香农信息论的推广。本书是作者30多年研究的总结。内容包括：语义信息论研究的历史回顾，作为语义信息论数学基础的P-T概率框架——同时包含统计概率P和逻辑概率T，兼容似然度和正则化误差的语义信息测度，优化语义通信效率的信息率逼真函数(它是香农信息率失真函数的推广)，投资组合的复利理论和信息价值，机器学习方法和应用。方法主要是：通过语义信道和香农信道相互匹配优化学习函数和决策（包括分类）。应用包括：多标签学习和分类，最大互信息分类，混合模型，贝叶斯确证，最大熵控制和强化学习。本书还用语义变分贝叶斯方法挑战变分贝叶斯方法，用最大信息效率原理挑战最小自由能原理。本书最后还讨论了关于信息和物理学熵的哲学问题，比如对于有预测有目的的生物世界，熵理论应该怎样改进？本书特点是：1）创新多，和主流方法兼容也多；2）理论联系实际密切；3）重视对机器学习方法的理解； 4）交叉领域较多。适合对信息论、机器学习和交叉科学感兴趣的读者阅读。

  目录

1. 引论——理解信息、语义信息和语义通信

   1.1 什么是信息？香农信息和语义信息的区别？

   1.2 为什么用了log就是信息论？——区分和优化

   1.3 香农理论的局限性——以全球定位为例

   1.4 香农反对研究语义信息吗？

   1.5语义信息论研究历史——从Hartley和Popper开始

   1.6 语义通信的特点——符号或标签通信

   1.7 火热的语义通信研究和误区

   1.8 探索适合生物世界的熵理论

   附录1：本书符号用法

   附录2：本书主要缩写

2. 香农信息论和机器学习应用

   2.1 概率框架、香农信道和转移概率函数P(yj|x)

   2.2 香农熵、香农互信息和KL距离及其编码意义

   2.3 香农理论中的匹配思想，信道容量

   2.4 信息率失真函数——信息传递的经济性思想

   2.5 经典信息论用于机器学习——从Akaike和交叉熵谈起

   2.6 估计互信息用于深度学习——未来的主角开始跑龙套了

   附录3 高斯信道容量公式推导过程

   附录4 推导求R(D)函数需要的最小互信息迭代

   附录5 证明交叉熵大于香农熵

3. 概率论——统计和逻辑的矛盾和统一

   3.1澄清概率论的几处混淆

     3.1.1区分两种概率：统计概率和逻率

     3.1.2 赞成概率的逻辑解释不等于使用逻辑概率

     3.1.3区分几种不同的置信度

      3.2 统计概率和逻辑概率的研究史

      3.3 概率公理系统的问题：归一化和条件概率的矛盾

        3.4 建立统计和逻辑之间的桥梁——以往失败的教训

4. 语义信息论的数学基础——P-T概率框架

    4.1 比较统计概率预测和语义概率预测

    4.2 P-T概率框架和语义信道

    4,3 三种贝叶斯定理

5. 语义信息测度和语义信道优化

    5.1 语义信息测度——体现波普尔思想

    5.2 语义熵和语义互信息的编码意义

    5.3 从信息率失真函数到信息率逼真函数

    5.4语义变分贝叶斯——求解隐含变量的简单方法

    5.5 语义信道容量

6. 电子语义通信优化

    6.1 电子语义通信模型

    6.2 电子语义通信优化——用语义信息损失作为失真量

    6.3 根据视觉分辨率压缩图像数据

        6.3.1度量颜色信息

        6.3.2灰度等级压缩

        6.3.3 分辨率和量化等级对R(G)函数的影响

7. 目标导向信息，信息价值，物理学熵和自由能

    7.1 和价值有关的三种信息

    7.2 目标导向信息（合目的信息）

        7.2.1 目标导向信息和反映事实的信息的异同

        7.2.2 合目的信息（即目标导向信息）的优化

        7.2.3 实验结果——权衡最大化合目的信息和最大化信息效率

    7.3 投资组合和信息价值

        7.3.1投资组合的增值熵

        7.3.2  Kelley公式的推广

        7.3.3风险测度、投资渠道和投资容量

        7.3.4 基于增值熵的信息价值公式

        7.3.5 质疑Arrow的信息价值公式

    7.4  语义信息和物理学熵之间的关系

    7.5 类比：信息价值和自由能增量，语义信息和功

8. 语义信息论用于机器学习

    8.1机器学习的基本方法——学习函数和优化准则

    8.2 用于多标签学习和分类

    8.3 用于不可见实例最大互信息分类

    8.4 用于解释和改进用于混合模型的EM算法

    8.5 用于贝叶斯确证和因果确证

    8.6新兴的和潜在的应用

        8.6.1 用于自监督学习

        8.6.2 用于强化学习

        8.6.3  用于神经网络

        8.6.4 解释深度学习中的数据压缩

9. 讨论：G理论和其他信息理论比较

    9.1 G理论兼容香农信息论

    9.2 为什么说G理论兼容并能改进机器学习

    9.3 G理论和其他语义信息论联系和区别

        9.3.1 Carnap和Bar-Hillel  的语义信息论

        9.3.2  Dretske 的知识与信息理论

        9.3.3  Floridi的强语义信息论

        9.3.4 牛凯和张平的语义信息论

    9.3.5 其他语义信息理论

    9.5 需要进一步研究的问题

10. 最大信息效率原理——一个积极的世界观

    10.1 基于热力学熵的消极世界观

    10.2 比较最大信息效率原理和最小自由能原理

    10.3 物理学熵理论不再适合有预测有目的世界

    10.4从自由能增加看地球进化

    10.5一个积极的熵世界观附录文章

附录文章：

1赌球的陷阱和数学分析

2和黄有光教授谈快乐

3用新的财富增量公式同意两种价值理论

4用译码模型解释色觉

5需求美学能解释鸟类审美趣味

6唯心主义、实证主义及现象学的崩溃――从自颠倒色觉、实指定义和虚拟实在看