《概率图模型：原理与技术》译者序

王飞跃

    由清华大学出版社出版的《概率图模型：原理与技术》将于近期发布，敬请关注京东、当当、亚马逊的图书信息。

--------------------------------------------------------------------------------------------

译者序

美国斯坦福大学教授 Daphne Koller和以色列希伯来大学教授Nir Friedman的专著《概率图模型：原理与技术（Probabilistic Graphical Models: Principles and Techniques）》是机器学习和人工智能领域一部里程碑式的著作。本书内容十分丰富，作者以前所未有的广度和深度，对概率图模型这一领域的基础知识和最新进展进行了全面描述和总结。显然，这本书是对Judea Pearl教授关于不确定情况下贝叶斯网络推理与决策方面开创性工作之权威和重要的拓广，是本领域专家学者和研究生的最佳参考书和教科书之一。近几年来，人工智能和机器学习的研究与应用已成为全球性的科技热点，此书的出版恰当其时、正当其用，并且已产生了十分积极的影响。

将一本近1200页的英文原著翻译成中文，的确是一次刻骨铭心的难忘经历，有时甚至感觉自已比原著的第二作者Friedman更有资格被称为“烤焦的人”（英文就是Fried man）！此书内容广博，而且作者特别善于见微知著，长篇细论，即便是单纯地读完此书亦需要坚韧的毅力，何况将其译成中文！用Koller自己在邮件中的话说：“这是一次英雄般的努力！”对于英文原著国内外已有许多评论，我已无需锦上添花。在此，只希望简要回顾一下自己为何如此钟情于此书以及本书五年的翻译历程，权当为序。

自提出社会计算这一新的研究领域之后，我一直试图寻求能够支撑社会计算的理论框架与解析方法。2004年正式提出基于人工社会、计算实验和平行执行的复杂系统计算方法ACP框架，同时也将其作为社会计算的一般框架，因为社会计算所涉及的社会问题，显然是典型的复杂系统问题。但社会计算用于量化分析的一般解析方法是什么？在哪里？这在当时是一个首要的研究问题。自2007年起，作为副主编，我不断地推动《IEEE智能系统（IEEE Intelligent Systems）》杂志将社会计算列为主题，并先后组织了社会计算、社会学习、社会媒体、社会安全等相关专题专刊的征稿与出版，试图通过这些工作寻找完整的社会计算框架、方法及应用的学术“生态”体系。这些工作，得到了时任主编James Hendler教授的热情支持，他自己与Tim Berners-Lee还相应地提出了社会机器（Social Machines）的研究方向。我于2008年底接任主编，次年的年度编委会之后，Jim打电话问我对Koller和Friedman的《概率图模型》的看法如何，可否在IEEE Intelligent Systems上组织一篇书评。但当时我并没有看过此书，因此建议由他来找人写。

2010年春，我们实验室的王珏研究员再次让我注意此书，认为这本书会将对机器学习的研究产生重要影响，建议我组织大家学习讨论，并组织人员翻译。在此情况下，我才买了英文原版书，一看此书一千多页，比一块厚砖头还厚，当即就对能否找到时间翻译产生怀疑，表示不可能有时间从事这项工作。

然而，粗读此书后，特别是从网络搜索了相关基于概率图模型的研究论文之后，我下定决心组织人员翻译此书，并立即让正在从事相关研究的博士生周建英着手写相关综述（见周建英、王飞跃、曾大军，“分层Dirichlet过程及其应用综述”，自动化学报, 第37卷4期, 389-407, 2011）。促使我态度转变的原因主要有三点：首先，本书是按照“知识表示—学习推理—自适应决策”这一大框架组织的，与我自己的ACP（即：人工社会/组织/系统 + 计算实验 + 平行执行）方法之主旨完全一致。显然，基于概率图的表示是人工组织建模方法的特殊形式，机器学习和相关推理是计算实验的智能化方式，而自适应决策则更是平行执行的闭环反馈化的具体实现。实际上，我一直希望把计算实验与机器学习打通，从而使统计实验方法升华并与最新的机器学习方法，特别是与集成学习（ensemble learning）结合起来。其次，概率图模型方法已在文本分类、观点分析、行为分析、舆情计算、车辆分类、交通路况分析以及智能控制上有了初步应用，这些都是我所带领的团队当时正在从事的研究及开发工作，而我正苦寻有何方法能将这些工作的基础统一起来，从而实现从基础、研究到应用的一体化整合，概率图模型为我开启了一个十分具有前景和希望的途径。唯一的缺憾，是我对此书的内容组织和写作方式有所保留，觉得虽然总体合理流畅，而且还用了“技巧框盒（skill boxes）”、“案例框盒(case study boxes)”、“概念框盒（concept boxes）”等让人一目了然印象深刻的表述形式，但对一般研究人员，特别是伴随微博微信成长起来的QQ新一代，此书相对难读，对某些人甚至基本无法读下去。因此，我希望通过细品此书，能够写出一本自己的书，就叫《可能图模型：原理与方法》，作为社会计算、平行方法和知识自动化的基础教材，统一我们团队学生之基本功的培育和修炼。

有了这些想法，立即付诸行动。为了尽快完成翻译，我准备尝试利用自己一直全力推动的“人肉搜索”众包形式，希望通过社会媒体号召专业和社会人士参与此次工作，也为将来此书中文版之发行打下一个良好基础，就算是一种“计算广告”和“精准投放”实习吧！首先，我在实验室组织了十多名学生参与此次工作，作为众包的“种子”；再请王珏老师给大家系统化地上课，讲解此书；希望在此基础上，再挑选一批人，进行翻译，其余的参加翻译的讨论，并将翻译讨论后的结果分布于网上，发动专业和社会人士，进行评论、修正和改进，以“众包”方式完成此书的中文翻译。王珏老师对此给予我极大地支持，并安排了他的学生韩素青和张军平等参与此次工作。

与此同时，我也开始联系此书的版权事宜。王珏老师推荐了清华大学出版社薛慧老师作为联系人，我也找到了正邀请我写作《社会计算》的MIT出版社的Jane 女士，询问翻译版权事宜。Jane立即回信，表示感兴趣，同时将回信抄送Koller和Friedman，并表示她将参加2010年5月在Alaska召开的IEEE 机器人与自动化国际大会（ICRA）大会，因我是IEEE ICRA2010的国际程序委员会委员，希望见面细谈。其实自己原本不想去Alaska，但为了尽快顺利促成此事，我决定还是去一趟。对于此次会面，我印象极深，一是刚下飞机就接到国内电话，社会计算工程团队发生重大事件，让我十分担心；二是刚进大会酒店Hilton大厅，一眼就看到左边酒吧里同事JM正与一位女士坐在一起品酒交谈，JM起身与我打招呼，并介绍他的女伴，原来正是Jane！版权事宜很顺利，Jane说她刚开始时担心翻译质量，因为此书很有难度，现在放心了。而且，对清华大学出版社也很了解，可又担心此文的中文版权是否有繁体与简体的冲突，因为繁体中文版权已授予一家台湾公司。对此，我只能介绍了她与清华大学出版社薛慧直接联系，似乎后来的版权事宜还算顺利。

没有想到的是，接下来的翻译工作极不顺畅。参与学习班的许多同学提交的初稿可以用一个词来描述：“惨不忍睹”。错误理解、望文生义，甚至将意思满拧，比比皆是，有时让人哭笑不得，完全可以用“天马行空，独往独来”来形容。让我难以相信，这是出自完成大学甚至硕士学业的学生之手。我一度想把这些翻译放到网上，让大家开心一下，或许会吸引更多的人士参与此书翻译的众包工作。但王珏和几位同事的意见完全打消了我的想法，也使我放弃了以“众包”方式进行翻译的打算。主要原因是当时希望能趁大家还在热切期盼此书的时候出版中文版，而众包翻译这种形式从未尝试过，结果如何不能妄断，万一比学生翻译的还差怎么办？何时才能完成？就是完成之后，署名和其他出版问题如何解决？最后，决定由我主笔并组织翻译工作，分翻译、统稿、审校、修正、清样校对五个阶段进行，邀请实验室毕业的韩素青、张军平、周建英和杨剑以及王立威和孙仕亮等机器学习领域的一线年轻研究人员辅助。在2012年以前，我只能用零星时间从事翻译工作。2011年底的一场大病，让我在之后有了充裕的时间和精力一边修养一边翻译修改。特别是在北京西郊与山林相伴的日日夜夜，效率极高，终于在2012年夏初初步完成了此书的翻译和统稿。

必须说明的是，本项工作是集体努力的结果。参与人员五十余人，多为我和王珏老师的历届学生。首先，非常感谢韩素青博士在翻译和统稿过程付出的巨大努力和心血，她的坚持使我打消了一度放弃此项目的想法。此外，我团队的学生王友忠、王坤峰、王凯、叶佩军、田滨、成才、吕宜生、任延飞、孙涛、苏鹏、李叶、李林静、李泊、李晓晨、沈栋、宋东平、张柱、陈松航、陈诚、周建英、赵学亮、郝春辉、段伟、顾原、徐文聪、彭景、葛安生等参与了本书的翻译，北京大学的王立威教授、复旦大学的张军平教授、华东师范大学的孙仕亮教授、北京工业大学的杨剑教授、公安部第三研究所的周建英博士、中国科学院自动化研究所的王坤峰博士参与了审校，我的学生王坤峰、田滨、李叶、李泊、苟超、姚彦洁等参与了修正，最后，王坤峰带领我团队的学生王晓、亢文文、朱燕燕、刘玉强、刘裕良、杨坚、陈亚冉、陈圆圆、苟超、赵一飞、段艳杰、姚彦洁等完成了清样的校对和通读，在此我向他们深表谢意。还有许多其他同学和同事在不同阶段参与了本项工作，十分感谢他们的贡献，抱歉无法在此一一具名。

在此书的翻译过程中，还得到Koller教授的帮助。2011年8月上旬，我在旧金山的AAAI年会上与她相见，讨论了翻译事宜。Koller表示可以让她的两位中国学生参与翻译，我还同他们联系过，但除了几个名词和一些修正问题，并没有太劳驾其学生。Koller提供的详细勘读表和网站信息，对我们翻译的校正很有帮助。今年四月，我赴美参加主编会议，本计划去旧金山与Koller见面确定翻译的最后一些细节，不想因病作罢，只能通过邮件进行。

此书的翻译还让我与斯坦福大学人工智能实验室的三位主任有了较深的来往，而且三位分别是当今世界上最成功MOOC网络大学Coursera和Udacity的创始人。当Koller因和吴恩达创办Coursera而辞去AI主任之后，Sebastian Thrun接任，那时我恰好与他合作组织IJCAI2013北京大会。2011年他来京得知我们正在翻译《概率图模型》后，希望也能翻译他的《概率机器人（Probabilistic Robotics）》。自己虽然教授了20年的机器人课程，但再无精力和时间做此类工作，只能安排实验室其他研究人员承担。但是他的中文翻译版权已被转让，只好作罢。后来Thrun辞去斯坦福和谷歌的工作，创办Udacity，接任实验室主任的，正是后来加入百度的吴恩达博士，十分感谢他表示愿为《概率图模型》中文版的推广而尽力。

从初春北京的西山到五月阿拉斯加的海滨，从夏雨中长沙的跨线桥到烈日下图森的仙人掌，从秋枫叶飘的旧金山到海浪冲沙的海牙，从深秋风凉的青岛石老人再回到初冬消失在雾霾里的北京高楼，......本书的翻译伴我度过了五年的风风雨雨，差点成了完不成的任务（Mission Impossible！）。今日落稿，顿觉释然，除了感谢自己的学生与同事之外，我必须特别感谢清华大学出版社的薛慧女士，感谢她在整个翻译过程中的热心和耐心。

最后，希望把本书的中文版献给王珏老师，没有他就没有本项目的开始。更重要的是，希望本书中文版的完成，能使他早日从疾病中康复！

中国科学院自动化研究所复杂系统管理与控制国家重点实验室

国防科技大学军事计算实验与平行系统技术研究中心

王飞跃

2012年秋初记于长沙跨线桥居，2013年初补记于北京国奥新村，2014年初春再记于美国图森Catalina山居，同年深秋重记于青岛石老人海滨。

又记：

十分不幸的是，2014年12月3日传来噩耗：王珏老师因病逝世！相识相知相助21年，内心悲痛，无以言喻。特别是王珏老师生前没能看到本书中文版的正式出版，遗憾之余，深感自责。鉴于他和他学生的巨大帮助，我曾多次同他商谈，希望将他列为译者之一，但每次他都坚决拒绝；最后无奈，曾托薛慧拿着出版合同请他签字，但依然被拒绝。唯感欣慰的是，12月2日下午，在他神志清醒的最后时刻，我们见了最后一面。他去世后，当日我即电邮Daphne Koller，告她先前不曾知晓的王珏老师，还有他对中国机器学习的重要贡献以及在翻译其专著过程中所起的关键作用，希望她在中文版的序言里有所表述。英文如下：

Prof. Jue Wang, a pioneer in ML in China and a research scientist in my lab, died of cancer today at age 66. He was a big promoter of your book and without his strong push behind, I might not have determined to do the translation in the first place. Many of outstanding young ML researchers in China are his former students and they have given me a huge support during the translation and proofreading of your book. So I would like you to say a few words about his effortin your preface.

可以告慰王珏老师的是，Koller教授在其序言里恰如其分地表示了对他的贡献之衷心感谢。本书中文版的最终出版，就是对王珏老师的纪念！

2014年12月9日于北京科技会堂

--------------------------------------------------------------------------------------------

图书目录

致谢

插图目录

算法目录

专栏目录

第1章 引言

1.1 动机

1.2 结构化概率模型

1.2.1 概率图模型

1.2.2 表示、推理、学习

1.3 概述和路线图

1.3.1 各章的概述

1.3.2 读者指南

1.3.3 与其他学科的联系

1.4 历史注记

第2章 基础知识

2.1 概率论

2.1.1 概率分布

2.1.2 概率中的基本概念

2.1.3 随机变量与联合分布

2.1.4 独立性与条件独立性

2.1.5 查询一个分布

2.1.6 连续空间

2.1.7 期望与方差

2.2 图

2.2.1 节点与边

2.2.2 子图

2.2.3 路径与迹

2.2.4 圈与环

2.3 相关文献

2.4 练习

第Ⅰ部分 表示

第3章 贝叶斯网表示

3.1 独立性性质的利用

3.1.1 随机变量的独立性

3.1.2 条件参数化方法

3.1.3 朴素贝叶斯模型

3.2 贝叶斯网

3.2.1 学生示例回顾

3.2.2 贝叶斯网的基本独立性

3.2.3 图与分布

3.3 图中的独立性

3.3.1 d-分离

3.3.2 可靠性与完备性

3.3.3 d-分离算法

3.3.4 I-等价

3.4 从分布到图

3.4.1 最小I-Map

3.4.2 P-Map

3.4.3 发现P-Map*

3.5 小结

3.6 相关文献

3.7 习题

第4章 无向图模型

4.1 误解示例

4.2 参数化

4.2.1 因子

4.2.2 吉布斯分布与马尔可夫网

4.2.3 简化的马尔可夫网

4.3 马尔可夫网的独立性

4.3.1 基本独立性

4.3.2 独立性回顾

4.3.3 从分布到图

4.4 参数化回顾

4.4.1 细粒度参数化方法

4.4.2 过参数化

4.5 贝叶斯网与马尔可夫网

4.5.1 从贝叶斯网到马尔可夫网

4.5.2 从马尔可夫网到贝叶斯网

4.5.3 弦图

4.5.4 I-等价

4.6 部分有向图

4.6.1 条件随机场

4.6.2 链图模型*

4.7 小结与讨论

4.8 相关文献

4.9 习题

第5章 局部概率模型

5.1 CPD表

5.2 确定性CPD

5.2.1 表示

5.2.2 依赖性

5.3 上下文特定的CPD

5.3.1 表示

5.3.2 独立性

5.4 因果影响的独立性

5.4.1 noisy-or模型

5.4.2 广义线性模型

5.4.3 一般公式化表示

5.4.4 独立性

5.5 连续变量

5.5.1 混合模型

5.6 条件贝叶斯网

5.7 小结

5.8 相关文献

5.9 习题

第6章基于模板的表示

6.1 引言

6.2 时序模型

6.2.1 基本假设

6.2.2 动态贝叶斯网

6.2.3 状态观测模型

6.3 模板变量与模板因子

6.4 对象-关系领域的有向概率模型

6.4.1 plate 模型

6.4.2 概率关系模型

6.5 无向表示

6.6 结构不确定性*

6.6.1 关系不确定性

6.6.2 对象不确定性

6.7 小结

6.8 相关文献

6.9 习题

第7章 高斯网络模型

7.1 多元高斯分布

7.2.1 基本参数化方法

7.2.2 高斯分布的运算

7.2.3 高斯分布的独立性

7.2 高斯贝叶斯网

7.3 高斯马尔可夫随机场

7.4 小结

7.5 相关文献

7.6 练习

第8章 指数族

8.1 引言

8.2 指数族

8.2.1 线性指数族

8.3 因子化的指数族(factored exponential families)

8.3.1 积分布(product distributions)

8.3.2 贝叶斯网络

8.4 熵和相对熵

8.4.1 熵

8.4.2 相对熵

8.5 投影

8.5.1 比较

8.5.2 M-投影

8.5.3 I-投影

8.6 小结

8.7 相关文献

8.8 习题

第Ⅱ部分 推理

第9章 精确推理：变量消除

9.1 复杂性分析

9.1.1 精确推理分析

9.1.2 近似推理分析

9.2 变量消除：基本思路

9.3 变量消除

9.3.1 基本消除

9.3.2 证据处理

9.4 复杂性与图结构：变量消除

9.4.1 简单分析

9.4.2 图论分析

9.4.3 寻找消除排序*

9.5 条件作用*

9.5.1 条件作用算法

9.5.2 条件作用与变量消除

9.5.3 图论分析

9.5.4 改进的条件作用算法

9.6 用结构CPD 推理*

9.6.1 因果影响的独立性

9.6.2 上下文特定的独立性

9.6.3 讨论

9.7 小结与讨论

9.8 相关文献

9.9习题

第10章 精确推理：团树

10.1 变量消除与团树

10.1.1 聚类图

10.1.2 团树

10.2 信息传递：和积

10.2.1 团树中的变量消除

10.2.2 团树校准

10.2.3 作为分布的校准团树

10.3 信息传递：信念更新

10.3.1 使用除法的信息传递

10.3.2 和-积与信息-更新消息的等价性

10.3.3 回答查询

10.4 构建一个团树

10.4.1 源自变量消除的团树

10.4.2 来自弦图的团树

10.5 小结

10.6 相关文献

10.7 习题

第11章 推理优化

11.1 引言

11.1.1 再议精确推理*

11.1.2 能量泛函

11.1.3 优化能量泛函

11.2 作为优化的精确推理

11.2.1 不动点刻画.

11.2.2 推理优化

11.3 基于传播的近似

11.3.1 一个简单的例子

11.3.2 聚类图信念传播

11.3.3 聚类图信念传播的性质

11.3.4 收敛性分析*

11.3.5 构建聚类图

11.3.6 变分分析

11.3.7 其他熵近似*

11.3.8 讨论

11.4 用近似信息传播*

11.4.1 因子分解的消息

11.4.2 近似消息计算

11.4.3 用近似消息推理

11.4.4 期望传播

11.4.5 变分分析

11.4.6 讨论

11.5 结构化的变分近似

11.5.1 平均场近似

11.5.2 结构化的近似

11.5.3 局部变分法*

11.6 小结与讨论

11.7 相关文献

11.8 习题

第12章 基于粒子的近似推理

12.1 前向采样

12.1.1 从贝叶斯网中采样

12.1.2 误差分析

12.1.3 条件概率查询

12.2 似然加权与重要性采样

12.2.1 似然加权：直觉

12.2.2 重要性采样

12.2.3 贝叶斯网的重要性采样

12.2.4 重要性采样回顾

12.3 马尔可夫链的蒙特卡罗方法

12.3.1 吉布斯采样算法

12.3.2 马尔可夫链

12.3.3 吉布斯采样回顾

12.3.4 一马尔可夫链的一个更广泛的类*

12.3.5 利用马尔可夫链

12.4 坍塌的粒子

12.4.1 坍塌的似然加权*

12.4.2 坍塌的MCMC

12.5 确定性搜索方法*

12.6 小结

12.7 相关文献

12.8 习题

第13 章 最大后验推断

13.1 综述

13.1.1 计算复杂性

13.1.2 求解方法综述

13.2 （边缘）MAP 的变量消除

13.2.1 最大-积变量消除

13.2.2 找到最可能的取值

13.2.3 边缘MAP 的变量消除*

13.3 团树中的最大-积

13.3.1 计算最大边缘

13.3.2 作为再参数化的信息传递

13.3.3 最大边缘解码

13.4 多圈聚类图中的最大-积信念传播

13.4.1 标准最大-积消息传递

13.4.2 带有计数的最大-积BP*

13.4.3 讨论

13.5 作为线性优化问题的MAP*

13.5.1 整数规划的公式化

13.5.2 线性规划松弛

13.5.3 低温极限

13.6 对MAP 使用图割

13.6.1 使用图割的推理

13.6.2 非二元变量

13.7 局部搜索算法*

13.8 小结

13.9 相关文献

13.10 习题

第14章 混合网络中的推理

14.1 引言

14.1.1 挑战

14.1.2 离散化

14.1.3 概述

14.2 高斯网络中的变量消除

14.2.1 标准型

14.2.2 和-积算法

14.2.3 高斯信念传播

14.3 混合网

14.3.1 面临的困难

14.3.2 混合高斯网络的因子运算

14.3.3 CLG网络的EP

14.3.4 一个“准确的”CLG 算法*

14.4 非线性依赖

14.4.1 线性化

14.4.2 期望传播与高斯近似

14.5 基于粒子的近似方法

14.5.1 在连续空间中采样

14.5.2 贝叶斯网中的前向采样

14.5.3 MCMC 方法

14.5.4 坍塌的粒子

14.5.4 非参数信息传递

14.6 小结与讨论

14.7 相关文献

14.8 习题

第15章 在时序模型中推理

15.1 推理任务

15.2 精确推理

15.2.1 基于状态观测模型的滤波

15.2.2 作为团树传播的滤波

15.2.3 DBN 中的团树推理

15.2.4 纠缠

15.3 近似推理

15.3.1 核心思想

15.3.2 因子分解的信念状态方法

15.3.3 粒子滤波

15.2.4 确定性搜索技术

15.4 混合DBN

15.4.1 连续模型

15.4.2 混合模型

15.5 小结

15.6 相关文献

15.7 习题

第Ⅲ部分 学习

第16章 图模型学习：概述

16.1 动机

16.2 学习目标

16.2.1 密度估计

16.2.2 具体的预测任务

16.2.3 知识发现

16.3 作为优化的学习

16.3.1 经验风险与过拟合

16.3.2 判别式与生成式训练

16.4 学习任务

16.4.1 模型限制

16.4.2 数据的可观测性

16.4.3 学习任务的分类

16.5 相关文献

第17章 参数估计

17.1 最大似然估计

17.1.1 图钉的例子

17.1.2 最大似然准则

17.2 贝叶斯网的MLE

17.2.1 一个简单的例子

17.2.2 全局似然分解

17.2.3 条件概率分布表

17.2.4 高斯贝叶斯网*

17.2.5 作为M-投影的最大似然估计*

17.3 贝叶斯参数估计

17.3.1 图钉例子的回顾

17.3.2 先验与后验.

17.4 贝叶斯网络中的贝叶斯参数估计

17.4.1 参数独立性与全局分解

17.4.2 局部分解

17.4.3 贝叶斯网络学习的先验分布

17.4.4 MAP 估计*

17.5 学习具有共享参数的模型

17.5.1 全局参数共享

17.5.2 局部参数共享

17.5.3 具有共享参数的贝叶斯推理

17.5.4 层次先验*

17.6 泛化分析*

17.6.1 渐进性分析.

17.6.2 PAC 界

17.7 小结

17.8 相关文献

17.9 习题

第18章 贝叶斯网络中的结构学习

18.1 引言

18.1.1 问题定义

18.1.2 方法概述

18.2 基于约束的方法

18.2.1 基本框架

18.2.2 独立性测试.

18.3 结构得分

18.3.1 似然得分

18.3.2 贝叶斯得分函数

18.3.3 单个变量的边缘似然

18.3.4 贝叶斯网的贝叶斯得分

18.3.5 理解贝叶斯得分

18.3.6 先验

18.3.7 得分等价性*

18.4 结构搜索

18.4.1 学习树结构网

18.4.2 给定序

18.4.3 一般的图

18.4.4 用等价类学习*

18.5 贝叶斯模型平均*

18.5.1 基本理论

18.5.2 基本给定序的模型平均

18.5.3 一般的情况.

18.6 关于额外结构学习模型

18.6.1 关于局部结构学习

18.6.2 学习模板模型

18.7 小结与讨论

18.8 相关文献

18.9 习题

第19章 部分观测数据

19.1 基础知识

19.1.1 数据的似然和观测模型

19.1.2 观测机制的解耦

19.1.3 似然函数

19.1.4 可识别性

19.2 参数估计

19.2.1 梯度上升方法

19.2.2 期望最大化（EM）

19.2.3 比较：梯度上升与EM

19.2.4 近似推断*

19.3 使用不完全数据的贝叶斯学习*

19.3.1 概述

19.3.2 MCMC采样

19.3.3 变分贝叶斯学习

19.4 结构学习

19.4.1 得分的结构

19.4.2 结构搜索

19.4.3 结构的EM

19.5 用隐变量学习模型

19.5.1 隐变量的信息内容

19.5.2 确定基数

19.5.3 引入隐变量

19.6 小结

19.7 相关文献

19.8 习题

第20章 学习无向模型

20.1 概述

20.2 似然函数

20.2.1 一个例子

20.2.2 似然函数的形式

20.2.3 似然函数的性质

20.3 最大（条件）似然参数估计

20.3.1 最大似然估计

20.3.2 条件训练模型

20.3.3 用缺失数据学习

20.3.4 最大熵和最大似然*

20.4 参数先验与正则化

20.4.1 局部先验

20.4.2 全局先验

20.5 用近似推理学习

20.5.1 信念传播

20.5.2 基于MAP 的学习*

20.6 替代目标

20.6.1 伪似然及其推广

20.6.2 对比优化准则

20.7 结构学习

20.7.1 使用独立性检验的结构学习.

20.7.2 基于得分的学习：假设空间.

20.7.3 目标函数

20.7.4 优化任务

20.7.5 评价模型的改变

20.8 小结

20.9 相关文献

20.10 习题

第Ⅳ部分 行为与决策

第21章 因果关系

21.1 动机与概述

21.1.1 条件作用与干预

21.1.2 相关关系和因果关系

21.2 因果关系模型

21.3 结构因果关系的可识别性.

21.3.1 查询简化规则

21.3.2 迭代的查询简化

21.4 机制与响应变量*

21.5 功能因果模型中的部分可识别性*

21.6 仅事实查询*

21.6.1 成对的网络

21.6.2 仅事实查询的界

21.7 学习因果模型

21.7.1 学习没有混合因素的因果模型

21.7.2 从干预数据中学习

21.7.3 处理隐变量*

21.7.4 学习功能因果关系模型*

21.8 小结

21.9 相关文献

21.10 习题

第22章 效用和决策

22.1 基础：期望效用最大化

22.1.1 非确定性决策制订

22.1.2 理论证明*

22.2 效用曲线

22.2.1 货币效用

22.2.2 风险态度

22.2.3 合理性

22.3 效用的获取

22.3.1 效用获取过程

22.3.2 人类生命的效用

22.4 复杂结果的效用

22.4.1 偏好和效用独立性*

22.4.2 加法独立性特性

22.5 小结

22.6 相关文献

22.7 习题

第23章 结构化决策问题

23.1 决策树

23.1.1 表示

23.1.2 逆向归纳算法

23.2 影响图

23.2.1 基本描述

23.2.2 决策规则

23.2.3 时间与记忆

23.2.4 语义与最优性准则

23.3 影响图的逆向归纳

23.3.1 影响图的决策树

23.3.2 求和-最大化-求和规则

23.4 期望效用的计算

23.4.1 简单的变量消除

23.4.2 多个效用变量：简单的方法

23.4.3 广义变量消除*

23.5 影响图中的最优化

23.5.1 最优化一个单一的决策规则

23.5.2 迭代优化算法

23.5.3 策略关联与全局最优性*

23.6 忽略无关的信息*

23.7 信息的价值

23.7.1 单一观测

23.7.2 多重观测

23.8 小结

23.9 相关文献

23.10 习题

第24章 结束语

附录A 背景材料

A.1 信息论.

A.1.1 压缩和熵

A.1.2 条件熵与信息

A.1.3 相对熵和分布距离

A.2 收敛界

A.2.1 中心极限定理

A.2.2 收敛界

A.3 算法与算法的复杂性

A.3.1 基本图算法

A.3.2 算法复杂性分析

A.3.3 动态规划

A.3.4 复杂度理论

A.4 组合优化与搜索

A.4.1 优化问题

A.4.2 局部搜索

A.4.3 分支定界搜索

A.5 连续最优化

A.5.1 连续函数最优解的刻画

A.5.2 梯度上升方法

A.5.3 约束优化

A.5.4 凸对偶性

参考文献

符号索引

符号缩写