学：学生，教：教师，李：李晓榕

学：我也听说过《奇点临近》这本书，它好像挺有市场的，不知怎样？

李：这本书很值得我一读。不过，你们读后也许会觉得它吹得太厉害，太不靠谱、太不可信。的确，它气势磅礴，充满大胆想象。作者是一个彻头彻尾的技术崇拜主义者，对科技发展极度乐观。虽然我不同意他的大多数观点，尤其是奇点的存在和到达的时间，但是我受益匪浅，它促使我思考一些重要问题。全书的主旨是：随着生物技术、基因技术、人工智能、纳米技术、机器人等科技的指数增长，在2040年代将会出现一种超级智能，它由人类与机器融合而成，远比人类高明、智能得多，这种超级智能进一步发展后将于22世纪充斥全宇宙，进而掌控宇宙，支配宇宙，创造新宇宙。这样的论断，你说胆量气势大不大？

学：气势的确够大的。不过，这样的论断，就像痴人说梦，谁会信呢？

李：关键是，这本书言之凿凿，从众多科技领域试图给上面的惊人论断提供令人信服的证据。其中含有对众多科技领域的现状和未来独到而深刻的理解。我觉得，称之为力作，当之无愧。

教：看来李老师对这本书很赞赏，但为什么又不同意它的论断、它的结论呢？

李：这不奇怪。有不少经典、好书、力作，发人深省，我获益良多，但并不同意书中的主要论点。在我看来，《奇点临近》的最大缺陷是完全不考虑情感和伦理道德，全书只重科技，不顾伦理道德（只在一处一笔带过）。这完全不像有些其他精英。比如，战胜国际围棋大师的AlphaGo的开发团队的灵魂人物哈萨比斯（Demis Hassabis），在其公司DeepMind被谷歌收购时，开出的一个条件是，必须成立伦理委员会，负责研讨人工智能技术相关的伦理道德问题。依我之见，不重道德的未来超级智能，必定是超级恶魔。借用上述美国诗人康明士的造词，我们是不是应该称之为“超级恶人类”（super manunkind）？这样的未来，我们避之唯恐不及，哪还会期盼它、呼唤它、为之奋斗呢？
    此外，此书涉及面广泛的论证也远未说服我。人类经过长期努力，至今对意识、思维、智能的产生所知无几，茫然得很。凭什么相信人类会在短短的几十年内就造出胜过人类的超级智能？计算、智能、意识、道德有本质不同，分处不同的层次，增强某一低层的功能未必就能跃升到更高的一层。比如，智能未必就是计算，计算大有局限性。图灵在其计算理论的奠基之作中将计算定义为：用形式规则对（未加解释的）符号做形式操作。诚如哥德尔认为：一台有限大小的物理机器永远不能做任何不可计算的事情，数学直觉不能完全形式化、机器化、计算化，心灵也不像计算机一样工作。（见王浩《逻辑之旅：从哥德尔到哲学》）计算的速度再快、量再大，也不等于有智能。比如，我们偶尔会有“啊哈，原来如此”的顿悟，这种开窍恐怕就是一种超越底层的升华或系统论的所谓“涌现”，机器恐怕难以达到。著名影星达斯汀·霍夫曼主演的好莱坞电影《雨人》，其原型Kim Peek的记忆力和计算能力都空前绝后，远胜常人，堪比计算机，但他缺乏生存能力，生活无法自理，智商只有73分，远低于常人，接近于低能儿。这也生动地例示了，智能的关键不在计算，其核心含有大量非计算的成分。
    此书的基本精神可以概括为计算主义：算外无智，智外无物，物外无心，故算外无心。——文明就是智能，智能无非计算。因而根本没有“转算成识，转识成智”的问题。的确，智能、意识、道德，都是人为的概念，其真实含义因人而异，虽然有些共识。机器如何产生真正情感和意识、特别是自我意识，进而道德？
    还有，有关专家都说，一旦超越人类智能的智能实现了，就会在短时（比如几年到几十年）内发生“奇点”式智能爆炸，出现远超人类智能而至高无上的超级智能。比如， 对研制氢弹做出突破贡献的美国数学家乌尔曼在1958年与大数学家冯·诺依曼的交谈中首次论及这样的“技术奇点”¹。英国数学家古德于1965年进一步预期了这种“智能爆炸”。他和巴拉特在《我们最后的发明》（I. J. Good and James Barrat，Our Final Invention）中说：“把超级智能机器定义为一种机器，它可以在所有智力活动中远远超过任何人，无论这人多么聪明。由于设计机器是这些智能活动之一，超级智能机器显然可以设计更好的机器；毫无疑问，这将是一场‘智能爆炸’，人类的智慧将被远远抛在后边。因此，第一台超级智能机器将是人类需要制造的最后一项发明。”请问，基于什么逻辑能“毫无疑问”地肯定“奇点”式“智能爆炸”定会发生且很快发生？首先，凭什么认定，聪明绝顶的超级智能一定也会像愚蠢无比的人类一样“犯傻”去创造迅速淘汰自身的更强智能？而且，假设A通过努力，让A’超越了自己，达到了B。由此何以断定B必能且真的会在短时内超越自身，达到C，以致形成螺旋圈环，达到并超越Z，以至于发散到无穷？难道每一个正项无穷级数（作为自身的正反馈不断增大）都必定向无穷大发散？（其极限可能有限、甚至很小，这是数学常识。）否则，按照同样的论证，上帝也能够且真的会创造一个比他自身更全知全能全在全善的超级上帝，这一过程也能够且真的会不断重复！同理，超越人类智能的超级智能也未必很快发生“奇点”式智能爆炸。在现实中，正反馈所导致的发散到无穷不可能真正发生，都是因为达到某种程度后某些其他约束会开始起作用。比如，十九世纪有不少奇才妄想制造永动机，后来发现不可能，这让我们认识了能量守恒定律。与此相似，“智能爆炸”是否可能违反我们今天未知的某种生命-智能的守恒定律？总之，“奇点”的存在和发生不能想当然，起码需要经过严肃认真的论证。我所见到的论证都基于不可靠的假设。

学：这种超级智能还能算人吗？

李：库兹韦尔认为还算，我觉得这就像人还算细胞一样，因为他的“算”含义宽泛。我觉得，他感情上不愿意承认这种超级智能不算人了，否则人类为什么要努力造就它呢？他说人类会在这种超级智能中延续下去。其实，还是他的老师明斯基说得直率：人类最好的希望是被“后人类”的这种超级智能当做宠物。作为库兹韦尔的先行者，数学家古德和数学家、科幻作家文奇（Vernor Vinge）等奇点预言家，都比他悲观得多，都认为超级智能会毁灭人类。霍金、人工智能专家伯思特隆姆等人认为，出于害怕被人类消灭等考虑，超级智能可能会直接消灭人类。另有研究者调研了27位专家，结果表明，约半数认为机器智能将超越并危害人类。
    不过，也有一些学者很“慷慨大度”地认为，人类如果能够导致超级智能的诞生，那么即使牺牲了自己，长远来说也很值得，因为人类迟早都会灭亡的；努力无限期地保持人类如今的地位违背了物种更替的进化过程。这些“科技疯子”的这种真正或貌似的“无私”，是不是很疯狂？人类这样灭绝是否真正的进化？这样有意让人类灭绝，够不够得上判“反人类罪”？美籍德裔哲学家沃格林（Eric Voegelin）说得精辟：“事物的本性是不能变化的；无论谁想要改变一个事物的本性，那他其实是摧毁了这个事物。人不能够把自己改造成一个超人，试图创造超人其实就是试图谋杀人。”（《科学、政治和灵知主义》）退一步说，不论是否赞同这个十分“无私”的观点，大家应该都会同意，这至少要有一个必不可少的前提，那就是：这种超级智能应当是道德高尚的，起码不是道德平庸或邪恶的。所以，无论如何，我们都应该抓紧时间，想方设法提升人的基本伦理道德水平。

教：这么说，《奇点临近》这本书恐怕又是人工智能热的产物，是为鼓吹人工智能而写的。

李：我得公平，这本书是2005年出版的，当时人工智能并不热，与今日相比，可以说正在“冬天”。

______________________________

 1.Stanislaw Ulam: One conversation centered on the ever accelerating progress of technology and changes in the mode of human life, which gives the appearance of approaching some essential singularity in the history of the human race beyond which human affairs, as we know them, could not continue.

正在出的博文系列：

与师生谈现代化之弊

1：崛起的代价     2：发展必好无疑？    3：发展的恶果     4：科技进步果真进步？         5：科技的罪责 

6：开发进步善哉恶哉？7：现代化恶果之因    8：现代化恶果之因2  9：资本主义与个人主义    10：资本主义的修正与回潮

11：全球化的好歹  12：全球化的好    13：西化、现代化、全球化 14：现代化的本质       15：文化全球化？

16：妈的奶贼腥        17：多元优越             18： 四大主义     19：“化私为公”的隐形手  20： 进步的魔咒

21：进步的陷阱   22：进步的后果       23.成功的反噬     24：进步的残酷                  25: 进步到恶神末日

26：自造成恶神

与师生漫谈科研文化

1：我有科研之才吗？  2：我该做科研吗？ 3：逻辑推理的作用 4：人生价值     5：生命的延续           

已出博文系列：

与师生谈科学之弊

1：线式因果思维1      2：线式因果思维2     3：线式因果思维3         4：螺环之奇妙                 5：幻化的因果 

6：不牢靠的因果推理        7：分析还原病       8：还原论教条                    9：基因未必基因      10：割根裂本

11：强拆硬分        12：科学的领地       13：科学的致命伤         14：科学的致命伤2           15：逻辑之可错

16：逻辑可错之源       17：“脚踏实地”的逻辑？18：逻辑：真理焉？宗教焉？       19：想不清原理       20：想不清原理2

21：逻辑教的改革    22：逻辑教的改革2     23：精确性的终结         24：科学哲学                  25：务外逐物 

26：科学六弊                 27：科学之弊总结

与师生谈科研选题：
1：科研的战略、战术和战斗力 2：选题三准则：趋喜避厌 3：选题三准则：如何培养兴趣 4：选题三准则：择重舍轻，扬长避短

5：得题之关键           6：如何应对新潮      7：选题四建议          8：总结：选题好比找对象

与师生谈研究策略：

1：科研四要素    2：突出重围的法   3：人人信之而善忘的黄金法则  4：孤胆方是英雄，独创才有真才  5：大道至简，科学之魄

6：弃繁就简     7：以特制胜      8：综括               9：反行众道，改形换状       10：迷雾中的灯

11：技穷时的上策 12：驾驭时间之术1  13：驾驭时间之术2     14：保质增产之法          15：类比、联想、猜测、推证 

16：评估       17：总结与回顾

与师生谈学习门径：

1：广度与深度      2：增加深度的窍门1    3：增加深度的窍门2      4：增加深度的窍门3  5：增加深度的窍门4

6：增加深度的窍门5  7：增加深度的窍门6        8：如何培养直觉和想象力？ 9：基础不好，死路一条？10：阅读策略1

11：阅读策略2      12：博览之术           13：增强记忆1          14：增强记忆2      15：如何听讲 

16：最佳捷径

与师生谈科研输出：

1：论文写作五要点 2：论文的结构、条理和语言 3：标题、摘要、引言、结论  4：作学术报告四建议  5：与编审人员打交道

与师生谈科研道德：

1：何谓弄虚作假              2：何谓剽窃？             3：何谓自我剽窃？               4：版权

5：谁该当作者？              6：署名顺序怎么定？        7：其他学术不当行为              8：总结