华盛顿大学教授柳文欢·埃齐奥尼最近的一篇文章这样开头：一天早上醒来，我们会不会被一个超级强大的人工智能的出现吓得目瞪口呆，并带来灾难性的后果？尼克·博斯特罗姆的《超级智能》和马克斯·泰格马克的《生命3.0》等书以及最近的一些文章认为，恶意的超级智能对人类来说是一种生存风险。埃齐奥尼说：人们可以无休止地猜测，但是，最好问一个更具体、更有经验的问题：什么会提醒我们超级智能确实就在眼前？

埃齐奥尼在文章中描述说，在人工智能的煤矿中，我们可以称这是预兆金丝雀（注：17世纪，英国煤矿工人发现，金丝雀对瓦斯十分敏感，而当瓦斯含量超过一定限度时，金丝雀却早已毒发身亡，下井都会带上一只金丝雀作为“瓦斯检测指标”）。如果人工智能程序开发出一种新的基本能力，那就相当于金丝雀晕倒：人工智能突破的早期预警即将到来。他首先讨论了著名的图灵测试，指出这只是人类水平人工智能已经到来的标志。然后，他讨论了人工智能在围棋、扑克或雷神之锤III竞技场等游戏中的表现，指出在这些游戏中，大部分所谓的人工智能实际上是人类构建问题和设计解决方案的工作，机器只是运行了人们创造的算法。即使是在几个小时内学会玩世界级围棋的阿尔法零号，自2017年以来也没有大幅拓宽其范围。深度学习等方法是通用的，但要成功应用于特定任务，需要大量的人工干预。

埃齐奥尼认为，机器学习是人工智能过去十年左右成功的核心。然而，“机器学习”这个术语是一个用词不当的术语。现在的机器学习，只拥有人类丰富多样的学习能力的一小部分。人类制定具体的学习目标(“更好地平行停车”)，收集和标记数据(“这次角度错了”)，并结合外部反馈和背景知识(“教师解释了如何使用侧视镜”)。人类识别、构建和塑造学习问题。这些人类能力没有一个能被机器复制。学习问题的自动表述就是我们的第一只金丝雀——它看起来并没有濒临死亡。

自动驾驶汽车是第二只金丝雀。人工智能在非典型情况下可能会失败。驾驶远比以前的人工智能任务更具挑战性，因为它需要基于不可预测的物理世界，以及与人类驾驶员、行人和其他人的互动，做出对生命至关重要的实时决策。当然，一旦自动驾驶汽车降低事故率，我们就应该部署有限的自动驾驶汽车，但只有当达到人类驾驶水平时，这只金丝雀才可以说已经倒下了。

人工智能医生是第三只金丝雀。人工智能已经能够以超人的准确度分析医学图像，但这只是人类医生工作的一小部分。人工智能医生必须采访病人，考虑并发症，咨询其他医生，等等。这些都是挑战性的任务，需要理解人、语言和医学。这样的医生不会欺骗病人，让他认为自己是人类——这就是为什么这不同于图灵测试。但它必须接近人类医生在各种任务和意外情况下的能力。

埃齐奥尼的这些预警信号，或称金丝雀，是说明性的，而不是全面性的，但它显示了我们离人类水平的人工智能有多远。如果金丝雀“崩溃”，我们将有足够的时间在人类水平人工智能出现之前设计出强大的“关闭开关”，并识别出我们不希望人工智能跨越的红线。没有经验的谣言人工智能末世论分散了解决现有问题的注意力，比如如何监管人工智能对就业的影响，或者确保人工智能在刑事判决或信用评分中的使用不会歧视某些群体。

正如世界上杰出的人工智能专家之一吴恩达所说，“担心人工智能变坏有点像担心火星上的人口过剩。”在金丝雀开始死亡之前，他是完全正确的。

柳文欢·埃齐奥尼是非营利性的艾伦人工智能研究所的首席执行官，也是华盛顿大学的计算机科学教授。文章见《MIT技术评论》网站（参考资料[1]）。

参考资料：

[1] Oren Etzioni. How to know if artificial intelligence is about to destroy civilization. MIT Technology Review.  Feb 25, 2020.

https://www.technologyreview.com/s/615264/artificial-intelligence-destroy-civilization-canaries-robot-overlords-take-over-world-ai/