ACM TechNews: 人工智能深处的黑暗隐秘

As Machines learn they may develop unforeseen strategies at rates that baffle their programmers.

--Norbert Wiener, 1960, Some Moral and Technical Consequences of Automation

导读：近年来，随着人工智能、机器人、深度学习等智能技术再次成为科学研究的主流，机器再次焕发出了勃勃生机，在通往获得“生命”以及“智能”的康庄大道上迈出了重要的一步。

关于机器是否能够获得智能，以及机器智能是否能够超越人类智能的想法，在1948年《控制论》面世不久之后，即引起了全世界范围的讨论。对此，维纳在其发表于1960年Science上的文章进行了部分回答，“我的观点是，机器能够并肯定会超越它们的设计者的某些局限性，并且当机器实现时，他们可能即是高效的又是危险的。很可能出现这种情况，原则上，我们并不能制造出我们永远都不了解其行为因素的机器。但这绝不意味着，我们能用比操作机器所需要的更少时间去理解机器的行为因素，甚至用数年或几代的时间也不行。”然而，60年后的今天，我们可能已经开始制造不能了解其行为因素的机器了。这是否会引发新的人与机器的冲突？

4月17日最新一期的ACM TechNews再次讨论了这一引人瞩目的科技问题，作者是Will Knight，MIT Technical Review的一名高级编辑。下附全文翻译。

==================================================================================

人工智能深处的黑暗隐秘

No one really knows how the most advanced algorithms do what they do. That could be a problem.

--Will Knight

没人知道那些最先进的算法是怎么做的。这将成为一大隐患。

--威尔 纳特

无法解释的算法

去年，一辆奇特的无人驾驶汽车在新泽西州蒙茅斯县的一条安静的道路上行驶着。它由芯片制造商英伟达的研究人员开发，虽然它看起来与其他自动驾驶汽车并没有什么不同，但与谷歌、特斯拉和通用汽车公司展示的不同，它显示了人工智能的崛起。这辆无人驾驶汽车并未遵循工程师或程序员的任何指令。相反，它完全依赖于一种通过观察人类驾驶并学习如何驾驶的算法。(注意增加之前发布文章的链接)

让汽车以这种方式行驶是一个了不起的壮举。但也有点令人不安，因为人们并不完全清楚汽车是如何作出决定的。来自车辆传感器的信息直接进入一个巨大的人工神经元网络，数据经过处理并传送方向盘操纵、刹车和其他系统所需的指令。结果似乎符合你所期望的人类驾驶员的反应。但是，如果有一天它做了一些意想不到的事情呢？例如，撞到树上或者遇绿灯时停住。就目前情况来看，可能很难找出原因。该系统非常复杂，即便是设计它的工程师也很难解释每个行动的原因。你不能询问它：不存在一种明显的方式，当用它来设计一个系统时使系统总能解释它为什么会做这样的事。

这辆车的神秘思想指向了一个迫在眉睫的关于人工智能的问题。它背后的人工智能技术，即深度学习，近年来对解决各种问题都非常有用，它已被广泛应用于如图像字幕、语音识别和语言翻译等任务。人们同样期望，这一技术能够用于诊断致命的疾病，制定百万美元交易的决定，以及其他无数事情来改变整个行业形态。

但这不会发生，或不应该发生，除非我们找到方法使得类似于深度学习这样的技术能够对它们的创造者来说更易理解并对它们的用户负责。否则，难以预测何时会发生故障，而故障是不可避免的。这也是英伟达汽车仍然处于实验阶段的原因之一。

数学模型已经被用来确定谁取得了假释，谁被批准了贷款，谁得到了就业机会。如果你能接触到这些数学模型，就可以理解它们的推理。但是银行、军方、雇主和其他人正在将注意力转向更复杂的机器学习方法，这样可以使自动决策变得完全不可思议。深度学习，其中最常见的方法，代表了一种完全不同的计算机编程方法。麻省理工学院从事于机器学习应用工作的Tommi Jaakkola教授说：“这已经是一个与我们非常相关的问题，未来会更加相关。无论是投资决策、医疗决定、还是军事决策，你都不想仅仅依靠一个‘黑匣子’来决定。”

目前有这样一个论点，审问人工智能系统是如何做出结论的已经成为一项基本的法律权利。从2018年夏天开始，欧盟可能要求公司给用户解释自动系统做出决策的原因。这几乎是不可能的，即使对于表面上看起来相对简单的系统，例如使用深度学习来投放广告或推荐歌曲的应用程序和网站。运行这些服务的计算机已经自己编程了，并且已经以我们无法理解的方式完成了这些编程。即使是开发这些应用程序的工程师也无法完全解释它们的行为。

一个名为Adam Ferriss的艺术家使用Google Deep Dream创造了这幅图，和下面那幅图。Google Deep Dream是一个用来模拟一个深度神经网络模式识别能力的程序。

这引发了一些令人难以置信的问题。随着技术的进步，我们通过信仰飞跃的人工智能可能很快就可以跨越一些门槛。当然，人类也不能总是正确地解释我们的思维过程——但我们可以找到方法来直观地信赖和判断别人。与人类思考和作决定方式不同的机器会成为可能吗？我们之前从未制造过以其创造者不清楚的方式运作的机器。我们如何能很好地与智能机器沟通和相处，这可能是不可预知及不可预测的吗？这些问题让我踏上了人工智能算法研究边缘的历程，从谷歌到苹果，以及期间的许多地方，包括与我们这个时代的一位伟大哲学家会面。

2015年，纽约西奈山医院的一个研究小组受到启发，将深度学习应用到医院庞大的患者记录数据库中。该数据集包含数百个关于患者的变量、测试结果图、医生访问等方面。研究人员将生成的程序命名为Deep Patient，经过来自约70万人的数据进行了模拟受训。当在新记录上进行测试时，它在预测疾病方面证明是非常好的。没有任何专家指导，深度患者发现隐藏在医院数据中的模式，似乎表明人们在何时将患有各种疾病，包括肝癌。领导西奈山团队的Joel Dudley说，有很多“非常好”的方法可以根据病人的记录来预测疾病。但他补充说，“这只是更好的方式。”

同时，Deep Patient有点令人困惑。它在预测精神疾病如精神分裂症的发病（方面）出奇的好。但是由于医生预测精神分裂症是众所周知的困难，Dudley想知道这是如何成为可能的。他仍然不知道。Deep Patient没有提供任何线索。如果像Deep Patient这样的东西确实能帮助医生，那么理想的情况就是给予它们预测的原理，以保证它们的准确性，并证明，例如，有人正在制定改变药物。“我们可以建立这些模型，” Dudley感伤地说，“但我们不知道他们是如何工作的。”

人工智能并不总是这样。从一开始，就有两个关于应该如何理解或解释人工智能的学派。许多人认为，最有意义的是制造能够根据规则和逻辑推理的机器，使检查其代码的人易懂其内部工作。其他人认为如果机器从生物学中获得灵感，并通过观察和体验学习，智能化将会更容易出现。这意味着将电脑编程放在其头部。不是靠程序员编写指令来解决问题，而是根据示例数据和期望输出值，程序生成其自身的算法。机器学习技术将会演变成当今最强大的AI系统，遵循这一路径：机器在本质上可以自我编程。

起初这种做法的实际应用是有限的，并在20世纪60年代和70年代，它仍旧局限于该领域的边缘。随后许多行业的计算机化和大数据集的出现又引起了人们的兴趣。这激发了更强大的机器学习技术的发展，特别是被称为人工神经网络的新版本。到20世纪90年代，神经网络能够自动数字化手写字符。

但是直到本世纪初，在经过几次巧妙的调整和改进之后，非常大或“深” 的神经网络才在自动感知方面表现出了巨大的进步。深度学习是当今人工智能爆发的原因。它赋予计算机特异的功能，例如，像人一样表现出口语词汇识别的能力，这是一项十分复杂益智无法无法手动编码至机器的技能。深度学习改变了计算机的视觉，大大提高了机器翻译能力。现在正用于指导医学、金融、制造业和其他领域的各种关键决策。

机器学习技术的工作方式本质上都没有手动编码系统明确，甚至对计算机科学家来说也是如此。这并不是说所有的未来人工智能技术将同样不可知。但就其本质而言，深度学习还是一个黑匣子。

你不能只是通过深层神经网络来看它是如何工作的。网络的推理嵌入在成千上万个模拟神经元中，排列成数十甚至数百个错综复杂的互联层。神经元表层接收信号输入，比如图像的分辨率强度，执行计算后并输出新信号。在复杂网络中，这些输出信号被馈送至下一层神经元，等等，直到以一个整体信号输出。此外，还有一个称为反向传播的过程，它使网络自行学习输出期望值的方式来调整单个神经元的计算。

深层网络中的多层次结构使其能识别不同抽象层次的事物。例如，在识别狗的系统中，较低层次可识别简单的特征，如轮廓或颜色；更高层次可识别更复杂的特征，如毛或眼睛；最高层次可识别狗的全部特征。粗略地说，相同的方法可以引导机器进行自我学习的其他输入信号：言语的声音、文本中构成句子的字母和单词、或驾驶过程中转动方向盘。

已经有一些巧妙的策略被用于试图捕捉并更详细地解释在这个系统的行为。2015年谷歌的研究人员修改了一种基于深度学习的图像识别算法，不是通过在图像中发现目标，而是生成或修改它们。通过有效地反向运行该算法，他们发现该程序能用于识别例如鸟或建筑物的功能。Deep Dream根据从云和植物还有在森林和山脉之间的宝塔生成的图像，显示出怪异的像外星人的动物。图像证明深度学习不再完全不可思议；他们透露该算法导向相似的视觉特征，如鸟的喙和羽毛。但是这些图像也暗示了深度学习与人类感知的不同，因为它不能识别人工制品而人类可以。谷歌研究人员指出，当它的算法生成哑铃的图像时，它也会生成一个持有它的人类手臂。机器推断手臂也是哑铃的一部分。

这一早期的人工神经网络，位于纽约布法罗的康奈尔航空实验室，大约1960年，可处理发光传感器的输入。

由神经科学和认知科学借鉴来的思想取得了进一步的进展。由怀俄明大学助理教授Jeff Clune领导的一个团队，采用相当于光学错觉的人工智能来测试深度神经网络。2015年，Clune的团队展示了这些图像是如何愚弄这个网络来感知不存在的东西，因为这些图像利用了系统搜索的低级模式。Clune的合作者之一Jason Yosinski也制造了一个像探针的工具卡在大脑中。这个工具瞄准网络中每个神经元，并搜索最能激活它的图像。呈现的图像都是抽象的（像印象派呈现的火烈鸟或校车），突出了机器感知能力的神秘性。

然而，我们不仅仅想了解人工智能思维，也并没有简单的解决方案。深层神经网络内部计算的相互作用是高层次模式识别和复杂决策的关键，但是这些计算是数学函数和变量的难题。Jaakkola说：“如果你只有非常小的神经网络，你也许能够理解它，但是，它一旦变得非常大，每层有数千个单位，也可能有数百层，那么它变得非常难于理解。”

Jaakkola隔壁办公室的麻省理工学院教授Regina Barzilay，她决心将机器学习应用于医学。几年前，在她43岁时被诊断患有乳腺癌。诊断本身令人震惊，但是令Barzilay也感到失望的是，前瞻性的统计学和机器学习方法没有被用于肿瘤研究或指导病人治疗。她说，人工智能具有巨大的潜力改革医学，但实现这一潜力意味着超越医疗记录。她设想使用更多目前尚未充分利用的原始数据：“成像数据，病理数据，所有这些信息”。

去年Barzilay完成癌症治疗后，她和她的学生开始与马萨诸塞州总医院的医生合作开发一个能够挖掘病理学报告的系统，以确定研究人员想研究的具有特定临床特征的患者。然而，Barzilay知道需要解释该系统的推理过程。所以她与Jaakkola和一个学生一起增加了一个步骤：系统提取并突出了代表已发现模式的文本片段。Barzilay和她的学生们也在开发一种能够在乳房X线照片图像中发现乳腺癌早期症状的深度学习算法，并且他们的目的也是给这个系统一些解释其推理的能力。Barzilay说：“你真的需要有一个机器和人类合作的闭环。”

美国军方投入数十亿美元用于使用机器学习的项目中：驾驶车辆和飞机，确定目标，并帮助分析筛选大量情报数据。在军事方面算法的奥秘空间很小，甚至超过了医学，并且美国国防部已把可解释性作为非常关键的一个绊脚石。

国防高级研究计划局的项目经理David Gunning正在监督恰如其名的“可解释的人工智能”项目。该机构的银发老将曾经监督DARPA项目，最终创立了Siri，Gunning说自动化正进入军事的多方面领域。情报分析师正在测试将机器学习作为大量监控数据识别模式的一种方式。许多自主地面车辆和飞机正在开发和测试。但士兵们对不能做出解释的机器坦克感到不安，并且分析师也不愿在没有推理的情况下对信息采取行动。Gunning说：“机器学习系统产生大量的误报通常是自然的，因此英特尔的分析师确实需要额外的帮助来理解提出建议的原因。”

今年三月，DARPA关闭了Gunning主持下的13个来自学术界和工业界的项目。其中一些人可以继续在华盛顿大学教授Carlos Guestrin的领导下工作。他和他的同事们为机器学习系统研制出一种为系统的输出提供原理的方法。本质上，在这种方法下，计算机自动从数据集中查找几个例子，并附以简短的解释。系统在将电子邮件进行分类时，例如，分类为来自恐怖分子邮件，可能会在其培训及决策中使用数百万条消息。但是使用Washington团队的方法，它可以突出消息中发现的某些关键词。Guestrin的团队还为图像识别系统设计了通过突出显示最重要的图像部分来提示其推理的方法。

Guestrin以及其他例如Barzilay的方法，它们的缺点是提供的解释始终很简单，这意味着一些重要的信息可能会丢失。Guestrin说：“我们还没有实现整个梦想，这就是人工智能与你进行交谈，并且能够解释，我们距离真正可解释的人工智能还有很长的路要走。”

人工智能不一定是像高风险的癌症诊断或军事演习而成为一个问题。如果该技术成为我们日常生活中普遍及有用的部分，那么懂得人工智能的推理也将是至关重要的。领导苹果Siri团队的Tom Gruber说，可解释性是其团队的关键考虑因素，因为它能使Siri成为一个更聪明、更有能力的虚拟助手。Gruber不会讨论Siri未来的具体计划，但很容易想像，如果您收到Siri的餐厅推荐，您会想知道它的推理原因。同时担任苹果公司的人工智能研究主管及卡耐基梅隆大学的副教授Ruslan Salakhutdinov认为可解释性是人与智能机器关系发展的核心。他说“这将会增加信任。”

正如人类的许多行为都不可能解释地非常详细，人工智能同样也不可能完全解释它所做的一切事情。怀俄明大学的Clune说：“即使有人能给出一个看似合理的解释（对于他或她的行为），但这个解释仍可能是不完整的，同样，对于人工智能也是如此。它可能只是智力本质的一部分，而且只是其中一部分才得到合理化解释罢了。其中一些可能是本能的、或潜意识的、或是不可体会的”。

如果是这样的话，那么在某个阶段，我们可能只需要简单地相信人工智能的判断或是不使用它。而且，人工智能的判断将必须是包含社会智力的。正如社会建立在预期行为契约之上，我们也需要设计人工智能系统来尊重和符合我们的社会规范。如果我们要创造机器人坦克和其他杀戮机器，那么它们的决策应与我们的道德判断一致，这是很重要的。

为了探索这些形而上学的概念，我去塔夫茨大学与研究意识和心灵的著名哲学家和认知科学家Daniel Dennett会面。 在Dennett最新的一本关于意识的百科全书“From Bacteria to Bach and Back”的章节中，提到智力进化的一个自然部分是创造能够执行其创作者自己都不知道该如何完成的系统。在田园式的校园中，他在他自己杂乱无章的办公室里告诉我说：“但问题是，我们必须做出什么样的安排才能明智地做到这一点，我们要求他们和我们自身都有什么标准？”。

他还有一个针对可解释性的警告。“我认为，如果我们要使用并依靠这些东西，那我们就应该尽可能地围绕他们是如何以及为什么能给我们答案来展开，”他说道。但由于没有完美的答案，所以我们应该像人工智能一样，谨慎地介绍给大家——无论机器有多聪明。他说：“如果它不能比我们更好地解释它在做什么，那就不要信任了。”

德先生探讨

在我们使用机器扩展人类的体能或者智能时，我们同时把更多的“控制”委托给了机器，控制人们的环境、控制人们的社交甚至控制人们的饮食。这即意味着你信任机器，但是，当前所未有的强大、小巧、连通的机器被赋予了前所未有的自主能力的时候，我们如何保证机器还能“全心全意为人民服务？”

正如维纳曾经讨论过的“我们希望一个奴隶很聪明，能够协助我们执行任务。然而，我们也希望他是顺从的。完全的顺从和完全的聪明是不会同时出现的。”如果机器运行效率越来越高，且心智水平越来越高，谁能保证机器智能不会超越人类智能，并接管人类世界？

==================================================================================

麻省理工技术评论》、《君子》、《财富》杂志评定的2016年最佳书籍之一

入选“2017年度最激动人心之科学著作”的决选名单

《机器崛起》已在德先生旗下求知书店上架（识别下方二维码可进入购书直通车），现预定本书享8折优惠！

求知书店

《机器崛起（Rise of the Machines）》英文原版一经发售便被众多媒体广泛报道，并得到了高度评价，以下为相关媒体名单：《书单》、《电脑科技杂志》、《宇宙杂志》、《君子》、《金融时报》、《法兰克福汇报》、《法兰克福汇报大学报》、《星期五》、《卫报／观察家报》、《国际事务》、《柯克斯书评》、《自然》、《新苏黎世报》、《新科学家》、《纽约时报》、《展望杂志》、《科学美国人》、《旁观者》、《科学光谱》、《保准报》、《南德意志报》、《日报》、《技术评论》（德国）、《宇宙》、《华尔街日报》、“战争困境”网站；澳洲广播电台（澳大利亚）、巴伐利亚电台、德国广播电台、德国国家电台文化台、美国国家公共电台市场频道、西德广播电台、德国三星电视台。