我在上一篇《海外观察》博客中，介绍了纽约大学马库斯教授和戴维斯教授的新书《重启 AI：构建我们可以信任的人工智能》和图灵奖得主朱迪亚•珀尔的著作《为什么：关于因果关系的新科学》。这两本书都分析了以深度学习为基础的人工智能的缺陷。最近读了《自然》杂志网站10月8日发表的道格拉斯·海文（Douglas Heaven）的文章（参考资料[1]），此文题为《Why deep-learning AIs are so easy to fool（为什么深度学习人工智能很容易被愚弄）》，有个副题“Artificial-intelligence researchers are trying to fix the flaws of neural networks（人工智能研究人员正试图修复神经网络的缺陷）”。文章列举了深度神经网络的脆弱性的例证，介绍了人工智能研究人员进行的修复努力。我注意到文中也提到马库斯教授的观点和混合人工智能模型，以及智能体需要了解因果关系等，特在这里介绍这篇文章的要点。

【易被愚弄，易受攻击】

DNN（深度神经网络）模式识别方法，对各种输入正确分类非常成功，包括图像、语音和消费者偏好数据。它们已经成为日常生活的一部分，从自动电话系统到媒体服务用户推荐的方方面面。然而，对输入进行改变——以人类通常察觉不到的微小变化的形式——可能会愚弄神经网络。

《自然》杂志网站的道格拉斯·海文的文章描述了这样场景例子：一辆自动驾驶汽车接近停车标志，但它没有减速，而是加速进入繁忙的十字路口。后来一份事故报告显示，标志的正面贴了四个小矩形，这些欺骗了车上的人工智能，把“Stop(停车)”这个标志误解为“Speed limit 45（限速45）”。该例子出于密歇根大学安娜堡分校、华盛顿大学、加州大学伯克利分校和石溪大学的研究人员设计的“RP2（Robust Physical Perturbations，鲁棒的物理扰动）”的研究报告（这样的误判很是出人意外，详情见：参考资料[2]）。

简单地旋转图像中的物体，也可以愚弄一些最好的图像分类器。图像中的旋转物体会使得DNN混淆，可能是因为它们与训练网络的类型太不一样了。

即使是自然图像，也能愚弄DNN，因为它可能聚焦在图像的颜色、纹理或背景上，而不是挑出人类能识别的显著特征。比如把蘑菇识别饼干，把蜻蜓识别为井盖。

除了愚弄人工智能系统使其误读停车标志外，还可以通过在眼镜或帽子上粘贴印刷图案来欺骗面部识别系统，以及通过在音频中插入白噪声模式来欺骗语音识别系统，使其听到虚幻的短语。这些只是破坏人工智能中被称为DNN（深度神经网络）的一些例子。这些问题比不太完美的技术中的怪癖，更令人担忧。它们是DNN脆弱性的例证。

这可能会导致实质性的问题。深度学习系统越来越多地从实验室转移到现实世界，从驾驶自动驾驶汽车，到绘制犯罪地图和诊断疾病。有研究报告称，恶意添加到医学扫描中的像素可能会欺骗DNN错误地检测癌症。另外，黑客也可能利用这些弱点劫持一个基于人工智能的在线系统，以便它运行入侵者自己的算法。

在努力找出问题所在的过程中，研究人员发现了很多关于DNN系统失败的原因。加州山景城谷歌的人工智能工程师弗朗索瓦·乔莱特认为，“深度神经网络的基本脆弱性没有解决办法”。为了超越这些缺陷，研究人员需要用额外的能力来增强模式匹配的DNN:例如，建造能够自己探索世界、编写代码和保留记忆的人工智能。一些专家认为，这种系统将构成未来十年人工智能研究的故事。

【能力强，脆性大】

在前面提到的《自然》杂志网站的道格拉斯·海文的文章中，这样描述DNN（深度神经网络）：With great power comes great fragility（巨大的能力带来巨大的脆弱性）。

2011年，谷歌披露了一个可以在YouTube视频中识别猫的系统，不久之后，一些基于DNN的分类系统出现了。许多人都说：“哇，太神奇了，计算机终于能够理解世界了。” 但是人工智能研究人员知道DNN实际上并不了解这个世界。它们不精确地模仿大脑的结构，是由大量排列在许多层的数字神经元组成的软件结构。每一个神经元都与其上下各层相连。进入底层的原始输入的特征——比如图像中的像素——触发其中一些神经元，然后这些神经元根据简单的数学规则将信号传递给上层的神经元。训练DNN网络需要提供它大量的样本，每次都要调整神经元的连接方式，这样最终顶层会给出想要的答案——比如，总是把狮子的图片解释成狮子，即使DNN以前从未见过那张图片。

2013年，谷歌研究员克里斯蒂安·塞格迪和他的同事发布了一份名为《神经网络的迷人特性》的预印本。该项研究表明，用一张DNN能够识别的狮子图像并且通过改变几个像素，可让机器相信它在看不同的东西，比如图书馆。该团队称修改后的图像为“对抗性样本”。

一年后，克鲁恩等人证明了让DNN看到不存在的东西是可能的，比如一只波浪线图案中的企鹅。“任何玩过机器学习的人都知道这些系统偶尔会犯愚蠢的错误，” 深度学习的先驱、加拿大蒙特利尔大学的约书亚·本吉奥说，“令人惊讶的是这种错误，”他说，“那很惊人。这是一种我们没有想到会发生的错误。”

不仅是对象识别，任何使用DNN对输入(如语音)进行分类的人工智能都可能被愚弄。2017年，加州大学伯克利分校的计算机科学家Sandy黄和她的同事们通过称为强化学习训练的DNN的过程击败Atari视频游戏。在这种方法中，人工智能被赋予一个目标，并通过反复试验来学习如何达到这个目标。这是AlphaZero背后的技术。即便如此，黄的团队还是能够通过在屏幕上添加一两个随机像素，让他们的人工智能输掉游戏。

今年早些时候，加州大学伯克利分校的人工智能博士生亚当·格莱夫和他的同事们证明了可在人工智能的环境中引入智能体（agent），这种智能体会实施旨在混淆人工智能反应的“敌对政策”。

知道DNN的弱点在哪里，甚至可以让黑客接管强大的人工智能。其中一个例子是去年谷歌的一个团队展示了使用对抗样本不仅可以迫使DNN犯特定的错误，还可以完全重新编程——有效地将接受过某项任务训练的人工智能，重新用于另一项任务。

【修复缺陷】

DNN非常强大，因为它们有许多层，意味着当试图对输入进行分类时，可以从输入的许多不同特征中获取模式。受过识别飞机训练的人工智能，可能会发现颜色、纹理或背景等特征，与我们认为突出的东西(如机翼)一样，是强有力的预测因素。但是这也意味着输入中的一个很小的变化，就可以把它转变成被人工智能认为明显不同的状态。

解决办法是简单地向人工智能提供更多的数据；特别是反复将人工智能暴露在有问题的情况下，并纠正其错误。在这种形式的“对抗性训练”中，当一个网络学会识别物体时，另一个网络试图改变第一个网络的输入，从而出错。这样，对抗样本就成为了DNN训练数据的一部分。

有人建议，通过测试一个DNN在众多对抗样本中的表现，来量化它对犯错的稳健性。然而，他们说，训练一个网络来抵御一种攻击，可能会削弱它抵御其它的攻击。由伦敦谷歌DeepMind的普什米·科利领导的研究人员，正试图给DNN系统接种预防出错的疫苗。许多敌对攻击都是通过对输入的组成部分进行微小的调整来实现的——比如微妙地改变图像中像素的颜色——直到这将DNN教引入错误分类。科利的团队建议，一个强大的DNN不应该因为其输入的微小变化而改变其输出，并且这一特性可能会在数学上融入网络，约束其学习的方式。

在《自然》网站的文章中，道格拉斯·海文还讨论了即兴发挥的机器人自学，从更少的数据中学习，学习如何学习等问题。

自学的例子是2017年，DeepMind自学游戏软件的最新版本AlphaZero在仅仅一天多的时间里，就被训练成为围棋、象棋和日本象棋(shogi)的超人玩家。

婴儿可以从几个数据点中识别出新的样本——即使他们以前从未见过长颈鹿，他们仍然可以在看了一两次后学会辨认出长颈鹿。其部分原因是因为婴儿见过许多其他生物。授予人工智能这种能力的一个术语是迁移学习:其理念是将从前几轮培训中获得的知识，转移到另一项任务中。

人工智能的下一个重要步骤是赋予DNN系统编写自己的算法的能力，而不是使用人类提供的代码。用推理能力补充基本模式匹配，可以使人工智能更好地处理超出舒适区的输入。计算机科学家多年来一直在研究程序合成，即计算机自动生成代码——计算机可以自动编写程序，只要告诉它我们想要什么。将这一领域与深度学习相结合，可能会导致DNN系统更接近人类的抽象心智模型。

然而，目前还没有人能解决脆弱人工智能的整体问题。“深度学习三巨头”之一、图灵奖得主约书亚·本吉奥说，问题的根源在于DNN系统没有一个很好的模式来辨别什么是重要的。当人工智能将修改过的狮子图像视为图书馆时，人仍然会看到狮子，因为它们有一个基于一系列高级特征——耳朵、尾巴、鬃毛等——的动物心理模型，这让他们能够从低级的任意或偶然的细节中抽象出来。“我们从以前的经验中知道哪些特征是突出的，”本吉奥说。"这来自对世界结构的深刻理解."

解决这一问题的一个尝试，是将数字神经网络与符号人工智能相结合。通过符号人工智能（机器学习之前人工智能的主要范式），机器使用硬编码规则推理世界是如何工作的，例如它包含离散的对象，并且它们以各种方式相互关联。一些研究人员，比如纽约大学的心理学家加里·马库斯，认为混合人工智能模型是前进的方向。马库斯说:“深度学习在短期内非常有用，以至于人们忽略了长期。”马库斯是当前深度学习方法的长期批评者。今年5月，他在加州帕洛阿尔托共同创立了一家名为Robust AI的初创公司，旨在将深度学习与基于规则的人工智能技术相结合，开发能够与人安全相处的机器人。公司到底在做什么仍未公开。

即使规则可以嵌入到DNN系统中，它们仍然只能和它们从中学习到的数据一样好。本吉奥说人工智能智能体（agent）需要在他们可以探索的更丰富的环境中学习。例如，大多数计算机视觉系统不能识别一罐啤酒是圆柱形的，因为它们是在2D图像的数据集上训练的。在3D环境中学习——真实的或模拟的——会有所帮助。

人工智能的学习方式也需要改变。本吉奥说，“在世界上做事的智能体需要了解因果关系，他们可以进行实验和探索。”另一个深度学习的先驱，瑞士的戴尔·摩尔人工智能研究所的于尔根·施密德胡伯，也有类似的想法。他说，模式识别非常强大——足以让阿里巴巴、腾讯、亚马逊、脸书和谷歌等公司成为世界上最有价值的公司。“但是会有更大的浪潮到来，”他说。“这将是关于操纵世界并通过自己的行动创建自己的数据的机器。”

【结语】

尽管DNN有其脆弱性，还有对大量训练数据依赖的问题，但这项技术将会继续存在。十年来，人们意识到深度神经网络结合巨大的计算力，可以被训练成如此好地识别模式，这仍然是一个启示。

正在开展的对抗性训练、接种预防出错的疫苗、机器人自学、迁移学习、强化学习等的研究，有益于修复机器学习的脆弱性。探索机器学习与程序合成技术相结合，探索将深度学习与基于规则的人工智能技术相结合，探索如何使得智能体具备了解因果关系能力，将使得未来的人工智能系统更加健壮。建造能够自己探索世界AI系统、赋予DNN系统编写自己的算法和保留记忆的能力，将构成未来十年人工智能研究的故事。

参考资料：

[1] Douglas Heaven.Why deep-learning AIs are so easy to fool.09 OCTOBER 2019. Nature, Published online: 09 October 2019; doi: 10.1038/d41586-019-03013-5

[2] Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati，Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, and Dawn Song. Robust Physical-World Attacks on Deep Learning Visual Classification.CVPR 2018