【学科前沿】 机器行为学发展前景

文 | 贺飞 （北京大学）

【按】本文首发于2019年5月5日里瑟奇智库，原文参见https://mp.weixin.qq.com/s?__biz=MzA5ODg3NTEwNA==&mid=2651121267&idx=3&sn=d83a129646ca2d27dc77f2743682e6d4&chksm=8b7aa5fcbc0d2cea67625fc9084a47bca63be04d60405b316c8d28eabc7a130ceac6075a7ea9&mpshare=1&scene=1&srcid=0506FGhd2bfNGqn8wF314ijq&pass_ticket=Zz%2BdTk2ZMYYtF11wtIgVjkZE4XoGNtmqewLg%2BIEQqEQrkH4gys4DAhdR%2FhxXV%2BdL#rd。

人工智能从人机关系的视角看，带来的革新和挑战是非常严峻且不可避免的。近年来，人工智能驱动的机器已经越来越多渗透到我们的社会、文化、经济和政治的各个方面。人工智能越来越多地融入我们的社会，并已参与到我们的各种活动之中，如信用评分、算法交易、地方警务、自动驾驶、在线约会和无人机战斗等。自动驾驶汽车必须在各种天气条件下成功驾驶；游戏代理商必须击败各种人类或机器对手；数据挖掘代理商必须了解在社交媒体上的广告活动中要定位哪些目标人群。

我们的日常生活已经与机器智能密切关联且深受其影响。来自不同领域的专家学者，都对人工智能广泛和意想不到的后果、行为及其对下游社会的影响、以及其创造者在内都无法预料的其他消极影响发出了警报。人类除了对人工智能的后果缺乏可预测性外，还有一种担忧，即人类也许会丧失对智能机器的监督和控制能力。

2019年4月24日，《自然》刊发了MIT媒体实验室Iyad Rahwan、Manuel Cebrian、Nick Obradovich等人领衔撰写，来自美、德、法、英、加等多国33位作者参与的题为《机器行为》的综述，提出我们需要了解和控制人工智能系统的行为，使其利益最大化，危害最小化。文章提出了机器行为学这门跨学科的新兴领域，这一领域涉及智能机器的科学研究，将人工智能机器作为一类具有特定行为模式和生态学的行动者。机器行为学在计算机科学的基础上整合机器人学、认知科学、工程科学、神经科学等其他学科知识来研究机器的行为。这篇综述文章廓清了机器行为学的这一新兴领域的一系列基本问题，提出对算法和算法运行的社会环境开展综合研究，理解机器行为，为机器行为研究的概念化提供了一个框架，并探讨了研究机器行为的技术、法律和制度限制等。本文基于这篇综述，介绍一下机器行为学。

1、我们为何要研究机器行为？

这是由于人工智能算法的普遍性、复杂性和不透明性所决定的。随着人工智能的普及，各种各样的算法在我们的社会中运行，在人类日常生活中发挥着越来越大的作用。这些算法所处的环境多样，越来越复杂，分析其属性和行为后果越来越难。这样一来，预测智能算法对人类的影响，无论是正面的还是负面的都是一个巨大的挑战。

算法的普遍性。目前，我们社会上的各种算法流行是前所未有的。社交媒体新闻排名算法影响着人们所能阅读到的信息；算法交易软件使金融市场交易速度迅速；信用评分算法决定着贷款决策；在线定价算法在不同消费者之间形成产品成本差异；警务执勤算法决定了本地警务的调度模式；自动驾驶汽车横穿我们的城市，改变了传统交通模式。机器很可能越来越取代人类，算法已经逐步在控制着人们的家务活动、出行、消费行为、约会方式、抚养小孩和照顾老人等方方面面的行为。更为可怕的是，尽管许多人反对发展自主武器，但如果这种武器最终被部署，那么机器（或算法）在未来就可以在武装冲突中决定人们的生死存亡。

算法的复杂性和不透明度。人工智能系统的极端多样性及其普遍性，即使个别算法本身相对简单，本身就决定了研究这些系统的行为是一个巨大的挑战。单一人工智能的算法复杂性一般都很高，而且正迅速增加。即便用于指定模型的体系结构和培训代码可能很简单，但结果可能非常复杂。尽管人工智能在算法可解释性方面取得了一些进展，但即便是对于开发算法的科学家来说，要想完全解释算法产生这些输出的确切功能过程也是很困难的。此外，数据的维度和大小为理解机器行为增加了另一层复杂性。工业保密和知识产权的法律保护经常围绕着源代码和模型结构展开，社会上最常用算法的大部分源代码和模型结构都是专有的，这些系统的训练数据也是专有的。在许多情况下，工业人工智能系统唯一可以公开观察到的因素是它们的输入和输出。

算法的普遍性，加上其日益复杂，算法可能会以有意或无意的方式塑造人类行为和社会结果，加剧了估计算法对个人和社会影响的难度。算法对单个个体的影响如何扩大到全社会的影响，无论是正面还是负面的，都是至关重要的问题。例如，社交媒体插入和传播政治错误信息的可能会产生重大的社会后果。由于算法有能力以积极或有意的方式推动人类行为，人类行为可能会被算法以无意的方式被推动，例如，帮助儿童学习的算法，可能会引导儿童购买某些品牌产品。与智能算法的互动是否对人类发展的阶段和速度产生系统性影响。为了让社会能够对人工智能的下游后果进行投入和监督，机器行为学必须深入了解这些系统是如何工作的，以及人工智能在社会中的广泛应用所带来的利益、成本和权衡。

2、机器行为学是跨学科研究

有关机器行为的问题跨越了各种传统科学学科和主题，为了研究其黑盒算法在现实环境中的行为，我们必须整合来自不同科学学科的知识。目前，最常研究机器行为的科学家是计算机科学家、机器人学家和工程师，他们首先创造了机器。这些科学家可能是专业的数学家和工程师；然而，他们通常不是受过训练的行为学家。他们很少接受关于实验方法论、基于人口的统计和抽样范例的正式指导，或者观察因果推理，更不用说神经科学、集体行为或社会理论了。相反，尽管行为科学家更有可能拥有这些科学方法的培训，但他们不太可能拥有熟练评估给定问题领域人工智能技术的潜在质量和适当性或数学描述特定算法特性所需的专业知识。定量行为科学中经常使用的随机实验、观察推理和基于人群的描述性统计方法必须是机器行为研究的中心。从传统生产智能机器的学科之外吸收学者，可以提供关于机器将日益影响的经济、社会和政治现象的重要方法论工具、科学方法、替代概念框架和观点的知识。

机器行为研究提供了定量证据，有助于向研究技术对社会和技术系统潜在影响的领域提供信息。反过来，这些领域可以为研究机器行为的领域提供有用的工程实践和科学问题。最后，对行为的科学研究有助于人工智能学者对人工智能系统能做什么和不能做什么做出更精确的陈述。

3、机器行为学研究的问题和对象

计算机科学学者已经在理解人工智能系统的机制和发展方面取得了实质性的进展，但相对而言，人们对人工智能系统的功能和演变的重视较少。与研究动物和人类的行为类似，机器行为所研究的问题和对象包括产生机器行为的机制、功能、行为发展和演化。具体来说，包括是什么与为什么两种类型的问题，以及动态与静态两种模式。每种问题又可以在单个机器、机器集合和混合人机系统三个层面上开展研究。

产生行为的机制。机制既依赖于算法，也依赖于其环境。机器行为的直接原因与在特定环境中观察到的触发和生成行为的方式有关。例如，早期的算法交易程序使用简单的规则来触发买卖行为，更复杂的算法可基于自适应启发式或预期效用的显式最大化计算策略。复杂的算法，如自动驾驶算法，可能会表现出特殊的驾驶行为，如车道转换、超车或向行人发出信号等。由于许多现有的人工智能系统是从机器学习方法衍生而来的，这些方法适用于越来越复杂的数据，因此研究机器行为背后的机制需要继续研究机器学习的可解释性方法。

行为发展。机器行为发展可以直接归因于人类工程学或设计选择，我们可以研究机器是如何获得（发展）一个特定的个体或集体行为的。例如，程序员所做的体系结构设计选择决定或影响算法显示的行为类型。在一个更复杂的人工智能系统中，比如无人驾驶汽车，汽车的行为随着时间的推移而发展。在部署后，行为也会随着设计人员对机器进行的算法升级而改变。人类工程师可以通过将机器暴露在特定的训练刺激下来塑造机器的行为。数据集的选择和它所代表的那些特性，可以实质性地影响算法所展示的行为。此外，机器也可以通过自身经验获得行为。例如，一个经过培训以实现长期利润最大化的强化学习算法可根据其过去的行为和市场的反馈，学习特殊的短期交易策略。

功能。功能在很大程度上取决于行为是否适合环境，对行为的功能的关注有助于我们理解为什么一些行为机制会扩散和持续，而其他机制则会衰退和消失。人类环境产生的选择性力量可能使某些机器更为常见，我们可以研究机器的行为如何为特定的利益相关人实现恰当的功能。例如，在算法交易中，成功的自动交易策略可以在开发人员从一家公司转移到另一家公司时被复制，或者被竞争对手简单地观察和逆向工程。在缺乏外部监管的情况下，不优先考虑乘客安全的自动驾驶汽车，对消费者的吸引力可能会降低，从而导致销量下降。

进化。与动物进化模式类似，机器行为的进化史也可以产生路径依赖性，从而解释其他令人费解的行为。有些机器行为可能会传播，因为它是“可进化的”，易于修改，促进了多样性和稳定性，并对常见干扰具有鲁棒性。一些算法可能会关注某些特性而忽略其他特性，因为这些特性在早期成功应用中很重要。例如，微处理器设计的早期选择继续影响着现代计算，而神经网络和贝叶斯状态空间模型等算法设计的传统建立在许多假设中，并通过使一些新算法比其他算法更容易访问来指导未来的创新。人工智能复制行为可以通过开放源代码共享软件的文化、网络架构的细节或基础培训数据集来促进。例如，为无人驾驶汽车开发软件的公司可以共享用于目标检测或路径规划的增强的开放源代码库，以及作为这些算法基础的培训数据，以使增强安全的软件在整个行业中传播。通过软件更新，特定无人驾驶汽车行为中的单一自适应“突变”可能立即传播到数百万辆其他汽车。这些特点突出了这样一个事实：机器行为可能表现出非常不同的进化轨迹。

4、机器行为学的研究范围

人工智能系统代表了人类、数据和算法的融合，相互作用，相互影响。人类创建的算法过滤的数据影响个人和集体机器行为。人工智能系统接受数据训练，进而影响人类如何生成数据。根据这一框架，机器行为学的研究范围包括：单个机器行为，强调对算法本身的研究；集体机器行为，强调对机器之间相互作用的研究；混合人-机器行为，强调对机器和人之间相互作用的研究。机器行为和人类行为既可以相互塑造，也可以协同互动。

单个机器行为。对单个机器行为的研究集中在特定智能机器上。通常，这些研究集中于单个机器固有的属性，以及由它们的源代码或设计驱动的属性。目前，机器学习和软件工程领域的研究主要集中在这些方面。研究单个机器行为有两种一般方法。第一个重点是使用机器内方法分析任何特定机器代理的行为集，比较特定机器在不同条件下的行为。第二种是机器之间的方法，研究各种机器代理在相同条件下的行为。

集体机器行为。与对单个机器行为的研究相反，对集体机器行为的研究侧重于机器代理集合的交互和系统范围的行为。在某些情况下，在考虑到集体水平之前，单个机器行为的影响可能毫无意义。对这些系统的一些研究受到了自然群体的启发，如成群的昆虫，或流动群体，如成群的鸟类或学龄鱼类。多智能体系统和计算博弈理论等领域为机器行为这一领域的研究提供了有用的例子。然而，使用简单算法在机器人之间进行局部交互的机器人一旦聚合成大型集合，仍然可以产生有趣的行为。机器的集体装配提供了新的能力，例如即时全球通信，这可以导致全新的集体行为模式。集体机器行为的研究检验了机器集合的特性以及从这些复杂的交互系统中可能出现的意外特性。

混合人-机行为。人类越来越多地与机器互动。机器调解我们的社会互动，塑造我们所看到的新闻和在线信息，并与我们形成可以改变我们社会系统的关系。由于其复杂性，这些混合的人机系统构成了机器行为研究中技术难度最大但同时也是最重要的领域之一。

机器行为研究中最明显但最重要的领域之一是，将智能机器引入社会系统，可以改变人类信仰和行为的方式。正如在工业过程中引入自动化一样，智能机器在改进现有问题的过程中会产生社会问题。在这一过程中，出现了许多问题，例如用于在线约会的匹配算法是否会改变约会过程的分布结果，或者新闻过滤算法是否会改变公众舆论的分布等。这个领域中的其他问题与机器以更基本的方式改变社会结构的潜力有关。例如，问题包括政府在多大程度上以及如何利用机器智能来改变政治问责、透明度或公民参与。智能机器在多大程度上影响警务、监视和战争，以及帮助形成人类社会关系的人工智能系统是否能够实现集体行动等。这一领域的一个重要问题包括，人类如何应对经济产品和服务与智能机器的日益增长的共同生产。

智能机器可以改变人类的行为，人类也可以创造、启发和塑造智能机器的行为。我们通过人工智能系统的直接工程和这些系统通过我们每天创建的数据对人类行为的主动输入和被动观察进行培训来塑造机器行为。选择要使用的算法，向这些算法提供什么反馈，以及培训它们的数据，目前也是人类的决定，可以直接改变机器的行为。机器行为研究的一个重要组成部分是了解这些工程过程如何改变人工智能的结果行为，训练数据是否对机器的特定行为负责，是否是算法本身，或者是算法和数据的结合。研究如何改变工程过程的参数可以改变智能机器与其他机器以及与自然环境中的人类交互时的后续行为，是全面了解机器行为的核心。

虽然将研究分为人类塑造机器的方式（反之亦然）在方法上很方便，但大多数人工智能系统在复杂混合系统中与人类共存的领域中发挥作用。对这些系统的研究具有重要意义的问题包括那些研究人机交互特性的行为的问题，包括合作、竞争和协调。存在两种不同类型的机器-人类交互，一种是机器可以提高人类的效率，比如机器人和计算机辅助手术。另一个是机器可以取代人类，比如无人驾驶运输和包裹运输。这就引出了这样的问题：机器最终是要做更多的替换工作，还是要在更长的时间内做更多的改进工作，以及由此产生的人机协同行为将如何演变。

5、展望

我们对人工智能算法融入人类生活所做出的相应选择，必须对这些选择的最终社会影响有所了解。机器行为学的研究，对于最大化人工智能对社会的潜在利益至关重要。然而，研究机器行为并不意味着人工智能算法应该为其行为承担道德责任。机器在社会技术结构中运行，其利益相关人应该对其部署可能造成的任何伤害负责。

首先，任何行为都不能与环境数据完全分离，在环境数据中，对该算法进行培训或开发；机器行为也不例外。因此，就像行为科学家希望描述不同人口和制度环境下的政治行为一样，机器行为学的研究重点应放在描述不同环境下的算法行为上。其次，人工智能科学家可以更容易、更彻底地解剖和修改人工智能系统。即使借用现有的行为科学方法可以证明对机器的研究是有用的，机器也可能表现出某种形式的智力和行为。再次，机器行为的研究需要跨学科的努力，通常还需要实验干预来研究现实环境中的人机交互问题，这些干预可能改变系统的整体行为，可能对正常用户产生不利影响。像这样的伦理考虑需要仔细的监督和标准化的框架。最后，研究智能算法或机器人系统可能会给研究机器行为的研究人员带来法律和道德问题。例如，逆向工程算法可能需要违反某些平台的服务条款，还不清楚违反服务条款是否会使研究人员受到民事或刑事处罚。

总之，机器行为学研究人工智能算法的行为、特性及其对人类系统的影响，是至关重要的。我们人类社会可以从这些因素带来的效率和改进的决策中受益匪浅。

参考文献：

Nature，volume 568, pages477–486 (2019)，

参见：

https://www.nature.com/articles/s41586-019-1138-y#auth-1。

（转载请联系里瑟奇智库。）