人机混合智能决策的一点思考

齐佳音

1 背景

如果说人工智能技术是近十年最具争议的社会化技术应用，估计是没有人反对的。《哈佛商业评论》将人工智能领域的学者分为五大流派：乌托邦派、反乌托邦派、现实主义派、科技乐观派、生产力不足派（M. Knickrehm，2018）。综合这五种流派，可以客观地评判出，机器与人的协作过程必然是一个不断出错，不断学习，继续优化，继续出错，继续学习……这样一个反复互动的过程。资本市场注入、高端人才参与、巨头企业商业运作是过去几年人工智能技术频频获得关注的重要驱动力。但是，随着人工智能投资逐渐去泡沫以及人工智能研究逐步深入，智能的本质问题（杨学山，2018）、人工智能技术的安全性问题（方滨兴，2020）、人工智能技术的可信性问题（盖瑞·马库斯和欧内斯特·戴维斯，2020）、智能的哲学问题（玛格丽特·博登，2001）、信息的哲学问题（卢西亚诺·弗洛里迪，2016）等新问题与旧问题逐一浮出水面，让人们再次认识到从上世纪就起步的人机协同决策问题，在人工智能时代依然面临着重重困难与挑战。人机混合智能虽然是发展趋势，但是其发展过程必然不是一帆风顺的。这一过程中的关键变数就在于能够深刻理解管理决策环境下的机器行为模式及其演化规律。

机器行为的研究在争议中引起国际极大关切。Nature于2019年4月发表了由MIT媒体实验室Iyad Rahwan及其同事领衔的文章“机器行为学”（Machine Behavior），首次提出应将“机器行为学”作为一门跨专业新学科进行研究，认为需要对机器行为产生的机制、功能、发展进一步的研究，同时将研究范围分为了机器个体行为、机器群体行为和人机交互行为三大类。2019年10月份，Nature又刊登了一篇由Emanuel Moss学者回应“机器行为学”的通讯文章，认为“机器行为学只是旧瓶装新酒”（Machine behavior is old wine in new bottles）。文章指出对生物和机器的系统行为和控制研究在过去几十年一直在蓬勃发展的。而在“机器行为学”是否应当成为新的学科这一话题成为争议之前，已经有学者建议专门研究机器系统行为了。Epstein等（2018）就曾提出，人工智能系统技术的发展速度远远超过了描述其行为的研究数量，而缩小两者的差距有利于更好的提出和测试人工智能系统，提高人工智能系统的效率。

对机器行为的研究也是国内人工智能领域学者的共识。我国著名科学家钱学森院士早在上世纪80年代就在中国创建了人-机-环境系统工程学。人-机-环境系统工程是运用系统科学理论和系统工程方法，正确处理人、机、环境三大要素的关系，深入研究人-机-环境最优组合的一门科学，这其中就包含了对于机器特性的研究。近几年来，潘云鹤院士、李德毅院士、郑南宁院士、吴朝晖院士等中国工程院院士均在不同的场合倡导和推动我国的机器行为研究。本项目的申请负责人齐佳音教授的论文“人机关系：挑战与方向”（齐佳音，2020c）中指出高质量的人机关系是智能时代可持续发展的重要基础，当智能技术突飞猛进的时候，人机之间的高质量关系变得十分重要。机器行为的研究对于构建高质量人机关系具有基础性支撑作用。

在产业应用领域，对机器行为研究最为深入的当属军事领域。美国国防高级研究计划局（Defense Advanced Research Projects Agency，简称DARPA）是这一领域的执牛耳者。由于在机器行为方面长期的持续投入和高效的应用转化机制，目前DARPA主导下的人机混合智能作战系统保证了美军在军事领域的全球领先优势。在民用领域，对机器行为的产业化应用最受关注就是智能驾驶领域。在这一领域，美国的特斯拉公司在以“钢铁侠”著称的埃隆·马斯特的带领下，走在产业的前端。可以说，目前机器行为的研究方面，美国还是处于世界的领跑地位。

一方面，人工智能时代的机器行为研究是一个典型的跨学科研究领域，将为诸多学科带来前所未有的重建。机器行为的研究将涉及到认知的突破、哲学的突破、数学的突破、决策理论的突破、心理学的突破、人-机-环境系统工程学科的突破等等，其系统性研究具有极其重要的学术价值和基础性重要意义。

另一方面，机器行为研究是人机混合智能决策基础之一，而人机混合智能决策的产业应用对于我国今后无论是军事还是民用领域的国际竞争力又具有重要支撑作用，因而，人工智能时代的机器行为研究对提升我国长远的国家竞争力具有战略性价值和重要意义。

   2 相关术语界定

（1）人机混合智能

人机混合智能（Hybrid Intelligence）是将人类智能和人工智能结合，克服当前人工智能的局限性，实现复杂问题和场景下的协作决策的混合智能形式（Dellerman et. al.，2019）。人机混合智能强调人类智能和机器智能的优势互补，不同于人的智能，也不同于人工智能，是一种跨物种和越属性的智能科学体系（刘伟，2018）。李智军等学者（2019）认为：人机混合智能作为人工智能2.0版，通过人机交互和协同成为了人类智能的自然延伸和拓展, 可以更加高效地解决复杂问题, 具有深刻的科学意义和巨大的产业化前景。综合以上，本课题认为人机混合智能是可以突破人和人工智能的局限，实现人类智能和机器智能优势互补的混合智能形式。

由Hans Moravec和其他计算机科学家于20世纪80年代提出的莫拉维克悖论（Moravec's paradox）指出，人类和机器可轻松完成的事物是完全不同的，对于人类来说轻而易举的事情对人工智能来说可能难于上青天，反之人工智能却经常可以轻松完成人类认为困难的事情。例如，机器在数学计算方面的能力远胜人类，但却无法轻松地完成爬楼梯、开门、踢足球等工作（Simon，2017）。人机混合智能正是将人类和机器的强项进行互补，相互增强的概念。

郑南宁院士也多次强调“混合增强智能”的重要性，认为“人机协同的混合增强智能是新一代人工智能的典型特征”。这种将人的作用和人的认知模型引入到人工智能系统的模式，可能会是未来的发展趋向，也有望在产业发展决策、在线智能学习、医疗领域、人机共驾等领域得到更广泛应用（郑南宁，2019）。

人机混合智能的最终目标是通过结合人类和机器人各自的优势更好地完成复杂的人机协同任务，实现人类和机器人在应用场景中的自然互融。Dellermann等学者（2019）认为，人机混合智能具有三大特点：1）整体性，即将人类和机器看作一个集体，相互协作；2）结果优越性，即混合智能所要完成的特定任务通常可以达到非常好的结果，而这些任务又是以往人类或机器无法独自完成，或完成起来效率较低的；3）持续学习性，即混合智能的一个核心是随着时间的推移，人类和机器是可以通过经验相互学习提高各自能力和系统的整体性能。人机混合智能通过系统建模、感知与交互、协同控制和人在回路优化等技术来提升机器人与人交互和协同的自然性、安全性和鲁棒性。其中以外骨骼机器人、人机共驾系统为代表，通过建立物理和认知双向交互通道的方式，结合机器人的环境感知和理解能力，实现复杂场景和人机协同任务中的混合决策（程洪等，2020）。

（2）机器行为

随着人工智能的发展，智能机器逐步进入人类社会，研究机器的行为越来越受到研究者的重视。由麻省理工学院（MIT）媒体实验室领衔，哈佛、耶鲁等研究人员于2019年4月在Nature发表综述文章“机器行为学”（Machine Behavior），提出将机器行为列为一门新学科进行研究。机器行为主要研究智能机器所表现出的行为。即以人工智能入手，利用研究人类和动物行为的方法，研究机器个体和机器群体在特定环境下的行为规律以及可能对人类社会产生的影响。

机器行为的研究问题包括：1）机器行为产生机制；2）机器行为的功能；3）机器行为的发展。研究范围包括：1）机器个体行为，研究通常侧重于个体机器固有的属性，即其源代码或设计驱动，机器学习和软件工程；2）机器群体行为，如新型仿生群体机器人。相比于单个机器行为的研究，集体机器行为的研究侧重于机器集群的交互和系统行为；3）人机交互行为，人类越来越多地与机器互动。由于智能机器的复杂性，这些混合人机系统构成了机器行为中技术上最困难但同时又最重要的研究领域。学者普遍认为智能机器可以改变人类行为，人类也可以创造，影响和塑造智能机器的行为（Iyad Rahwan et. al.，2019）。

机器行为具有跨学科研究性。目前正在研究机器行为的科学家多是智能系统的设计者，他们有计算机科学家，数学家和工程师等。他们通常并不了解行为学，更不懂得关于神经科学、集体行为学和社会科学理论。机器行为学作为一门跨学科研究学科，除计算机科学家、机器人专家、工程师外，需要引入神经科学家、行为学家以及社会学家等跨专业学科的人才来共同研究机器行为。只有这样，未来在涉及智能系统时，才会不仅仅关注其内部特定功能，也会将社会伦理和周围环境考虑进来。机器行为的主要研究方法包括：随机实验法、观察推断法以及基于群体的统计学方法（Iyad Rahwan et. al.，2019）。高敬瑜（2019）认为如果仅采用计算机学科来考察智能系统的性能，标准就过于单一，机器行为学要求社会学家将人工智能系统放到社会、政治等背景下考量。通过机器系统对社会产生的宏观或者微观影响，观察机器系统在不同环境下，和人类社会互动的结果。

       3 研究的主要问题

（1）人机混合智能决策的现实困难

人机混合智能是一种由人、机、环境系统相互作用而产生的新型智能，既不同于基于人的智能，也不同于机器的智能，是把一种物理、生理、心理、数理、管理、哲理、文理、机理、艺理、地理、伦理等相结合的崭新一代智能科学体系（刘伟，2020）。

人机混合智能决策是一种运用人机混合智能来完成决策行为的新型决策模式，不同于人决策的意向性、常识性、反思性、洞察力、辩证观，也不同于机器决策的形式化、机械性、反馈性、推导力、二元化，而是试图将人的价值性与机器的无责任性相结合，将人的归纳、演绎、类比推理与机的数据驱动推理相结合，将人的自否性反思与机的机械性反馈相结合，将人的洞察力与机器的推导力相结合，将人的辩证观与机器的二元体系相协调，从而实现人与机器之间的相互行为感知、意图理解、功能匹配、能力互补、分工协作，从而在人-机器-环境的动态复杂系统（简称“人-机-环”系统）中完成高效决策。

人机混合智能决策的效果是由人、机器、各种环境的变化状态所叠加衍生出的形势、局势和趋势（简称势）的交互作用影响。在人-机-环系统中三者的交互变化状态动态复杂，三者之间的正反馈与负反馈共存，导致人-机之间协作决策的建设性与破坏性、协同性与冲突性共存，决策效果因而可能是增强效应，也可能是消除效应，人-机-环系统三位一体则决策效果最佳，但如果是三位多体则决策效果大打折扣。因而，如何使人机混合智能决策系统中的“人-机-环”三位一体、调谐共频是目前全球人机混合智能决策系统的共同难点，具体表现在：

人机决策认知不一致性问题。人处理的信息与知识能够变异，人类的认知具有相对性、主观性、容错性，因而有较大权变弹性，可以做到随机应变，时变法亦变，事变法亦变。机器的认知是绝对的、客观的、机械的，表现为形式化的表达，缺乏权变弹性，难以触类旁通、可变性较差。由于人机认知不一致，就会导致人和机器对于环境态势的研判出现不一致，因而就会在人机混合智能决策的协作上出现冲突。

人机决策方式不一致问题。人类能够在环境信息、资源不完备的情况下对态势的发展做出较好的预测，这是因为人类具有触类旁通、隐性联想、跨域颠覆等决策方式，因而可以跳出常规，突发奇想。但是，机器不具有联想能力，机器是在理性地处理数据，通过算法规则来进行推演，实现决策支持。人机决策方式的不一致会伴随着决策任务的复杂度、重要性、危机程度等的变化，带来人-机-环系统的协作的困难。

人机决策目标不一致问题。人类是有价值观的，人类的价值观来源于人类在长期社会演化过程中形成的伦理道德公平体系。正确的人类决策都会选择遵守人类的伦理道德规范，确保决策符合社会的价值观。但是机器决策的方式是数据驱动，决策的目标是达成功效目标，目前尚没有建立起机器决策行为中伦理道德公平介入的有效方式。著名的“休谟问题”就道出了人机决策目标的不一致问题，也就是事实推导不出价值。人机决策目标不一致问题，使得人机混合决策中的人-机-环系统面临难以预测的决策后果，危及人类社会的未来。

人机决策评判不一致问题。正是由于人类在决策中嵌入了价值判断，因而人类对决策方案的评判不单纯地以功效上的“最佳”为唯一标准，而会综合考虑各种规则，甚至潜在规则，而做出超越功效的抉择。但是机器的决策是一个寻求功效最佳的最优技术方案，难以考虑到更为广泛的、隐约可见但又难以言传的默识。当然，对于机器而言，如果将过多的默识体现在算法中，还可能导致算法出现内在冲突的矛盾，无法完成程序执行，陷入死循环。人机决策评判的不一致问题，也是导致人机决策冲突以及人不信任机器的重要原因。

人机决策认知、方式、目标、评判的不一致，导致人机混合智能决策系统始终处于一个寻求平衡的状态中，带来人工智能的乐观主义者、怀疑主义者与悲观主义者三大流派持续多年的争论，裹挟在人工智能从1956年提出至今的多次起起伏伏的发展中。人机决策认知、方式、目标、评判的不一致也注定了人机混合智能决策系统中机器行为的演化研究是一个充满困难的研究领域。这一困难，不仅仅是对国内学术界而言，对于整个国际学术界都是如此。

（2）科学研究问题

人机在决策认知、方式、目标、评判的不一致，为人-机-环混合智能决策系统的演化带来极大的不确定性。

系统演化的不确定性。人-机-环混合智能决策系统的演化，取决于人、机器与环境三者之间的动态随机关系。人-机-环系统如何在适速运行的同时保持协调发展，这是一个具有挑战性的问题。大多数人机混合智能系统研究，经常性地遗漏了对于人机协同环境的关注，而恰恰合适的人机协同环境对于人机混合智能系统的协同决策至关重要。1981年，在著名科学家钱学森院士的指导下，人-机-环境系统工程在我国诞生。在此之后，钱老一直在推动人-机-环境系统工程的发展。人-机-环境系统工程包括七个方面：①人的特性研究；②机的特性研究；③环境特性的研究；④人-机关系的研究；⑤人-环关系的研究；⑥机-环关系的研究；⑦人-机-环境系统总体性能的研究。根据人-机-环境系统工程，在人-机-环混合智能决策系统工程中，也应该包含这七个方面的要素。人-机-环混合智能决策系统的演化将由这七个方面相互作用而推动演化。由于人的特性、机器的特性、决策环境的特性、人-机关系、人-环关系、机-环关系以及人-机-环总体性能各个要素都充满了不可预测性，因而带有鲜明的随机性，这就导致整体系统的演化具有显著的不确定性。

交互机理的不确定性。人-机-环混合智能决策系统中包含了三类主体在管理决策情景下交互：人-机交互、人-环交互、机-环交互。人机交互由于人机在决策认知、方式、目标、评判等四个方面的不一致，因而人-机交互过程存在随机性因素的干扰，带来人-机交互的不确定性，以及由此而来的复杂性。人-环交互涉及到决策环境，不仅包括对环境的感知，还指包含管理机制的设计，不同的机制环境将会带来不同的交互模式，因而这一交互也存在明显的不确定性。机-环交互方面，涉及到机器对环境的感知，也设计到管理机制如何规范机器的介入。由此可见，人-机-环混合智能决策系统中三大交互关系均在不确定性，这也为人机混合智能的协同带来不确定性。

作用规律的不确定性。由于人-机-环混合智能决策系统中人-机交互、人-环交互、机-环交互的交互机理的不确定性，导致人-机-环三个主体之间的作用规律存在不确定性。在人-机-环决策系统中，人-机关系不仅仅可能是合作关系，同时也可能是不合作关系。人是有心理活动的主体，有价值判断，有风险偏好，有好恶情绪，因此人不仅能呈现出理性的一面，也会呈现出感性的一面。加之，人在决策认知、方式、目标、评判等四个方面与机器天然的不一致性，这就导致人在与机器分享决策的意愿、协作决策的动机、联合决策的意图等方面存在多元性、隐蔽性与风险性。如何通过环境机制的设计来引导人有意愿与机器分享决策是形成人-机-环正向作用反馈的关键。

影响效应的不确定性。就目前而言，机器行为在道德性、共情力、拟人度、透明度、可解释性、公平性等方面饱受争议，机器行为安全以及由此带来的可信机器行为已经成为当下研究关注的焦点和热点。如此之外，机器对于决策的参与也挑战了当下稳定的社会规范。如由于机器与人充分的信息交互，使得工作和家庭之间的界限以及公共和私人领域之间的界限变得模糊，人的隐私权受到严峻挑战。由于机器的广泛介入，人与机器之间的边界变得模糊，人的尊严与独特性面临危机（齐佳音，2020b）。由于机器不断侵蚀人的领地，人类存在的意义遭受虚无化质疑等等（齐佳音，2020a）。由于人-机-环混合智能决策系统的整体演化、内部交互以及作用规律均存在不确定性，因而其影响效应的评估将不是一件简单的测算（齐佳音，2019）。人类的独特性在于，我们不仅“活在当下”，同时我们还能“通过未来思考当下”。因此，人-机-环混合智能决策的影响效应评估必须要成为人-机-环混合智能工程的重要研究内容。

由此可见，人机混合智能决策系统的不确定性问题是管理决策环境下的机器行为模式及其演化的基本科学问题。

4 评述总结

现如今，随着智能化时代的到来，关于人机关系已取得的理论研究成果主要集中于两方面：新型人机关系以及人机交互。本课题认为，在智能时代，需要提出新型的人机关系理论、构建新型的人机交互框架。

1）智能时代需要提出新型的人机关系理论

（1）人机关系研究相关理论框架和基本问题尚处于起步阶段，亟需新的探索。

理论框架。当前，人机关系研究所涉及到的理论框架内都是已经较为成熟的、且被广泛提出的已知理论，而适应新型人机关系的理论框还未被提出。一方面，研究者们采用了以往的人−人团队理论（Madhavan and Wiegmann，2007； de Visser et. al.，2018），例如，根据人−人理论，研究者制定了人机组队合作中人−智能体两个合作伙伴之间的一些基本工作原则：双向的（沟通、信任等）、共享的（目标、情境意识、语言、意图、决策、自主化控制等）、协商的责任以及可控的工作负荷等（Madni and Madni，2018； Shively et. al.，2018； Ho et. al.，2017）。另一方面，也有研究提出要采用协同认知系统（Hollnagel and Woods，2005）、弹性工程学（Woods et. al.，2012）等理论框架。例如，根据协同认知系统理论，如何利用人类的生物智能和机器智能在不同程度上的深度整合以及互补来支持基于人机组队合作的自主化系统设计。

基本问题。HMT的人机关系研究需要与AI、计算科学等领域的跨学科合作（McNeese et. al.，2019），因此人机关系研究还未针对许多基本问题给出答案。例如，如何更好地理解人机交互（HCI）与人机组队（HMT）的区别; 人机交互与人机组队之间在人机合作上的本质差别; HMT对现有人机系统理论的影响; 针对智能时代的人机合作，研究者提出了不同的概念，包括人机整合（integration）、人机融合（fusion）、人机共生（symposia）等，它们与HMT的关系是什么，是否各自表征了新型人机合作关系中合作的不同层次或程度；HMT中人机合作的优化组合受哪些因素影响；自主化程度对HMT团队绩效的影响；人类的心理因素（情绪、情感、人格等）对HMT团队绩效的影响等等。

总之，针对智能时代新型人机关系的研究处于初期阶段，有待今后的深入开展。

（2）人机组队中的心理结构方面的理论研究有待于进一步丰富与完善

心理结构（mental construct）包括心理模型、情景意识（situation awareness，SA）、信任。HMT中的人机关系研究对人机组队合作中双向的人机SA分享、人机信任、心理模型感兴趣，它们直接影响人机组队的绩效。

人机情景意识分享。首先，人机SA分享能否适用双向SA以及智能系统下的操作性还有待验证。以往关于SA的研究通常是针对非智能系统操作中的单向式个体SA以及基于人-人团队理论的团队式 SA，这些结果不一定完全适用于人机组队中的人机双向SA。团队式SA还包括共享式和分布式SA（Stanton，2016）。Kitchin和Baber（2016）的初步研究表明分布式SA在团队合作中的绩效高于共享式SA，这是因为分布式SA注重人、智能体各自所需的操作情境和信息。然而，目前还缺少针对HMT、操作性强的SA模型和测试方法（Stanton et. al.，2017; 石玉生等，2017）。在应用中，智能体通过传感器和计算模型得到针对人的行为评估、系统以及环境的SA，该SA可能与操作员所获取的SA不同，因此操作员与智能体之间的SA模型需要有效的双向沟通（Madni and Madni，2018）。例如，高等级自动驾驶车中的驾驶员与自主驾驶系统共享的SA信息（Endsley，2017）。在未来单人操纵的智能化大型民用飞机驾驶舱中，当飞行员失能时，智能机器副驾驶通过SA模型迅速查询到飞行员的状态，迅速有效地掌控飞机操控权（Vu et. al.，2018）。因此，未来的人机关系研究应丰富HMT的SA理论，并且为人机的情境模型定义认知架构和评价方法。

人机互信。同时，针对人机互信的决策推理过程及信任修复问题上还没有得到充分的研究。人机互信直接影响人机组队的团队绩效。例如，在未来空中智能交通指挥系统中，空管员与自主系统之间维持适当的信任有助于人机之间的协调（Kista et. al.，2018）。对于基于自主化技术的自动驾驶车，如果处于自动驾驶模式中的驾驶员双手离开方向盘，智能体可认为当前的驾驶员是不可信任的，从而启动某种告警方式将驾驶员拉回信任状态。目前的机器智能体还缺乏类似人类的“思考”（价值观等），无法解释其推理决策过程（许为，2019b； Mercado et. al.，2016），这对人机组队信任研究的应用带来了困难。其中，信任修复在现有的人−自动化交互和人−人信任模型中并没有得到充分的研究。Chen等人（2017）提出的代理透明度模型（SAT）可用作为校准团队信任的一个有效工具。de Visser等人（2018）认为发生错误后积极开展信任修复应该是人机组队设计的基本要求，并提出了一些策略。今后的研究需要进一步开展信任测量、建模、修复、信任违规以及校正（Kistan et. al.，2018； Baker et. al.，2018），并且如何确定和量化不同操作场景中人机之间动态化功能交换时所需的信任。

心理模型共享。最后，与心理模型共享应用有关的不同情境及方面还缺乏相关探讨。对人−智能机器人之间共享的心理构造研究也是目前研究的重点之一。智能机器人已经可以被赋予一些特殊的能力（比如社交），有可能构建具备理解人意图的“心理模型”（Prada and Paiva，2014； Chen and Barnes，2014），有助于成为人类的合作同伴。基于人−人团队合作的研究，Scheutz等（2017）初步提出了建立人机合作中共享心理模型的一个认知计算框架。Kaur等（2019）则提出了在复杂领域（例如医疗保健，自动驾驶）中人机之间建立共享心理模型的基本方法。Ramaraj等（2019）通过实验研究了影响用户构建机器人心理模型的因素，结果证实用户界面透明度可以有效提高建立这种心理模型的准确性。

目前，学术界还缺乏针对人−机器人组队中心理模型与社会、情感交互之间关系等方面的探讨，未来应该针对这些方面的人机关系进行深入的研究。

（3）人机组队中的决策控制工作还未进行深入开展

新型人机关系下，智能体不再作为简单的决策支持工具，这就涉及到了其将自身功能“转移”至人类身上的情境、方式等因素，而针对这些方面的问题还未得到很好的解决。在传统人机交互中，基于计算技术的机器是作为一个决策支持工具服务于人，而HMT强调人与智能体对系统决策控制的共享（van den Bosch and Bronkhorst，2018）。有效的人机组队应该允许在任务、功能、系统各个层面上实现决策控制权在人与智能体之间的分享。决策控制权的转移取决于双方的信任、共享 SA、合作关系等因素。例如，在自动驾驶车领域，美国MIT的自主车研究项目提出了以人为中心的共享自主化研发范式（Fridman，2018），其人机合作包括分享的SA、信任支持、风险评估等，保证车辆控制权在人机之间的有效过渡，驾驶员拥有最终控制权。Muslim和Itoh（2018）遵循以人为中心的理念提出由自适应控制来共享自动驾驶车控制权的方法以及人机之间控制权限切换的策略。该策略保证人类操作员拥有对系统的最终权限，从原理上提出了如何以及何时可以在人机之间转换控制的建议。针对系统的最终决策控制权问题，“以人为中心的AI”设计理念模型强调，AI是增强人类的能力而不是取代人，人应该是智能系统的最终决策控制者（许为，2019b）。在人机组队中，这种人机之间最终操控权的分配转移应该是建立在双向SA和信任、分享的任务和意图等合作的基础上所产生的操控权分享。针对近几年发生的多起自动驾驶车致命事故的调查结果表明，司机对智能技术的过度信任、操作中的低参与度、低效的人机交互和告警设计等原因导致司机未能在应急状态下快速接管驾驶（NTSB，2017； Hancock，2019）。人机关系研究方面的解决方案就是要充分考虑人−机载智能系统交互中人机组队合作的设计策略（尤其对高等级自动驾驶车），通过有效的人机交互设计（自然、多模态协同式用户界面等）在应急状态下提供快速有效的人机控制权转移。

然而这方面的研究却忽略了一个重要问题，那就是智能体在什么条件下以及如何接管或者将功能切换到人类操作员？例如，空管员与未来智能交通管制系统之间可否依据人机互信度来执行有效的控制切换（Kistan et. al.，2018）。人机组队中的决策控制方面的工作有待于人机关系研究的开展，今后的人机关系研究需要对这个问题进行深入了解。

2）智能时代需要构建新型的人机交互模式

（1）人机交互的已知的计算模型应用过于简单化

人机交互和合作的认知模型。人机交互和合作的认知模型并没有涉及到复杂的人机交互机制，因此存在着一定的局限性。基于人类处理器模型的MHP（the model human processor）和 GOMS（goals，operators，methods，selections rules）等简单的人机关系研究方面的模型已经不能满足当前复杂的交互场景和任务（Card et. al.，1983）。人机关系研究需要建构智能时代符合新型人机合作关系的认知和计算模型，从而指导智能系统的人机交互设计（刘烨等，2018）。虽然“感知−记忆−判断”（PMJ）模型在人机关系等领域得到了一定的应用，但是该模型并没有涉及到复杂的人机交互机制（Fu et. al.，2014）。刘烨等（2018）初步提出了一个面向智能时代的人机合作心理模型。尽管该模型仍存在一定的局限（例如，不是一个细化的、可计算的模型，尚未开展人机交互实验验证），但是该模型考虑了机器智能、人机交互复杂性等因素，部分地融合了多模态并行、分布式认知的思路。同时，国内计算技术界研究者提出了一些阻碍智能时代人机 交互发展的理论和技术问题，包括认知模型、分布式认知理论、基于场景上下文的知识表征、人机交互的认知计算模型等（范俊君等，2018）。社会交互和情感交互的认知建模也是目前智能系研发中面临的重要问题。人机关系研究应该在这些方面有所作为。

人机绩效模型。以往的人机关系研究已提出许多人类绩效模型（human performance model，HPM）模型（例如，ACT-R、MIDAS）（Foyle and Hooey，2007），但在功能设计上还需要进一步完善，使其更加“智能化”。智能时代的HPM在系统设计中，应该不但可以通过预测人类绩效来节省运行实验的时间和成本，而且还可以作为输入直接集成到智能系统中，帮助提高系统安全和绩效（Wu，2018）。例如，实验表明当任务的上下文和操作员信息处理能力发生变化时，嵌入智能系统的HPM可以直接预测和优化人的绩效（Zhao and Wu，2013）。Salvucci（2006）的研究表明，HPM可以在实际超速发生几秒钟之前预测驾驶员的超速行为，从而向驾驶员发送警告。利用驾驶员的车道变更模型可以预测驾驶员何时变道，并发出警告。因此，HPM在预测人的绩效方面能够为智能系统的研发发挥作用。不仅如此，未来更为重要的是要做人机绩效的测评研究和应用推广。

人机界面的解释计算模型。目前，针对人机界面开发出的解释计算模型的假设仅在理论上得到证实，从理论向实际应用的跨越还存在着一定难度，也因此尚未得到解决。由AI的“黑匣子”（black box）效应所导致的AI透明性、解释性等问题，直接影响用户对智能系统的信任度和决策效率（许为，2019b）。目前针对可解释AI的研究思路之一是采用现有的心理学解释理论来帮助开发新的解释计算模型（Gunning，2017）。心理学家已经开展了许多针对解释概念、理论、表征、机制、测量、建模等方面的研究，包括诱导性推理、因果推理、自我解释、对比解释、反事实推理等（Lombrozo，2012； Hoffman et. al.，2017）。尽管这些理论假设在心理学实验室中已得到验证，但是目前存在心理学理论向实际应用转换的鸿沟。人机关系应该帮助促成这种转换，构建有效的计算模型来表证可解释的结果，开发有效的解释用户界面，并且预测和评估其有效性。针对汽车领域的人机交互界面，Edouard-Thomas LARGILLIER等（2013）分析设计了HMI逻辑框架，制定了构建层次的标准并最终应用在搭载于一些现存大型车辆上含四变量的人机交互逻辑框架中。

当前，对于人机混合智能系统的整体绩效的评价研究还非常少，对于本课题将在系统演化以及演化效应两个研究内容中对此予以关注。在这一领域，上海对外经贸大学人工智能与变革管理研究院下设的“人机绩效研究中心”已经与国际领域的学者开展了一些初步工作。

（2）人机交互设计方面的存在问题还未得到解决

新型人机界面。当前，针对人机关系已开展的研究还无法满足智能系统人机界面设计中的实际需求。智能技术催生了一系列新的人机交互技术以及相应的新型人机界面。这些新型人机界面包括自然用户界面（例如，语音、视线、手势、触觉等交互）、脑机界面、可穿戴设备交互、隐式交互界面、多模态交互界面等。人机关系研究已经开展了初步的研究（葛列众和许为，2020），但是在满足智能系统人机界面设计中的实际需求上还存在着许多不足之处。未来的人机关系研究需要为智能系统的人机界面设计提供基于实验验证数据的学科支持，进一步提高新型人机交互的自然性、精确性和有效性。

新型应用场景。智能技术在智能物联网、普适计算、智能环境等新型落地场景中的应用将产生一系列新的问题，例如人类有限的认知资源是普适计算中人机交互的瓶颈。早在2002年，卡内基大学的Aura研究项目就指出普适计算中最珍贵的资源不是计算机技术，而是人的认知资源（Garlan et. al.，2002）。在普适计算时代智能系统主动启动的隐式人机交互场景中，用户当前的任务可能与智能系统启动的交互任务产生不同模态之间认知资源的竞争，用户面临认知负荷、注意资源分配、多模态之间竞争等问题（王巍等，2014；岳玮宁等，2002）。有研究提出为了降低用户的认知负担，可以在显式交互模式基础上融入隐式交互的模式，从而降低用户的认知负担；或者从用户认知特征入手，通过适当的交互技术，使交互方式适应用户的认知特征，从而达到最佳的注意资源分配和工作效率（王巍等，2014）。人机交互界面设计是一个影响人机混合智能系统的重要因素，上述问题都有待于未来人机关系研究的贡献。

（3）未来的人机交互设计的标准和原则需要针对智能系统进一步设计开发

目前人机关系研究领域还缺乏具体系统化的针对智能系统开发出的人机交互等设计标准和原则。人机关系研究的重要任务之一是通过实验和应用验证提出一系列针对技术的设计原则以及设计标准，从而为人机系统的优化设计发挥重要作用。首先，人机关系研究需要为AI设计师和设计决策提供具体、可操作的设计原则。例如，微软AI研究人员与人因学专家联手从150多个与AI相关的设计建议中提取了一系列指南，并通过三轮相关产品的评估验证，从交互初始阶段、用户与系统交互过程中、系统出错情况下、随着时间推移智能系统应该如何表现等4个方面，提出了18条设计准则和指南（Amershi et. al.，2019）。许为（2020）对智能系统研发也提出了8项基本设计原则（葛列众和许为，2020）。许多AI研发企业也在智能系统的研发中，开展相关的人机关系研究，并将这些研究成果直接应用在智能系统研发中（例如，百度，2019）。

然而，以往众多的人机关系研究设计原则和标准基本上是针对非智能系统开发的。目前还缺乏具体系统化的针对智能系统的人机交互等设计标准。国际电气工程师学会（IEEE）现有的AI设计指南主要是从道德伦理等角度来提供指导（IEEE，2019）。国际标准化组织（ISO）也看到了这种紧迫性。因此为智能系统研发和应用服务，未来的人机关系研究责无旁贷。

参考文献略。

注：本文为三年前的学术思考，文献未更新到最新。