人机冲突：一个还未深入研究的课题

今天世界多处的网友都爆出ChatGPT宕机的状况，都在奔走相告，验证是只有自己上不去还是大家都不行。我这个深度用户也在焦虑中近乎无聊地度过了低效的一天。从安全科学角度，已经有论文开始关注ChatGPT带来的风险，从人云亦云的公众焦虑逐渐转变到学术讨论。我一直告诫自己不要跟风，因为当大家都在讨论人工智能的时候，而大多数行业、企业连自动化都没有实现，谈何智能化。

趁着空闲，今天就总结一下自己这几年做的东西。2045年，这是世纪之初时代杂志对技术奇异点出现的预测，届时机器智慧将超过整体人类智慧的总和。而ChatGPT可能将这一年的出现大大推前。那么这将第一次出现确确实实的人类生存危机，人类再也无法用高等智慧的视角俯视这个星球。科幻电影里的人和机器人大战可能迫在眉睫，这就是人与AI冲突的终极形式。

这种人机冲突的本质来源于两者的智力增长水平的差距，AI在近乎指数增长，而人类的智力增长却相对平缓，两者之间的差值就是冲突风险的根本来源。这在人机系统中已经十分明显，例如一个操作员与控制系统合作，目前显然人的态势感知能力仍在机器之上，未来如果机器超过人类，这种局面将会扭转。这便是我们讨论的“解读冲突”，见论文1 Assessment of Situation Awareness Conflict Risk between Human and AI in Process System Operation, Industrial & Engineering Chemistry Research, 2023

退一步，在机器智商还未碾压人类、没有产生自我意识之前，机器在行动上已经很有可能悖逆人类的初衷。另一波人类玩弄AI带来的后果已经相当普遍，这便是网络攻击。没有无法攻破的系统，一旦被黑客穿透，操作人员是很难预判到机器出现怪异行为的原因，往往会被归咎为故障。你做什么，机器都对着干。这就是我们关注的网络攻击下的“行为冲突”，见论文2 Risk Assessment of Human-Automation Conflict under Cyberattacks in Process Systems, Computers & Chemical Engineering, 2023

再退一步，除了人和AI想的不一样、做的不一样，如果看到的不一样，更容易导致人机冲突，并且一连串向后传导。这是目前最常见的事故，例如Boeing 737 MAX坠机，以往的观点归咎于传感器的故障数据，通俗点就是传感器看到的和人看到的不一致，这是人机“观察冲突“导致的事故。见论文3 A Methodology to Assess Human-Automated System Conflict from Safety Perspective. Computers & Chemical Engineering, 2022

最后，再退一步，当我们甚嚣尘上地滥用机器学习的时候，自信于建立的模型和算法，实际上这已经是“算法构建者“与”其他人或人类本身对事物真实理解”之间的冲突。见论文4  Myths and misconceptions of data-driven methods: Applications to process safety analysis, Computers & Chemical Engineering, 2022

希望通过“观察冲突”、“解读冲突”、“行为冲突”的组合，完整地描述“人机冲突”这一问题。

回到ChatGPT，我们可能还在与它逗趣、调笑，开心地使用这个工具，而它给出的答案，“模型开发者集体”已经无法解释它给出的答案的原理，这群开发者与其他开发者对世界的认知差异，或者这群开发者与人类真实认知的偏差，很有可能将所有人类带入到无可挽回的歧途。

谁知道呢，开发者已经不知道了。

谨以此文，总结过往3年的学习。

本文由温贺2023年2月27日首发于科学网博客，未经许可，禁止转载。