温贺的博客分享 http://blog.sciencenet.cn/u/wenhe716 安全工程领域学术与杂谈

博文

人机冲突:一个还未深入研究的课题 精选

已有 4391 次阅读 2023-2-28 05:38 |系统分类:观点评述

人机冲突:一个还未深入研究的课题

 

今天世界多处的网友都爆出ChatGPT宕机的状况,都在奔走相告,验证是只有自己上不去还是大家都不行。我这个深度用户也在焦虑中近乎无聊地度过了低效的一天。从安全科学角度,已经有论文开始关注ChatGPT带来的风险,从人云亦云的公众焦虑逐渐转变到学术讨论。我一直告诫自己不要跟风,因为当大家都在讨论人工智能的时候,而大多数行业、企业连自动化都没有实现,谈何智能化。

趁着空闲,今天就总结一下自己这几年做的东西。2045年,这是世纪之初时代杂志对技术奇异点出现的预测,届时机器智慧将超过整体人类智慧的总和。而ChatGPT可能将这一年的出现大大推前。那么这将第一次出现确确实实的人类生存危机,人类再也无法用高等智慧的视角俯视这个星球。科幻电影里的人和机器人大战可能迫在眉睫,这就是人与AI冲突的终极形式。

 Picture1.jpg

这种人机冲突的本质来源于两者的智力增长水平的差距,AI在近乎指数增长,而人类的智力增长却相对平缓,两者之间的差值就是冲突风险的根本来源。这在人机系统中已经十分明显,例如一个操作员与控制系统合作,目前显然人的态势感知能力仍在机器之上,未来如果机器超过人类,这种局面将会扭转。这便是我们讨论的“解读冲突”,见论文1 Assessment of Situation Awareness Conflict Risk between Human and AI in Process System Operation, Industrial & Engineering Chemistry Research, 2023

Picture4.jpg

退一步,在机器智商还未碾压人类、没有产生自我意识之前,机器在行动上已经很有可能悖逆人类的初衷。另一波人类玩弄AI带来的后果已经相当普遍,这便是网络攻击。没有无法攻破的系统,一旦被黑客穿透,操作人员是很难预判到机器出现怪异行为的原因,往往会被归咎为故障。你做什么,机器都对着干。这就是我们关注的网络攻击下的“行为冲突”,见论文2 Risk Assessment of Human-Automation Conflict under Cyberattacks in Process Systems, Computers & Chemical Engineering, 2023

再退一步,除了人和AI想的不一样、做的不一样,如果看到的不一样,更容易导致人机冲突,并且一连串向后传导。这是目前最常见的事故,例如Boeing 737 MAX坠机,以往的观点归咎于传感器的故障数据,通俗点就是传感器看到的和人看到的不一致,这是人机“观察冲突“导致的事故。见论文3 A Methodology to Assess Human-Automated System Conflict from Safety Perspective. Computers & Chemical Engineering, 2022

最后,再退一步,当我们甚嚣尘上地滥用机器学习的时候,自信于建立的模型和算法,实际上这已经是“算法构建者“与”其他人或人类本身对事物真实理解”之间的冲突。见论文4  Myths and misconceptions of data-driven methods: Applications to process safety analysis, Computers & Chemical Engineering, 2022

希望通过“观察冲突”、“解读冲突”、“行为冲突”的组合,完整地描述“人机冲突”这一问题。

Picture3.jpg


回到ChatGPT,我们可能还在与它逗趣、调笑,开心地使用这个工具,而它给出的答案,“模型开发者集体”已经无法解释它给出的答案的原理,这群开发者与其他开发者对世界的认知差异,或者这群开发者与人类真实认知的偏差,很有可能将所有人类带入到无可挽回的歧途。

谁知道呢,开发者已经不知道了。

谨以此文,总结过往3年的学习。


本文由温贺2023年2月27日首发于科学网博客,未经许可,禁止转载。



https://blog.sciencenet.cn/blog-3523098-1378232.html

上一篇:关于“两类危险源“和”轨迹交叉理论“最早的纪录
收藏 IP: 174.119.235.*| 热度|

8 黄永义 李剑超 姚小鸥 郑永军 崔锦华 蔡宁 葛及 李康杰

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 10:38

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部