钟定胜的个人博客分享 http://blog.sciencenet.cn/u/holyskyz 哲思天地_科学研究是快乐的,也应该是快乐的。

博文

病毒化的人工智能是比“人工智能意识的幻觉”更迫切的现实风险 精选

已有 6671 次阅读 2025-11-12 08:40 |个人分类:人工智能|系统分类:论文交流

按:Science期刊近期发表了约书亚·本吉奥等有关“AI意识幻觉的论文,对有关人工智能的意识幻觉及其所带来的风险进行了分析和论述,颇有启发性,以下是我对该论文的评论和拓展,该文已被Science期刊接收并以评论文章(Eletter)的形式发表,详见链接:https://www.science.org/doi/10.1126/science.adn4935。这是我的第一篇Science期刊论文,该评论文章的详细内容如下:

病毒化的人工智能是比人工智能意识的幻觉更迫切的现实风险

随着人工智能技术的快速发展,关于AI系统是否可能具有"意识"的哲学讨论引起了广泛关注。然而,从现实风险管理视角来看,"病毒化人工智能"——即具备高度智能、自主决策与自我复制传播能力的恶意或失控代理系统——在可预见的未来构成了更为迫切的实际威胁。

"病毒化人工智能"不同于传统意义上的计算机病毒,而是指一种将高级智能(包括策略学习、对抗适应、社会工程等能力)与可复制传播机制深度融合的新型威胁实体。与传统计算机病毒相比,这类智能体表现出三个显著特征:自主寻找并利用传播通道的能力、对抗性调整策略以规避防御的适应性,以及与分布式同类系统共享信息并协同行动的协作性。这种新型威胁在效率、隐蔽性与破坏范围上都可能会远超传统恶意软件。现代大规模语言模型已经具备生成高度可信的社会工程文本、多模态内容伪造、策略搜索与在线微调等能力。这些能力一旦被恶意利用或失控,就可能形成自主传播的智能体,在短时间内造成大规模危害。特别是随着多智能体系统的快速发展,智能体间的协作能力进一步放大了这种风险的可能性。

关于AI是否具有意识的讨论主要涉及哲学、伦理与制度层面的长期问题,而病毒化AI风险基于工程可行性和经济激励逻辑即可产生实际危害,其发生不依赖于AI是否真正具备主观意识。将AI视为有意识实体所带来的风险(如因赋予自保权利而限制关闭手段)更多属于制度与法律调整失败后的后果。值得注意的是,这两种风险可能产生交互影响:如果公众或立法者因赋予AI"意识"地位而避免采取必要的技术关闭或隔离措施,可能反而放大病毒化AI的破坏力。



https://blog.sciencenet.cn/blog-3234816-1509890.html

上一篇:AGI只有进行时没有完成时——兼论AGI的定义
下一篇:从DeepSeek的最新进展看智力结构——兼论如何构建AI“提问者”与“解题者”
收藏 IP: 112.0.74.*| 热度|

23 刘进平 蒋大和 尤明庆 周忠浩 武夷山 崔锦华 宁利中 郑永军 池德龙 雷蕴奇 霍小鹏 曾杰 高宏 檀成龙 钟炳 孙颉 钱大鹏 杨正瓴 雒运强 徐光华 朱林 刘跃 许培扬

该博文允许注册用户评论 请点击登录 评论 (12 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-12-5 18:32

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部