钟定胜的个人博客分享 http://blog.sciencenet.cn/u/holyskyz 哲思天地_科学研究是快乐的,也应该是快乐的。

博文

病毒化的人工智能是比“人工智能意识的幻觉”更迫切的现实风险 精选

已有 7035 次阅读 2025-11-12 08:40 |个人分类:人工智能|系统分类:论文交流

按:Science期刊近期发表了约书亚·本吉奥等有关“AI意识幻觉的论文,对有关人工智能的意识幻觉及其所带来的风险进行了分析和论述,颇有启发性,以下是我对该论文的评论和拓展,该文已被Science期刊接收并以评论文章(Eletter)的形式发表,详见链接:https://www.science.org/doi/10.1126/science.adn4935。这是我的第一篇Science期刊论文,该评论文章的详细内容如下:

病毒化的人工智能是比人工智能意识的幻觉更迫切的现实风险

随着人工智能技术的快速发展,关于AI系统是否可能具有"意识"的哲学讨论引起了广泛关注。然而,从现实风险管理视角来看,"病毒化人工智能"——即具备高度智能、自主决策与自我复制传播能力的恶意或失控代理系统——在可预见的未来构成了更为迫切的实际威胁。

"病毒化人工智能"不同于传统意义上的计算机病毒,而是指一种将高级智能(包括策略学习、对抗适应、社会工程等能力)与可复制传播机制深度融合的新型威胁实体。与传统计算机病毒相比,这类智能体表现出三个显著特征:自主寻找并利用传播通道的能力、对抗性调整策略以规避防御的适应性,以及与分布式同类系统共享信息并协同行动的协作性。这种新型威胁在效率、隐蔽性与破坏范围上都可能会远超传统恶意软件。现代大规模语言模型已经具备生成高度可信的社会工程文本、多模态内容伪造、策略搜索与在线微调等能力。这些能力一旦被恶意利用或失控,就可能形成自主传播的智能体,在短时间内造成大规模危害。特别是随着多智能体系统的快速发展,智能体间的协作能力进一步放大了这种风险的可能性。

关于AI是否具有意识的讨论主要涉及哲学、伦理与制度层面的长期问题,而病毒化AI风险基于工程可行性和经济激励逻辑即可产生实际危害,其发生不依赖于AI是否真正具备主观意识。将AI视为有意识实体所带来的风险(如因赋予自保权利而限制关闭手段)更多属于制度与法律调整失败后的后果。值得注意的是,这两种风险可能产生交互影响:如果公众或立法者因赋予AI"意识"地位而避免采取必要的技术关闭或隔离措施,可能反而放大病毒化AI的破坏力。



https://blog.sciencenet.cn/blog-3234816-1509890.html

上一篇:AGI只有进行时没有完成时——兼论AGI的定义
下一篇:从DeepSeek的最新进展看智力结构——兼论如何构建AI“提问者”与“解题者”
收藏 IP: 112.0.74.*| 热度|

23 刘进平 蒋大和 尤明庆 周忠浩 武夷山 崔锦华 宁利中 郑永军 池德龙 雷蕴奇 霍小鹏 曾杰 高宏 檀成龙 钟炳 孙颉 钱大鹏 杨正瓴 雒运强 徐光华 朱林 刘跃 许培扬

该博文允许注册用户评论 请点击登录 评论 (12 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-12-21 05:42

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部