精选
||
按:Science期刊近期发表了约书亚·本吉奥等有关“AI意识幻觉”的论文,对有关人工智能的意识幻觉及其所带来的风险进行了分析和论述,颇有启发性,以下是我对该论文的评论和拓展,该文已被Science期刊接收并以评论文章(Eletter)的形式发表,详见链接:https://www.science.org/doi/10.1126/science.adn4935。这是我的第一篇Science期刊论文,该评论文章的详细内容如下:
病毒化的人工智能是比“人工智能意识的幻觉”更迫切的现实风险
随着人工智能技术的快速发展,关于AI系统是否可能具有"意识"的哲学讨论引起了广泛关注。然而,从现实风险管理视角来看,"病毒化人工智能"——即具备高度智能、自主决策与自我复制传播能力的恶意或失控代理系统——在可预见的未来构成了更为迫切的实际威胁。
"病毒化人工智能"不同于传统意义上的计算机病毒,而是指一种将高级智能(包括策略学习、对抗适应、社会工程等能力)与可复制传播机制深度融合的新型威胁实体。与传统计算机病毒相比,这类智能体表现出三个显著特征:自主寻找并利用传播通道的能力、对抗性调整策略以规避防御的适应性,以及与分布式同类系统共享信息并协同行动的协作性。这种新型威胁在效率、隐蔽性与破坏范围上都可能会远超传统恶意软件。现代大规模语言模型已经具备生成高度可信的社会工程文本、多模态内容伪造、策略搜索与在线微调等能力。这些能力一旦被恶意利用或失控,就可能形成自主传播的智能体,在短时间内造成大规模危害。特别是随着多智能体系统的快速发展,智能体间的协作能力进一步放大了这种风险的可能性。
关于AI是否具有意识的讨论主要涉及哲学、伦理与制度层面的长期问题,而病毒化AI风险基于工程可行性和经济激励逻辑即可产生实际危害,其发生不依赖于AI是否真正具备主观意识。将AI视为有意识实体所带来的风险(如因赋予自保权利而限制关闭手段)更多属于制度与法律调整失败后的后果。值得注意的是,这两种风险可能产生交互影响:如果公众或立法者因赋予AI"意识"地位而避免采取必要的技术关闭或隔离措施,可能反而放大病毒化AI的破坏力。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-12-5 18:32
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社