作者：

曾毅（北京前瞻人工智能安全与治理研究院院长；中国科学院自动化研究所人工智能安全与超级对齐北京市重点实验室主任）

黄铁军（北京智源人工智能研究院理事长；北京大学教授）

姜裕刚（复旦大学副校长、教授）

蒲慕明（中国科学院脑科学与智能技术卓越创新中心学术主任；《国家科学评论》执行主编）

人工智能（AI）的迅猛发展给社会各领域带来严峻挑战。众所周知，AI能够推动科技、全球经济、社会福祉与生态等众多领域加速进步。然而，AI发展也对各国社会的和谐与安全构成日益凸显的威胁。尤其令人担忧的是，许多前沿人工智能实验室与科技企业正竞相研发通用人工智能（AGI）及超级智能——这类智能可在人类所能完成的所有任务上超越人类，却未认真考量如何防范这一发展进程中潜在的风险。这迫切需要全球共同商议安全和与人类价值对齐的AI的发展路径，并采取切实有效的AI治理行动。

AI强国之间的地缘政治竞争，尤其是中美之间的博弈，使AI治理问题愈加复杂。硅谷科技巨头正以空前的资本投入与技术实力竞相追逐通用人工智能与超级智能研发，而中国AI企业与科研机构则更多聚焦于广泛的商业化应用及科学技术研发。这种AI发展路径上的表面差异实则流于浅层，因为通用人工智能一旦实现，必将渗透至AI应用的所有领域。种种迹象表明，这一局面极有可能在未来5至10年内成为现实。

有观点认为，地缘政治竞争与科技巨头的商业利益，将阻碍全球开展有意义的对话和达成共识性的AI治理规则，因为竞争各方都希望赢得这场竞赛，且对彼此遵守既定安全准则与监管规范缺乏信任。

冷战时期，应对核战争紧迫威胁的行动正是由美苏两国心系社会的公民与科学家率先发起的。例如，帕格沃什科学与世界事务会议在美苏关系紧张的年代为双方搭建了沟通桥梁，也为两国后续达成多项核武器相关条约奠定了基础。

自大语言模型（LLM）问世以来，国际社会已从科研与政策层面围绕全球AI安全与治理开展了诸多工作。联合国人工智能治理全球对话、人工智能独立科学小组，均为联合国大会议程贡献了力量。在约书亚・本吉奥牵头、百余位AI研究者参与研讨的基础上，两份国际AI安全科学报告已正式发布。世界人工智能大会(WAIC)暨全球AI治理高级别会议系列活动，成为重要的思想交流平台。人工智能发展与治理国际研究网络（AIR-Net）则是由科学家主导的AI研发与治理协作网络。

AI先驱杰弗里・辛顿、约书亚・本吉奥、斯图尔特・罗素，联合多位中国科学家及全球其他学者近期共同发表公开声明，呼吁暂停超级智能研发，直至科学界就其安全、可控的发展达成广泛共识。这一倡议获得了国际社会强力支持，全球各界超10万人联署。

尽管已有诸多努力，全球仍未迈出实质性步伐，构建高效、可落地的AI治理体系。究其原因，主要在于AI企业占据主导的商业利益，以及率先实现通用AI所带来的巨大诱惑。关于潜在灾难乃至生存性风险的警示层出不穷，但在建立全球安全准则与治理机制上，实际进展却微乎其微。当前仍存在两大突出难题：一是AI科技巨头之间、中美之间，对彼此遵守全球AI监管规则的承诺缺乏信任；二是即便达成全球共识，也缺乏保障规则落地的执行机制。

我们认为，现实可行的下一步，是中国政府与人工智能界在原则与政策研讨之外，采取具体行动。联合国气候变化框架公约缔约方大会（COP）已在政策层面开展近三十年广泛讨论，而中国主动采取分步行动，推进碳达峰与碳中和目标，通过政府主导的项目与政策规范发展可再生能源与绿色能源，即便西方发达经济体未同步发力，中国仍在减排领域实现了稳步推进。我们有理由相信，中国同样可以率先制定AI安全准则与治理机制，向世界、尤其是地缘政治与经济竞争对手证明，有效行动切实可行，且中国在AI安全领域的承诺真实可信。如同绿色能源技术一样，中国在AI安全与治理方面的技术实践经验，也应与国际社会共享。

亟待开展的行动已形成广泛共识，中国人工智能界可着力推进以下工作：

1. 研发技术安全防护准则，防范AI系统失范与恶意用户滥用；

2. 开发相关技术，为AI大模型及具身智能物理系统植入与人类价值对齐的行为规范；

3. 研发应对通用人工智能的补救技术、应急措施及共生社会体系；

4. AI安全技术研发完成后，尽快向全球人工智能界与公众公开共享。

科研人员和学者应从以下方面持续为中国政府提供支撑：

1. 新建并强化已有的国家级AI安全专家委员会，密切跟踪需设置安全防护、实现人类对齐的大型AI模型，定期向各级政府提交可落地的行动建议；

2. 依据国家级AI安全专家委员会建议，定期发布可执行的国家级AI安全指引与监管规范；

3. 以高水平、前瞻性的科研工作，制定并发布最新安全防护准则；

4. 建立法律机制，在国家层面强制执行AI安全与治理相关规定。

中国已基于上述思路开展了初步且卓有成效的工作，包括但不限于：1) 国家互联网信息办公室、国家发展和改革委员会、教育部、科学技术部、工业和信息化部、公安部、国家广播电视总局联合发布，并于 2023 年施行的《生成式AI服务管理暂行办法》；2) 国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布，并于2025年施行的《AI生成合成内容标识管理办法》；3) 全国信息安全标准化技术委员会、国家计算机网络应急技术处理协调中心发布的《AI安全治理框架（2.0 版）》；4) 工业和信息化部AI标准化技术委员会、国家AI标准化总体组开展的AI安全与治理相关标准化工作。

尽管如此，AI技术迭代速度极快，实现敏捷、可落地的治理仍面临巨大挑战。近期，OpenClaw 等智能体框架的研发与应用呈现爆发式热潮，但其安全保障与治理工作尚未有效落地，负面效应已开始显现，亟需针对性、可执行的防护与治理措施。

AI安全与治理的突破，大概率将诞生于AI技术领先的国家。AI技术的可持续发展，需要社会各界认同AI产品安全且契合人类需求。相较于前沿AI技术及其应用的飞速发展，AI治理的实质性进展迟缓得令人警惕。鉴于AI领域公认的商业与个体利益，仅仅寄望于AI研发者自我约束以保障安全，无异于幻想。认为需等到发生核事故般的灾难性事件后，才启动AI治理的观点，绝不可取。

我们真正需要的，是各国政府与人工智能界采取行动、推进AI安全与治理的决心、意志与行动力——这已成为科技前沿最核心的议题。在此，我们呼吁科研工作者支持中国政府、中国人工智能界乃至全世界，依托技术支撑，开展可落地的AI安全与治理行动，为所有人，共筑人类命运共同体。

社论英文原文：

Towards China-Initiated Actions on AI Safety and Governance

https://doi.org/10.1093/nsr/nwag204