After50的个人博客分享 http://blog.sciencenet.cn/u/After50

博文

人工智能和安全共生新学科专业的构建与展望(译文)(下)

已有 485 次阅读 2026-7-18 10:54 |个人分类:安全科学理论|系统分类:论文交流

Wu C, Wang B, Shi Z. 2026. Construction and prospect on the new disciplines by the symbiosis between artificial intelligence and security & safety. Emergency Management Science and Technology 5: e002 https://doi.org/10.48130/emst-0026-0002

人工智能和安全共生新学科专业的构建与展望(上文译文)(下)

超,王 秉,史志勇

  要:为了解决人工智能(AI)快速发展及其广泛应用所带来的突出安全问题和预测未来AI安全影响的态势,尽快创建AI安全类学科专业迫在眉睫。文章采用文献调查、逻辑思辨、新学科建构和分析预测等方法,综述了AI萌芽期到爆发期伴随的安全问题的典型研究,分析了AI与安全的三层次问题,提出了三个与之相对应的AI安全类新学科专业框架,阐述了三个学科专业的定义、内涵、研究对象、研究方法、知识体系及其交叉学科等,展望了人工智能与安全共生新学科的典型研究方向和未来。研究结果表明:AI发展伴随的安全问题将会愈演愈烈,AI系统自身的安全问题、应用AI提升各领域安全质效的问题和AI发展及其应用过程中衍生的新安全问题将形成三个重要的研究领域,并由此急需建设智能系统安全学、安全智能工程学和智域风险治理学这三门新学科专业,以适应可持续安全发展和推广AI防控AI衍生的各种新风险

关键词:AI与安全;智能系统安全学;安全智能工程学;智域风险治理学;新学科专业展望

接:人工智能和安全共生新学科专业的构建与展望(上) 

https://blog.sciencenet.cn/home.php?mod=space&uid=532981&do=blog&id=1544122 

4 三门新学科专业的展望

智能系统安全学、安全智能工程学和智域风险治理学这三门新学科专业的重要研究方向和未来可能形成的新分支展望如下。

4.1 三门学科专业的通用研究方向

由图2~4可以看出,三门学科专业的共同研究方向有安全理念、法律、伦理、时间等要素,所有组分和要素都涉及人因问题,并构成一个复杂系统,还有就是三门学科专业的目标都是为了安全。由上也可以推理出三门学科专业的一些重要的通用性研究方向。

1)可持续安全发展智能的哲学理论研究。这是一个融合技术创新、环境责任、社会长期发展与人类未来安全的基础性研究领域,其核心在于通过智能技术提升安全效能的同时,能确保生态可持续性、伦理包容性、全球协作性以及人类能够安全生存下去。涉及的核心前瞻要素包含预防性智能防御、绿色技术伦理、全球安全韧性、动态平衡范式、人类未来安全等,其终极价值是在于引领和平衡AI技术发展,通过智能实现安全,通过安全反哺可持续,最终形成技术向善的文明发展循环。

2)可持续安全发展智能的伦理研究。这是一个融合AI技术创新、社会责任与道德规范的综合性领域,其核心在于通过伦理框架引导智能技术的可持续发展,确保AI技术应用的安全性、公平性、透明性与环境友好性等,其研究是技术、安全、伦理、社会等的交叉,其目标在于避免技术失控或滥用,技术应用不威胁人类安全、经济稳定或生态平衡,技术开发者与使用者的行为要防止算法偏见、隐私侵犯等问题,形成全球AI伦理共识,确保智能技术的发展不偏离增进人类福祉的初衷。

3)安全发展智能的基础理论研究。这是一个聚焦于构建智能系统安全发展范式的底层逻辑与科学基础的研究领域,旨在通过系统性、跨学科的探索,揭示智能技术安全发展的本质规律、核心矛盾与调控机制,如AI安全复杂性研究、Ai安全控制论与安全信息论、AI计算安全社会学、AI安全技术演化动力学、AI风险熵增规律、AI安全阈值、AI安全关键模型、AI跨文明安全公理、AI安全教育体系等,通过融合支持AI的多学科基础知识,如安全科学、计算机科学、信息学、伦理学、社会学、文化学、人类学等,形成AI自身安全基础理论体系。

4)安全发展智能的系统学研究。这是一门融合系统科学、安全科学、计算机科学、社会学、伦理学、管理学等的交叉领域,研究强调从整体上分析安全发展与智能技术之间的相互作用,通过反馈机制、因果关系模型等,揭示AI技术、安全、伦理、环境、人类之间的动态关联,通过多学科融合与动态系统分析,为智能技术划定安全阈值等,确保其服务于可持续发展的终极目标。

5)安全发展智能的未来学研究。这是一个跨学科的前沿领域,旨在结合AI、大数据、系统科学、风险管理、伦理学、未来学等学科,探索智能技术发展的潜在路径、风险与机遇,并构建面向未来的安全发展框架。其内涵包括平衡安全与发展理念、动态安全观、预防性思维、韧性可持续发展,研究例子如AI技术演化预测、未来风险情景模拟、未来伦理与治理框架、人机协同未来等,安全发展智能的未来学研究本质上是一种面向未知的治理科学,其目标不仅是预测未来,更是通过主动设计,将技术发展引导至可持续、包容性、符合人类整体利益的轨道,这一领域的发展将引领21世纪人类安全文明的走向。

4.2智能系统安全学的研究方向展望

除了4.15个学科方向适合智能系统安全学之外,由图3还可以展望智能系统安全学的更多研究方向和未来发展。

1AI硬体系统安全技术。这一方向主要针对AI硬体内生性的风险控制,如智能风险感知元件、智能多模态威胁识别器、故障因果推理决策生成器、应急响应控制器等的研发,可信链接验证技术、动态防御技术、弹性恢复技术、反制技术、自愈网络架构的研发等。

2AI软体系统安全技术。这一方向主要针对AI软体内生性的风险防治,如多智能软体脆弱性增强、深度神经网络对抗样本生成机制、数据污染与信息反馈误导的免疫、参数逆向执行风险、代码安全分析程序、基础设施数字免疫系统、混沌安全场景智能推演、安全态势智能预测、数据轨迹追踪、区块链数据流可信审计、隐私计算攻防、意识空间防护、脑机接口数据流防火墙的开发等。

3AI系统攻防对抗博弈学。这一方向主要针对系统外源性风险的防治,如认知安全维度拓展、脑机接口信号劫持防护、数字孪生认知欺骗防御、心理操纵对抗、群体智能认知偏差纠正机制、攻防对抗智能化、漏洞预测、多维度攻击自主感知技术、防御策略优化技术研发等。

4AI系统安全工程学。这一方向主要针对AI系统安全的问题,如智能防御体系架构、自主进化型防御网络、暗网空间主动诱捕系统、动态环境下的自适应认证协议、深度智能学习能力、抗风险韧性系统、复杂安全系统理论、安全智能体认知架构、人机物安全融合系统、风险传播模型、多智能体博弈防御动力学等。

上述这些研究方向经过不断丰富和夯实之后,将有望成为智能系统安全学的新分支学科,并且可以衍生出更多相关的学科群,如攻防博弈智能动力学、数字孪生安全工程学、AI计算安全学、意识信息安全学、跨模态交互安全学、数据安全工程学、多智能体协同防御学、智能应急技术、智能物联网安全技术等。

4.3安全智能工程学的研究方向展望

除了4.15个学科方向适合作为安全智能工程学的基础学科方向之外,由图4的安全智能工程学的知识结构体系和细化成各个安全领域应用场景,未来AI在国家安全、军事安全、社会公共安全、防灾减灾、突发恶性公共卫生、事故灾难、安全监管、企业安全生产管理、安全应急救援、安全科学技术研发、信息安全保障、交通安全、城市安全、安全人才培养、安全知识科普教育、安全媒体事业等领域都可以得到广泛应用,这些重要应用研究领域在未来还可能形成一个庞大的学科群。

1AI在国家安全领域的应用。研究课题如:战略级威胁推演、多国博弈仿真系统、地缘政治冲突的动态演化模型、多源异构数据威胁情报萃取、数字边疆防御、跨境数据流监管智能体系、认知战对抗工程、伪造内容溯源与反制系统等。未来可能形成的新安全学科分支如国家数字安全工程学、战略智能推演科学、数据边疆防御工程学等。

2AI在军事安全领域的应用:研究课题如:武器系统伦理约束、AI自主决策动态调控机制、战场环境智能欺骗、对抗网络虚拟技术、蜂群系统韧性增强、无人机群抗干扰自愈通信网络、神经电子战对抗、脑机接口加密防护体系等,并由相关内容的集成可以形成新安全学科分支。

3AI在社会公共安全领域的应用。研究课题如:犯罪热点时空预测、犯罪概率动态生成技术、群体事件演化预先干预技术、群体行为智能疏导系统、暗网生态治理、匿名网络渗透分析技术、舆情免疫工程、虚假信息群体免疫策略等,并由相关内容的集成可以形成新安全学科分支。

4AI在自然灾害防灾减灾的应用。研究课题如:多灾种耦合预警、地球灾害预测大模型、AI自适应应急、无人机救灾物资自主分配系统、城市洪涝灾害仿真与预案优化、AI生态韧性评估、生态系统脆弱性智能诊断等,并由相关内容的集成可以形成新安全学科分支。

5AI在突发公共卫生领域的应用。研究课题如:病原体进化预测、病毒变异路径推演、医疗资源熔断预警、医疗挤兑风险预判、疫苗社会动力学、多智能体群体免疫过程仿真、非接触流行病学、空间声纹识别密接者智能追踪等,并由相关内容的集成可以形成新安全学科分支。

6AI在事故灾难防控领域的应用。研究课题如:工业系统熵增监测、多模态数据的失效前兆识别、人因失误智能预测、生物指标追踪作业人员安全状态、连锁事故传播路径切断算法、事故调查增强虚拟现实、现场残骸智能重建与原因追溯等,并由相关内容的集成可以形成新安全学科分支。

7AI在安全监管领域的应用。研究课题如:监管大数据处理智能化、法规条文语义解析智能化、非现场智能稽查、基于物联网的远程执法系统、安全监管推演、政策影响数字化测试、企业风险画像、企业安全信用评估模型等,并由相关内容的集成可以形成新安全学科分支。

8AI在企业安全生产领域的应用。研究课题如:AI安全管理系统、生产全流程风险自感知体系、违章行为基因分析、智能分析驱动违章演化、供应链韧性评估、风险传导阻断算法、安全投入最优化、风险收益平衡模型等,并由相关内容的集成可以形成新安全学科分支。

9AI在应急救援领域的应用。研究课题如:多模态灾情感知、空天地一体化侦察机器人研制、救援力量数字挛生、现场救援力量AI协同指挥平台、自适应救援路径、三维空间通行能力实时计算、伤员智能分诊、生命体征优先救治决策系统等,并由相关内容的集成可以形成新安全学科分支。

10AI在安全科技研发领域的应用。研究课题如:安全实验自动化、安全AI科研助手系统、安全隐患智能搜索算法、跨机构安全仪器装备共享与联合研发、安全技术伦理评估、创新技术的双刃剑效应预测模型等,并由相关内容的集成可以形成新安全学科分支。

11AI在交通安全领域的应用。研究课题如:交通动态风险场理论、车路协同环境下的风险传播建模、驾驶脑认知建模、驾驶员状态与自动驾驶系统的信任传递机制、自感知材料的道路损伤智能修复、应急通道智能生成、重大事故下的交通流智能重组算法等,并由相关内容的集成可以形成新安全学科分支。

12AI在城市安全领域的应用。研究课题如:城市安全生态智能监测、基于物联网的城市生命线系统健康诊断、立体化风险治理、地下-地面-空域多维风险耦合分析、韧性城市进化、城市规划抗灾能力迭代优化、社区安全免疫、风险自适应网格化管理体系等,并由相关内容的集成可以形成新安全学科分支。

13AI在安全人才培养的应用。研究课题如:安全学科知识体系演化建模、虚拟安全导师、安全人才智能规划、应急脑力训练、危机决策能力培养等,并由相关内容的集成可以形成新安全学科分支。

14AI在安全科普教育的应用。研究课题如:AI风险认知重塑、公众安全心智模型构建、沉浸式教育剧场研发、事故情景AI体验系统、科普内容AI生成、智能安全短视频生产平台、教育效果智能量化、科普接受度智能评估等,并由相关内容的集成可以形成新安全学科分支。

15AI在安全媒体事业的应用。研究课题如:多维数据融合的安全新闻事件呈现、负面信息传播路径的智能干扰技术、媒体安全生存预警、安全媒体健康智能诊断等,并由相关内容的集成可以形成新安全学科分支。

4.4 智域风险治理学的研究方向展望

除了4.15个学科方向适合作为智域风险治理学的基础学科方向之外,由图5还可以展望出如下研究方向。

1智能社会风险管理学。这是一个旨在通过智能技术与社会科学的深度融合,系统性地识别、分析、预测和应对智能社会发展中产生复杂风险的研究领域,强调风险应对机制的弹性,平衡创新与安全。其研究课题如:聚焦智能社会中由技术、社会、经济、伦理等多要素交织形成的新型风险,具体如算法偏见、数据隐私泄露、AI失控、网络安全威胁,技术失业、数字鸿沟扩大、社会信任危机、网络舆情失控、技术依赖导致的公共基础设施脆弱性、全球供应链断裂风险等。核心方法是利用大数据实时监测、机器学习预测模型、可追溯性等技术,提升风险识别和动态评估能力;将社会视为由人、技术、制度构成的复杂适应系统,研究风险的涌现性、连锁效应与级联扩散机制;在风险评估和应对中,结合AI的高效计算与人类的价值判断;通过多源异构数据构建风险画像、利用数字孪生、社会计算模拟等技术,推演风险演化路径等。

2)智能技术系统风险管理学。这是一个聚焦于智能技术系统全生命周期中潜在风险的识别、评估、防控与治理的研究领域,其核心在于通过系统性方法确保技术系统的安全性、可靠性与可控性,同时平衡技术创新与社会责任。具体研究课题如:算法偏差、模型脆弱性、代码漏洞、训练数据污染、隐私泄露、数据异构等数据风险和技术缺陷对社会安全的影响及其治理,自主决策系统的意外行为、人机协作中的信任危机等系统失控,传感器故障、外部数据输入失真、恶意攻击、伦理冲突等外源性风险,系统安全工程理论、复杂安全系统分析、动态风险评估模型、安全人因工程学、全生命周期管理、不确定性建模、跨域风险传导、技术与伦理矛盾、AI安全标准化等。

3)智能技术应用安全管理学。这是一个针对智能技术在实际应用场景中的安全防控、风险治理与合规落地等的研究领域。其核心目标是通过系统性方法,确保智能技术的开发、部署与使用符合安全规范、伦理准则与社会需求,避免技术滥用或失效引发的物理伤害、社会失序与信任危机。具体课题如:AI算法失效、数据污染、系统交互漏洞、环境复杂性、人机冲突、合规性等风险,场景化安全建模、安全-效用权衡理论、韧性系统设计、合规性框架,极端场景模拟、实时监控与反馈、多方协同治理等。主要难点是场景安全需求差异大、实时性要求、隐性风险传导、责任界定模糊等。

4)全球智能协同安全治理学:这是一个研究全球化与智能化深度融合背景下,如何通过跨国、跨领域、跨文化的协作机制,应对智能技术引发的超主权风险与人类共同挑战的综合性研究方向,其核心目标是构建包容、韧性、可持续的全球智能安全治理体系,实现技术红利共享与风险共担。具体研究课题如:智能时代超越单一国家或行业边界的复合型全球风险,技术霸权风险、生存性风险、全球性军事冲突、威胁人类文明存续、系统性失衡风险、部分国家边缘化、文化同质化与文明多样性消亡,全球公域治理理论、多中心协同治理模型、文明兼容性安全观、技术权力制衡理论、数字文明治理共同体,全球风险测绘与预警、分层治理架构、软硬性规则层、动态适应性机制等。主要难点有国家不愿为全球利益牺牲技术主权、文明冲突显性化、搭便车与集体行动悖论、技术代差固化、效率与公平的矛盾、开放与安全的矛盾、统一与多元的矛盾等。

5AI社会-技术风险预测学。这是一个聚焦于AI技术与社会系统交互过程中未来潜在风险的前瞻性识别、动态建模与量化评估等的研究领域,其核心目标是预测AI技术发展对社会结构、经济运行、伦理秩序及生态环境的影响,为未来风险预警与及早主动干预提供决策依据。具体研究课题如:AI技术与社会系统双向作用中涌现的复合型风险,技术驱动型社会风险、社会反馈型技术风险、伦理约束反噬、文化适应性危机、资源挤占效应,复杂适应系统理论、因果推断与反事实预测、多智能体社会仿真、韧性阈值理论等,跨模态风险感知、预测模型架构、极端事件建模、不确定性量化等。主要难点有数据异构性、预测模型隐含研究者价值观、风险预警本身可能改变社会行为、微观技术决策与宏观社会效应的关联建模等。

上述这些研究方向未来经过不断丰富和夯实之后,将有望成为智域风险治理学的新分支学科群。

5结论

1AI研发及其应用过程中一直伴随着安全问题,同时AI也为各安全领域赋能发挥重要作用和展现出广阔的应用前景。在AI爆发期,其安全问题更显突出,未来AI发展及其普遍应用将会衍生出更多的新安全问题。AI与安全共生的学科专业建设目前尚处于空白状态,开展AI安全类新学科专业的创建研究意义重大。

2)涉及AI与安全的问题可分为三层次三大类问题:第一层次是AI系统自身的安全问题,第二层次是应用AI赋能各领域安全的问题,第三层次是AI研发及其广泛应用过程中衍生的新安全问题,这三层次三大类问题的相互关联和相互协同,需要相辅而行才不至于使AI失控。

3)根据AI与安全的三层次三大类问题划分,可以构建三个AI安全类新学科专业:智能系统安全学、安全智能工程学和智域风险治理学,从三个学科专业的定义、内涵、研究对象、知识结构体系及其交叉学科和差异性分析,这三个新学科专业非常重要,急需提上议事日程和开展建设。

4)阐述了三个新学科专业的通用研究方向和特色研究方向及其典型课题,展望了三个新学科专业未来可能衍生的新学科群。本研究填补了AI安全共生新学科专业建设的理论空白,AI安全可持续发展和防控AI未来风险具有深远的意义。

 

参考文献

[1]吴超. 面向新质生产力的安全类专业人才培养模式研究[J]. 安全, 2025, 46(02): 64-73.

[2]Turing, A. M. Computing Machinery and Intelligence[M]. Netherlands: Springer, 2009: 23-65.

[3]McCarthy J, Minsky M L, Rochester N, Shannon C E. A proposal for the dartmouth summer research project on artificial intelligence, august 31, 1955[J]. AI magazine, 2006, 27(4): 12-12.

[4]Sarker I H, Furhad M H, Nowrozy R. Ai-driven cybersecurity: an overview, security intelligence modeling and research directions[J]. SN Computer Science, 2021, 2(3): 173.

[5]Johnson B. Metacognition for artificial intelligence system safety–An approach to safe and desired behavior[J]. Safety Science, 2022, 151: 105743. https://doi.org/10.1016/j.ssci.2022.105743

[6]吕泽芳, 马刚, 孙先文, . 人工智能安全的概念、分类及研究现状综述()[J].智慧电力, 2019, 47(8): 32-42.

[7]王欢欢, 李鸿民, 彭辉. 人工智能安全研究综述[J]. 电子质量, 2024,(8):114-117.

[8]Chen H, Wang F Y, Zeng D. Intelligence and security informatics for homeland security: information, communication, and transportation[J]. IEEE Transactions on Intelligent Transportation Systems, 2004, 5(4): 329-341.

[9]Chen H, Wang F Y. Guest editors' introduction: Artificial intelligence for homeland security[J]. IEEE intelligent systems, 2005, 20(5): 12-16.

[10]Kharazishvili Y, Kwilinski A. Methodology for determining the limit values of national security indicators using artificial intelligence methods[J]. Virtual Economics, 2022, 5(4): 7-26.

[11]Sanclemente G L. Reliability: Understanding cognitive human bias in artificial intelligence for national security and intelligence analysis[J]. Security Journal, 2022, 35(4): 1328-1348.

[12]Park A J, Tsang H H, Sun M, et al. An agent-based model and computational framework for counter-terrorism and public safety based on swarm intelligence[J]. Security Informatics, 2012, 1: 1-9.

[13]Vaseashta A. Advanced sciences convergence based methods for surveillance of emerging trends in science, technology, and intelligence[J]. Foresight, 2014, 16(1): 17-36.

[14]Drăgoicea M, Badr N G, Falcão e Cunha J, et al. From data to service intelligence: Exploring public safety as a service[C]//International Conference on Exploring Service Science. Cham: Springer International Publishing, 2018: 344-357.

[15]Radulov N. Artificial intelligence and security. Security 4.0[J]. Security & Future, 2019, 3(1): 3-5.

[16]Nasare R, Shende A, Aparajit R, et al. Women security safety system using Artificial Intelligence[J]. International Journal for Research in Applied Science and Engineering Technology, 2020, 8(2): 579-590.

[17]Mahor V, Rawat R, Kumar A, et al. IoT and artificial intelligence techniques for public safety and security[M]//Smart urban computing applications. River Publishers, 2023: 111-126.

[18]Srivastava S, Bisht A, Narayan N. Safety and security in smart cities using artificial intelligence—A review[C]//2017 7th international conference on cloud computing, data science & engineering-confluence. IEEE, 2017: 130-133.

[19]Tokody D, Albini A, Ady L, et al. Safety and security through the design of autonomous intelligent vehicle systems and intelligent infrastructure in the smart city[J]. Interdisciplinary Description of Complex Systems: INDECS, 2018, 16(3-A): 384-396.

[20]Wang B. Safety intelligence as an essential perspective for safety management in the era of Safety 4.0: From a theoretical to a practical framework[J]. Process Safety and Environmental Protection, 2021, 148: 189-199.

[21]Wang B, Wang Y, Yan F, et al. Safety intelligence toward safety management in a big-data environment: A general model and its application in urban safety management[J]. Safety science, 2022, 154: 105840. https://doi.org/10.1016/j.ssci.2022.105840

[22]Yampolskiy R, Fox J. Safety engineering for artificial general intelligence[J]. Topoi, 2013, 32: 217-226.

[23]Wang B, Wu C. Demystifying safety-related intelligence in safety management: some key questions answered from a theoretical perspective[J]. Safety Science, 2019, 120: 932-940.

[24]Patriarca R, Di Gravio G, Cioponea R, et al. Safety intelligence: Incremental proactive risk management for holistic aviation safety performance[J]. Safety science, 2019, 118: 551-567.

[25]Shefer O, Laktionov O, Pents V, et al. Practical principles of integrating artificial intelligence into the technology of regional security predicting[J]. Advanced Information Systems, 2024, 8(1): 86-93.

[26]Gwala R S. The use of blockchain technology and artificial intelligence in cryptocurrency and medical technology: a comprehensive review[J]. Driving Socio-Economic Growth With AI and Blockchain, 2025: 147-184.

[27]吴超. “新学科学的基础理论研究[J]. 技术与创新管理, 2022, 43(3): 342-350.

[28]吴超. 安全事业协同低空经济共赢新质生产力的理论研究[J]. 安全, 2024, 45(11): 52-61.



https://blog.sciencenet.cn/blog-532981-1544124.html

上一篇:人工智能和安全共生新学科专业的构建与展望(译文)(上)
下一篇:我与家书博物馆结了个缘



    
收藏 IP: 119.44.45.*| 热度|

1 郑永军

评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-7-23 22:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部