After50的个人博客分享 http://blog.sciencenet.cn/u/After50

博文

人工智能和安全共生新学科专业的构建与展望(译文)(上)

已有 857 次阅读 2026-7-18 10:50 |个人分类:安全科学理论|系统分类:论文交流

Wu C, Wang B, Shi Z. 2026. Construction and prospect on the new disciplines by the symbiosis between artificial intelligence and security & safety. Emergency Management Science and Technology 5: e002 https://doi.org/10.48130/emst-0026-0002

人工智能和安全共生新学科专业的构建与展望(上文译文)(上)

超,王 秉,史志勇

  要:为了解决人工智能(AI)快速发展及其广泛应用所带来的突出安全问题和预测未来AI安全影响的态势,尽快创建AI安全类学科专业迫在眉睫。文章采用文献调查、逻辑思辨、新学科建构和分析预测等方法,综述了AI萌芽期到爆发期伴随的安全问题的典型研究,分析了AI与安全的三层次问题,提出了三个与之相对应的AI安全类新学科专业框架,阐述了三个学科专业的定义、内涵、研究对象、研究方法、知识体系及其交叉学科等,展望了人工智能与安全共生新学科的典型研究方向和未来。研究结果表明:AI发展伴随的安全问题将会愈演愈烈,AI系统自身的安全问题、应用AI提升各领域安全质效的问题和AI发展及其应用过程中衍生的新安全问题将形成三个重要的研究领域,并由此急需建设智能系统安全学、安全智能工程学和智域风险治理学这三门新学科专业,以适应可持续安全发展和推广AI防控AI衍生的各种新风险

关键词:AI与安全;智能系统安全学;安全智能工程学;智域风险治理学;新学科专业展望

0引言

人工智能(Artificial Intelligence,简称AI)的概念及其作为一个研究领域很早以前就被提出来了,由于AI的萌芽发展期经历了较长的时间,多年来AI这个领域一直被电子信息和自动化等学科专业所涵盖。随着近一二十年计算机软硬件和物联网等技术的日臻完善,AI也随之突飞猛进。在此背景下,2018‌‌美国卡内基梅隆大学(CMU)等开设了AI本科专业。2018年中国国家教育部也颁布了AI专业目录,该专业被增设为电子信息一级学科之下的二级学科,专业代码080717T2019年中国多所高校开始招生。202412月,教育部在更新的《职业教育专业目录》中,也增设了多个与AI相关的专业,包括AI数据工程技术等。

AI发展的最大问题之一是安全问题,但AI发展的着力点是创新而不是安全,因而安全往往滞后于AI技术的研发和不被得到足够的重视,从而也导致当下安全智能的研究落后于智能发展的局面。AI发展这么多年,安全领域实际关注AI的行动不多,直到近几年AI突飞猛进,AI安全的研究才相对热了起来。在中国值得一提的事是,在20241月颁布的《研究生教育学科专业简介及其学位基本要求(试行版)》中的安全科学与工程(0837一级学科中,已经设立了智能安全二级学科(方向),但在安全类专业的本科教育中,还有没有类似智能安全的专业。2025年作者发表了面向新质生产力的安全类专业人才培养模式研究[1],其中重点关注的内容就是AI与安全的问题。但总的来说,国内外探讨AI安全的学科建设研究仍然处于极为少见的状态。

AI是当下和未来的科技发展大潮和热点问题,AI的安全问题也随之更为突出。本文在综述已有AI安全的典型研究的基础上,围绕AI的安全问题和从学科专业建设的层面开展探索研究,以便为应对当下和未来AI发展过程中带来的安全挑战给出一些学科专业建设方面的方案,扭转高校安全类学科专业设置落后于高新科技发展和新兴安全职业人才需求的被动状态,AI可持续安全发展与未来人类安全做出贡献

1 AI与安全的典型研究综述

AI的安全问题一直伴随着AI的发展过程,从AI诞生初期就引起了研发者和使用者的高度关注及研究投入,特别是当下AI成为高新科技的明珠并得到广泛普及运用的时期,其安全问题更显得突出和重要。下面从时间的维度,对AI的安全研究开展扼要综述。

1.1 AI研发中的安全问题综述

AI的发展已经经历了半个多世纪,从1950年图灵(Alan Turing)发表了划时代的论文计算机器与智能[2],提出了图灵测试作为判断机器是否具备智能的准则,成为人工智能概念的早期理论源头。之后,麦卡锡(John McCarthy)于1956年在达特茅斯会议上首次提出AI这一术语和确立其作为一个研究领域[3],并成为AI学科诞生的标志性事件。再之后很长的一段时间里,AI经历了一段漫长的缓慢发展期,直到近一二十年来,AI才如日中天成为高新科技的闪耀明星。在此过程中,AI与安全的问题及其研究也一直相生相伴,在不断的演进和发展着,AI与安全的攻防博弈可以大致分成如下几个阶段。

1)预设规则的安全防御技术萌芽期(1950-1990)。在冷战背景下诞生的早期AI系统,主要被应用于军事安全领域,如密码分析与战场态势推演等。这一阶段的核心特征是专家系统主导,通过人工编码规则实现威胁识别。在初创网络安全领域,20世纪90年代诞生了网络入侵检测技术,通过预设规则识别已知攻击特征,由安全专家手动维护,展现出早期AI在安全监测中的应用及其局限性。

2)数据驱动的安全感知技术突破期(1990-2010)。统计学理论应用推动了安全防御体系的范式转变。例如,算法被用于网络异常检测,通过流量特征建模发现未知威胁,并建立入侵检测基准,催生了基于机器学习的安全系统;运用神经网络分析金融交易中的欺诈行为检测;人脸数据库毫秒级检索推动边境安检效率大大提升;通过程序行为分析拦截未知恶意软件,突破传统特征检测的局限性;微软等公司实现软件漏洞的自动挖掘与修复建议生成等。

3)深度学习的攻防博弈技术爆发期(2010-2020)。深度神经网络的崛起重塑安全攻防格局,使视频监控系统具备实时行为分析能力,助力安保技术革命;采用强化学习模拟网络攻防,自动生成对抗样本检测模型弱点,将入侵响应时间极大缩短。然而技术演进伴随风险升级,增强提升数据检测效率也能被攻击者用于伪造攻击载荷。例如,Sarker[4]应用AI技术于网络安全,提出防御框架系统,强调AI在网络安全中的双刃剑效应,呼吁构建智能防御+伦理约束的安全生态,以应对未来数字空间的复杂挑战。

4)认知智能的安全革命技术融合期(2020-今)。多模态大模型的兴起推动安全防御进入认知智能阶段,ChatGPT等的诞生在安全分析中的初步应用显示,其处理自然语言威胁情报的能力超越传统规则引擎;整合物理平台与AI,可模拟如核设施遭遇无人机攻击的连锁反应,实现数字孪生体的安全预演;在生物安全领域,AlphaFold破解蛋白质折叠难题,加速病原体研究的同时催生人工智能驱动的生物武器防御体系;量子计算与安全技术的融合催生新型防御范式,推动量子密码学发展;加密算法破解计算技术也引发抗量子攻击安全体系的研究。例如,Johnson[5]认为元认知是提升AI系统安全性的关键机制,通过赋予AI自我反思能力,可实现从被动响应到主动防控的安全范式转变,使未来AI系统将更自主地识别风险、优化决策,成为人类应对复杂安全挑战的智能伙伴。

更多AI自身系统安全的综述,可以参考文献[6-7]60多年来AI技术演进与安全的互动遵循着攻防螺旋发展规律:每次防御技术创新都会刺激攻击手段升级,而对抗过程又催生新的防御范式。总的说来,AI研发中的安全问题,主要是属于AI专业的范畴。

1.2 AI技术应用于各安全领域的综述

半个多世纪以来,AI技术的发展引起了各个领域的高度关注和广泛应用,但在安全领域的应用有先有后,应用成熟度各不相同。AI技术在国家安全、军事安全、情报学等领域的应用相对较早,之后在社会公共安全和城市安全等领域得到相对较多的应用,而AI在更多安全领域的广泛成功应用是在近一二十年,随着AI技术本身的迭代升级,也深刻改变了安全监管的理念和模式。在信息安全、互联网安全、金融安全、电力安全、交通安全、医疗卫生安全、食品安全、监测安全、工业安全、农业安全、商业安全等领域都呈现+AI的趋势,各安全领域广泛应用的同时衍生出+AI+安全的问题。

1AI在国家安全和军事安全领域的应用。典型的例子如:将AI应用于自动航空系统的实时决策,使无人侦察机在飞行作战行动中只需要极少的人工干预;通过网络安全与情报分析,确保快速数据访问,助力军事决策;将AI应用于电子战和网络安全,提高防御系统的可靠性等。一些具体的研究如:2004年,Chen[8]围绕情报与安全信息学在国土安全领域的应用,强调通过信息技术、通信与交通系统的整合提升安全防护能力,给出了其在国土安全中的关键应用场景,为后续相关研究提供参考;2005年,Chen[9]特刊的导言中论述了AI技术在国土安全领域的应用潜力、挑战及未来发展方向,从国家安全战略需求出发,系统阐述了AI在国土安全中的关键作用,在当时AI在国土安全领域应用具有一定的前瞻指导意义;2022年,Kharazishvili[10]提出一种基于AI的国家安全指标阈值动态计算框架,为复杂环境下的安全决策提供智能化解决参考方案,通过实时数据驱动阈值调整,提升对威胁的响应速度,减少人为偏差;2022年,Sanclemente[11]探讨了AI在国家安全与情报分析中的应用所面临的认知偏差问题,从系统性解决方案出发,阐述了AI在认知偏差上的系统性风险,并提出解决该问题的技术+流程+伦理参考方案。

2AI在社会公共安全领域的应用。一些典型的例子如:通过智慧监控、数据分析等手段,有效提升了公共安全保障能力。利用人脸识别、声纹识别等技术,实现对用户身份的精确验证,提高了身份认证的准确性和系统安全性;通过训练深度学习网络,实时分析网络流量和用户行为,快速识别潜在的安全威胁,构建智能防火墙和入侵检测系统;通过智能分析历史犯罪数据,识别犯罪模式和趋势,为执法机构提供决策支持等。一些具体的例子如:2012年,Park[12]将一种模拟复杂系统行为的计算机模型应用于反恐与公共安全领域,提出一种融合分布式计算与群体智慧的新型决策支持工具,为公共安全提供了从数据驱动到智能协同的案例,但其应用比较复杂,在计算、隐私保护及人机协作等还存在实际困难;2014年,Vaseashta[13]基于跨学科融合驱动的新兴科技趋势,构建一种以应对科学、技术与情报领域的快速演化,使科技预测从被动跟踪转化为主动设计的前瞻框架,以便为科技治理提供动态决策支持工具;2018年,Drăgoicea [14]针对公共安全服务范式,提出通过数据智能驱动服务转型,构建弹性化、可定制的公共安全服务体系,并展示了应用案例;2019年,Radulov[15]针对AI驱动的安全范式革命(Security 4.0),提出通过AI技术重构传统安全体系的四大支柱,并阐述其内在矛盾与未来演进路径,并指出单纯技术决定论会引发系统性风险,实现安全4.0需要超越技术工具,建立包含技术伦理委员会在内的多利益攸关方的共同治理机制;2020年,Nasare[16]针对女性安全智能防护系统,提出多模态技术融合构建主动型安全网络,使被动安全防护转为主动安全预防,同时构建"监测-评估-响应"闭环和解决隐私与安全需求的矛盾,为智慧公共安全领域提供性别敏感的技术范式;2023年,Mahor[17]探讨了物联网与AI技术在公共安全领域的应用,为提升城市公共安全水平提供了新的思路和解决方案,具有一定的实践指导意义。

3AI在城市安全领域的应用。城市是人口和财富最为集中的区域,是人类生活和生产的主要场所,是包含和展现人类文明的集聚地,是一个复杂庞大的巨系统,其安全至关重要,是各个领域安全的重中之重。因此AI在城市安全领域理所当然也得到较早和广泛的应用。一些具体的研究例子如:2017年,Srivastava[18]综述了AI在智慧城市安全的应用体系、技术挑战及未来发展方向,探讨了包含政策制定者、技术开发者与社会学家的跨学科协作机制,为AI在复杂城市系统安全中的应用提供了初步理论框架;2018年,Tokody[19]针对车路协同的智能交通系统安全框架,通过整合自动驾驶车辆与智能基础设施的协同设计,提出多维度安全增强方案,并通过测试案例验证,为智慧城市交通系统的安全范式转变做了探索;2021年,王秉[20]围绕安全智能在Safety 4.0时代的安全管理框架,提出从理论到实践的系统性整合模型;2022年,王秉等[21]围绕大数据环境下的安全智能这一前沿议题,构建了智能主导的安全管理理论框架,并以城市安全管理实践案例展示其应用实践体系,为安全科学提供了智能+”转型的理论。

4AI在生产安全领域的应用。一些典型的例子如:通过智能监控、风险预警等手段,降低事故发生率;通过智能分析历史事故数据、设备运行参数和环境指标,构建动态风险预测模型,预测各种突发事故及提升准确率;基于视觉AI实时识别未戴安全帽、违规闯入危险区域等行为;利用声纹识别分析设备异常噪音,实现故障早期诊断;采用神经网络预测设备剩余寿命,提高维修效率,降低维修成本等。一些具体研究例子如:2013年,Yampolskiy[22]构建了一个通用AI安全工程框架,旨在从系统层面解决超级智能系统可能引发的失控风险,并将安全作为优化目标的核心约束目标,对启发后续关于AI鲁棒性等议题展示了研究方向;2019年,王秉等[23]围绕安全智能在安全管理中的理论解构与作用机制,通过系统性回答该领域的五个核心理论问题,构建了安全智能的动态整合框架,为理解智能时代的安全本质提供理论基础;2019年,Patriarca[24]针对航空安全领域的安全智能框架,提出通过渐进式主动风险管理实现航空安全绩效的整体提升,从避免事故转向塑造本质安全。

5AI在防灾减灾领域的应用。一些典型应用如:通过AI与大数据和物联网的结合,实现了灾害的精准预警和科学应对;基于气象数据与高精度遥感数据,评估降雨对城市水域分洪泄洪能力的影响,动态预测积水情况,及时发布灾害预警信息;通过智能综合分析城市安置点、应急避难场所、交通情况等多种要素,动态生成和优化疏散路线及安置方案,提升应急指挥决策能力等。具体应用例子如:2024年,Shefer[25]AI集成到区域安全预测技术中,在技术层面提高了灾害的预测准确性和实用性。

6AI在公共卫生领域的应用。一些典型的应用如:AI技术助力疾病监测、药物研发和疫情预测,提升了公共卫生事件的应对能力;利用图像识别算法,对CTX光等医学影像特征进行快速识别和得出诊断结果;通过智能分析疫情数据,预测疫情发展趋势,为疫情防控提供科学依据等。2025年,Gwala[26]围绕区块链技术和AI在加密货币与医疗技术中的应用进行了全面综述,总结了区块链技术和AI在加密货币与医疗技术中的应用成果,并展望了未来的发展趋势,为相关领域的研究者和从业者提供了有价值的参考和启示。

2 AI与安全共生新学科专业的构建研究

    从上面的综述内容可以看出,近几十年来,随着AI技术的发展及其推广应用,其自身的安全问题及其在安全领域中的应用一直受到高度的关注,并且取得了显著的成果。但AI的安全问题研究总体还是落后于AI技术,有关AI安全的学科专业问题研究极为少见,更没有提上议事日程。但从当下AI发展如此迅速的趋势可以预见,未来AI的安全问题将成为AI时代最为热门的研究领域之一,也需要大量的专业人才。下面从AI与安全的关系分析开始,进而构建AI共生安全的学科专业框架。

2.1 AI与安全的三层三大类问题分析

AI与安全的问题过去一直混为一谈,很少有人对其做深入的分类。其实,从专业视角看,AI与安全的问题可分为三层次三大类问题:

第一层次是AI系统自身的安全问题,其研究范畴涉及AI技术的硬件、软件、内源及抵御外源的系统安全问题,如智能芯片硬件的可靠性、预防人机交互接口被劫持篡改、训练数据被污染的检测、对抗外来攻击的防御、实时异常监测以及系统性崩溃等安全问题,其研究的核心内容和侧重点是智能系统本身的可靠性、韧性和自我防御能力等。这一层次的安全问题称为第一大类AI安全问题。

第二层次是如何应用AI赋能提升解决各领域的多种安全问题并不至于产生次生的新安全问题,其应用研究范畴非常广泛,涉及现有的所有安全领域,如各领域安全的智能化、风险预测智能化、事故预防智能化、安全应急智能化等,其核心内容是打造智能驱动各领域安全的新模式,侧重点是将先进的智能技术推广应用到各安全领域,以实现各领域的安全智能化。这一层次的安全问题称为第二大类AI安全问题。

第三层次是AI研发和应用过程中产生新安全问题的管控和治理,其研究范畴涉及AI的社会技术风险、AI的伦理冲突、新型AI犯罪防控、AI造假防治、AI使用安全管理、AI未来风险预测和控制等,其核心内容是建立智能社会的风险管控体系和治理模式,通过制度设计和多种监管与治理实践,平衡AI技术创新和应用与社会持续安全稳定和未来安全的问题。这一层次的安全问题称为第三大类AI安全问题。

很显然,在时间维度上,上面三层次的AI安全问题首先出现的是第一大类AI安全问题,其次是第二大类和第三大类,三大类安全问题在时间维度上也不是完全以递进的方式,在实践中三类AI安全问题是相互关联和交互影响的,并且有某种程度的交叉。随着AI在各安全领域应用从尝试到成熟发展阶段,三大类AI安全问题也能够形成螺旋式上升的趋势和模式。AI与安全的三层次问题及其相互关联关系如图1所示。                                         image.png

1 AI三层次三大类安全问题的相互关联关系示意图

2.2基于 AI与安全的三大类问题构建新学科专业

根据AI与安全的三层次三大类问题划分,根据新学科的创建范式[27]和行业与安全协同构建新学科专业的案例[28],可对应建立以下三个新学科专业:

1)智能系统安全学(Intelligent System Security & Safety)。这是一门对应于第一大类AI安全问题的学科专业,主要研究智能系统自身安全的问题,该学科专业主要针对智能系统受到的内生和外源及其系统的安全威胁,以确保智能系统硬件和软件及其系统的安全,重点聚焦AI算法可靠性、数据安全性、系统鲁棒性及抗干扰能力,解决算法漏洞、模型受污染、对抗攻击等安全问题,以及构建系统具备自我验证、容错修复能力、抵御攻击能力等,确保智能系统在复杂环境中的安全稳定运行。

2)安全智能工程学(Security & Safety Intelligence Engineering)。这是一门对应于第二大类AI安全问题的学科专业,主要研究AI应用于各安全领域的工程实践,让AI赋能各领域的安全科技、安全工程、安全管理、安全教育、安全文化等,以提升已有各领域的安全水平和安全效率,同时也能够预防AI应用过程中产生的次生安全问题。典型的应用例子如行业安全智能化、公共安全智能化、健康卫生监管智能化、自然灾害预测预警智能化、城市安防智能化、应急管理智能化等,从而全面升级传统的安全水平和安全效率。

3)智域风险治理学(Intelligent Domain Risk Governance)。这是一门对应于第三大类AI安全问题的学科专业,主要研究智能技术应用引发的次生安全风险的学科专业,包括AI引发的技术风险、社会风险、经济风险、文化风险、人类安全风险等,具体风险如AI在各行业和各部门应用时产生的隐私泄露、算法歧视、深度伪造等的新型风险,智域风险治理学的一项重要使命是建立涵盖伦理审查、法律规制、技术防控的多维治理框架体系,形成智能时代人机协同的新型社会安全范式。

3 三门新学科专业的知识结构体系

下面就智能系统安全学、安全智能工程学和智域风险治理学这三门学科专业的研究对象、范畴、学科基础及其与社会系统的外界联系等分别加以阐述。

3.1智能系统安全学的知识结构体系

智能系统安全学侧重于智能体本身的安全,其知识结构体系及其相互关系可以用图2表示。

image.png

2智能系统安全学的知识结构体系及其相互关系

由图2可以做如下分析:

1)软件组分维度。智能系统的重要组成之一是软件组分,包括:系统软体(涉及安全的问题如操作系统内核安全机制、虚拟化平台防护体系、运行时安全防护、可信验证模块等)、算法逻辑(涉及安全的问题如机器学习模型可靠性、决策算法正确性、自动化控制流程验证、隐私保护机制等)、数据交互层(涉及安全的问题如多模态数据清洗、数据处理完整性保护、访问控制安全策略、一致性保障等)等。

2)硬件组分维度。智能系统的硬件组分包括:感知执行元件(如传感器、数据采集电路、执行物理机制、认证元件、安全计算启动元件等)、计算处理器(如芯片、芯片安装架构、内存保护元件、密码协处理器等)、通信传输元件(如物理层信号原件、总线检测元件、信道防窃听技术、敏感网络完整性保护等)等。

3)安全威胁维度。智能系统的安全威胁包括内生性风险(如软硬件设计缺陷、算法决策路径漏洞、时序通道故障、多组件耦合故障等)、外源性攻击(如输入攻击、物理环境扰动攻击、供应链污染攻击、协议破解攻击等)、系统性风险域(如人机交互信任危机、自主演化失控风险、群体智能涌现威胁、跨境数据主权冲突等)等。

4)学科基础维度。智能系统安全学的学科基础主要有数学、信息学、密码学、计算机科学、控制工程学等。

从图2还可以看出,上述四个维度的组分和要素相互关联相互影响,形成一个动态运行系统,这个系统各组分和要素都与人因有关联,受到安全法律法规和伦理道德的约束,并与外部系统不断产生输入输出的动态交换。另外,在当下人类还能对智能系统起主导作用的阶段,具有前瞻性的先进安全理念来引领智能系统的所有组分和要素的设计及系统的运行至关重要。

3.2 安全智能工程学的知识结构体系

安全智能工程学着力于应用AI保障和提升各领域的安全水平和工作绩效,该学科专业的知识结构体系如图3所示。实现安全智能化的研究范畴及应用场景主要有:AI在国家安全、军事安全、社会公共安全、自然灾害的防灾减灾、突发恶性公共卫生防控、事故灾难防治、安全监督管理、企业安全生产管理、安全应急救援、安全科学技术研发、信息安全保障、交通安全、城市安全、安全人才培养、安全知识科普教育、安全媒体事业等领域的应用。这个学科专业的技术保障需要智能技术、行业背景技术、市场开发能力、技术经济分析能力和工程实践经验等,学科基础主要有智能科学、安全科学、管理科学、社会科学等。从图3还可以看出,安全智能工程学的组分和要素也是相互关联相互影响的,而且各组分和要素都与人因有关联,同样受到安全法律法规和伦理道德的约束,并与外部系统不断产生输入输出的动态交换。另外,智能技术在各个安全领域的应用同样需要正确的安全理念来引领。由于各应用领域的背景和技术差别很大,而且场景很多,安全智能工程学需要开设成不同的专业模块,因而可能形成庞大的安全智能工程学子学科群。

image.png

3安全智能工程学的知识结构体系及其相互关系

3.3 智域风险治理学的知识结构体系

智域风险治理学主要是聚焦智能技术研发及其广泛应用过程中的安全监管和安全治理等问题。研究范畴主要涉及AI产生的技术风险、社会风险、经济风险、人类未来风险等,并开展AI硬件的安全管理,AI软件的安全管理,AI系统的安全管理,应用领域的次生安全问题局部治理、整体治理、短期治理和长期治理研究等。具体例子如:AI技术研发在安全方面的规范标准、AI应用的安全管理规范标准、人机伦理冲突、AI医疗误诊责任归属、AI伪造内容溯源、AI辅助网络犯罪监管等。智域风险治理学的学科基础有智能科学、安全科学、社会科学、管理科学、复杂科学等。智域风险治理学的研究对象尺度相对较大,学科的主要目的是通过制度设计、中观和宏观管理及治理,防控和平衡AI技术创新与应用中给社会带来的风险和保障人类未来的安全。从图4还可以看出,智域风险治理学的组分和要素也是相互关联相互影响的,而且各组分和要素都与人因有关联,同样受到安全法律法规和伦理道德的约束,并与外部系统不断产生输入输出的动态交换。另外,智域风险治理过程中更需要正确的安全理念来引领。

image.png

4 智域风险治理学的知识结构体系及其相互关系

3.4 三门学科专业的特色比较

智能系统安全学、安全智能工程学、智域风险治理学这三门学科专业各有侧重点和特色,它们的关系如表1所示。

1智能系统安全学、安全智能工程学、智域风险治理学三门学科专业的侧重点和特色

学科专业

智能系统安全学

安全智能工程学

智域风险治理学

现有学科专业归属(本科)

电子信息类,计算机类,自动化类,等

安全科学与工程类,公安技术类,交叉工程类,等

安全科学与工程类,公共管理类,管理科学与工程类,

研究的侧重点

智能系统自身的安全问题

应用智能技术解决各领域的安全问题

智能技术研发及其应用过程产生的新安全问题

作用层级和尺度

智能技术本体层的安全,微观、细观的安全问题

社会层的多种安全应用场景,细观、中观的安全问题

次生外观层的安全,中观、宏观的安全问题

时间维度及其安全功效

最先显现安全问题(单向降低负面风险)

应用之后显现安全问题(正负双向性,正面作用为主,负面性次要)

安全问题相对滞后显现(单向减少负面作用)

三门学科专业的相互关系

为智能系统提供安全技术基座,是安全智能工程的核心组分

为智能系统成果在安全领域实现工程转化

为智能技术研发及其应用产生的次生安全问题设置防护屏障

保障对象差异

AI自身系统为保护对象

以各种场景安全为作用对象

以人类社会安全为保护对象

三门学科专业的人员

AI专业人士为主,职业安全人士为辅

职业安全人士为主,AI专业人士为辅

职业安全人士和管理人士为主,AI专业人士为辅

三门学科专业的协同例子(以车载AI为例)

智能系统安全人士设计车载AI技术能安全可靠,使车辆能正常行驶、抵御外界对传感器欺骗和攻击等;安全智能工程人士选择合适的车载AI、为AI设计专业人士提供车载AI应用经验和设计理念等;智域风险治理人士给车载AI技术的设计和应用提供安全管理规范标准等

安全智能工程人士确保车载AI与车辆的安全匹配、车载AI执行过程的维护和环境安全等;智能系统安全人士为车载AI安全升级换代等;智域风险治理人士为车载AI故障制定保险条款、市场规范等

智域风险治理人士制定AI车载安全管理标准和保险赔偿规范等;智能系统安全人士和安全智能工程人士参与车载AI的安全标准规范中的技术和应用指标合理设定与适用范围等

概括起来,智能系统安全学、安全智能工程学、智域风险治理学这三门学科专业的相互关系是:安全智能工程实践中可以找到新的智能应用领域和暴露出新的安全威胁等,这些结果可以推动智能系统安全领域研发新的安全智能产品和新的智能防护技术,智域风险治理通过研究制定新规则约束智能技术的滥用和次生风险,促进智能系统安全和安全智能工程的迭代升级与系统防御能力提升,上述过程形成了“AI技术加固升级-制度约束AI次生风险-社会安全能力得到增强的三螺旋结构,本质上构成了智能时代的安全水平增强正循环。这三门学科专业共同构成智能时代安全研究及其应用三位一体的框架,既防范智能技术本身的风险,又利用智能技术提升社会整体安全水位,形成螺旋上升和相辅而行的智能安全完整学科体系。



https://blog.sciencenet.cn/blog-532981-1544122.html

上一篇:ESG引领的金属矿山协同安全新模式及其展望
下一篇:人工智能和安全共生新学科专业的构建与展望(译文)(下)



    
收藏 IP: 119.44.45.*| 热度|

1 郑永军

评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-7-23 22:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部