许多智能系统本质上是不安全的，主要原因是由于其自身技术特点和应用场景的复杂性所决定的。首先是模型算法存在缺陷，深度学习模型结构复杂，参数众多，决策过程难以理解和解释，如医疗诊断AI可能无法清晰说明判断依据。而且模型鲁棒性不强，容易受到对抗样本攻击，比如在“停止”标志上贴特定贴纸，自动驾驶系统就可能误判，另外，AI大模型本质是统计模型，可能产生“幻觉”，输出不符合事实的内容。其次，数据安全风险多样，训练数据可能存在偏见，如简历初筛AI因训练数据中男性员工占比高，而自动过滤掉条件优秀的女性候选人简历。同时，数据可能被违规收集使用，如某些App在用户不知情的情况下收集相册照片用于训练。此外，模型还可能存在“记忆”效应，导致数据和个人信息泄露。再次，系统组件和架构有漏洞，AI学习框架如TensorFlow、Caffe等存在安全漏洞，黑客可利用这些漏洞制造恶意模型，控制、篡改AI应用。而且智能系统大多使用开源软件和架构，代码由人类编写，本身就可能存在很多安全漏洞。还有，网络暴露面扩大，为了实现智能功能，智能系统需要获取多种权限，如自主规划行程的AI智能体需访问用户日历、邮箱等，这扩大了攻击面，一旦系统被黑客控制，就可能滥用这些权限，造成安全事故。最后，可靠性和可控性不足，AI系统的决策过程缺乏透明性和问责制，其“黑箱”性质让在关键任务中的应用充满风险。并且AI系统的可靠性远未达到理想水平，在医疗、司法等领域，其错误率可能带来严重后果。

一、如何安全地使用不安全的智能系统？

要“安全地使用不安全的智能系统”，核心思路是承认系统本身存在不可信或不可控因素，通过外围控制、隔离、监控和冗余设计等手段，将风险降到最低。下面是基于最新研究与实践的综合建议。

（一）隔离与限制：让“不可信”无法越界

1. 最小权限原则

不给系统超出完成任务所需的权限。如AI 只能提出代码修改建议，不能直接部署，必须通过人工审核 。

2. 物理/逻辑隔离

将 AI 系统运行在受限环境中，如沙箱、虚拟机、容器内，禁止其访问敏感数据或关键系统 。

3. 输入输出过滤

使用安全网关对输入输出内容进行实时检测，拦截恶意指令、违规内容或异常行为 。

（二）监控与审计：让“不可信”行为可见

1. 双模型监控机制

使用一个可信但能力较弱的模型监控一个能力强但不可信的模型，对其输出进行审查，发现异常即触发报警或阻断 。

2. 行为日志与完整性

审计所有操作记录加密存储，使用如 Merkle 树等机制防止日志被篡改，确保事后可追溯 。

3. “蜜罐”检测

设置虚假任务或数据诱饵，观察系统是否尝试绕过规则或访问不该访问的内容，用于检测潜在恶意行为 。

（三）冗余与熔断：防止“不可信”造成系统性风险

1. 重采样与替代执行

对同一任务多次采样输出，自动筛选出安全、合规的结果；若多次输出均异常，则触发人工干预 。

2. “熔断”机制

一旦系统行为超出预设边界（如访问敏感数据、生成违规内容），立即中断其运行或降级处理 。

3. 极端环境测试

在部署前，模拟遮挡、电磁干扰、数据污染等极端条件，确保系统在异常情况下不会失控 。

（四）人机协同：让“不可信”始终处于监督之下

1. 人工升级机制

所有高风险操作必须人工确认，如生成代码部署、调用外部插件、修改系统配置等 。

2. 分解认知控制

将任务分解为多个子任务，仅让不可信 AI 处理必要部分，其余由可信系统或人工完成，防止其掌握完整上下文 。

（五）绿色与可持续：防止“不可信”被滥用

1. 能力边界设定

明确系统能力范围，裁剪可能被滥用的功能（如生成武器设计、化学合成路径等）。

2. 用途追溯机制

建立系统使用日志与用户行为关联分析，防止其被用于非法或高风险场景（如生化武器、认知战）。

简言之， “不可信的智能系统”并非不能用，而是必须被“关在笼子里用”——通过隔离、监控、冗余、人工干预等手段，将其风险控制在可接受范围内，更重要的是具体情况具体分析，针对具体某一类系统（如大模型、自动驾驶、工业控制）需要制定更细化的安全使用方案。

二、人类如何基于人机环境系统安全地使用不安全的智能系统？

在人机环境系统中安全使用不安全的智能系统，需通过技术防御、管理机制和人机协同的深度融合构建动态安全屏障。以下是一些综合策略框架供参考。

（一）技术防御：构建多层级主动免疫体系

1. 多模态感知与动态验证

结合视觉、语音、文本等多模态输入，通过跨模态特征对齐技术（如CLIP编码模型）实时检测异常指令或行为，如对语音指令进行声纹识别与语义分析，结合摄像头图像验证用户意图真实性，防止语音劫持或伪造。采用对抗训练强化系统鲁棒性，模拟攻击场景（如对抗样本注入）提升模型抗干扰能力，降低误判风险。

2. 动态安全数据库与自适应防护

建立实时更新的安全数据库，集成历史攻击模式、漏洞特征及合规操作模板，通过多级安全检查模型（如预训练LLaVA大模型）动态匹配风险。引入“计算+防护”并行架构，在系统运行中同步执行安全策略，例如通过可信计算3.0实现硬件级免疫防护，阻断恶意代码执行。

3. 隐私保护与数据隔离

采用联邦学习技术实现数据本地化处理，避免敏感信息集中存储；结合差分隐私算法对训练数据进行扰动，降低隐私泄露风险。对关键操作实施“四要素动态访问控制”（主体、客体、操作、环境），结合环境传感器数据动态调整权限，如在异常网络环境下限制数据传输。

（二）管理机制：建立全生命周期风险治理

1. 法规与伦理约束

制定行业级安全标准（如《车联网网络安全标准体系》），明确智能系统开发、部署和迭代的安全基线，强制要求安全审计与漏洞披露。将伦理准则嵌入系统设计，例如通过价值观对齐技术确保AI决策符合人类社会规范，避免歧视性输出或不可控行为。

2. 持续监测与应急响应

构建“云-边-端”协同监测网络，实时收集系统日志、用户行为数据及环境状态，利用安全信息与事件管理（SIEM）系统进行威胁溯源。建立分级应急响应机制，如对自动驾驶系统设置“安全模式降级”策略，在检测到传感器失效时自动切换至冗余备份控制。

3. 人机互认知与信任增强

开发可解释性接口（如决策树可视化、注意力热力图），帮助用户理解系统逻辑并建立信任，例如，医疗AI诊断时同步展示证据链与置信度评分。设计渐进式权限转移机制，允许用户在安全阈值内逐步授权，例如自动驾驶从“辅助驾驶”到“完全接管”的平滑过渡。

（三）人机协同：优化交互模式与责任分配

1. 动态角色适配与任务分配

基于情境感知技术（如用户疲劳检测、环境复杂度评估）动态调整人机分工，在工业机器人协作中，当传感器检测到操作员分心时，自动切换至低风险协作模式。引入“数字孪生”模拟系统，预演人机协同任务中的潜在风险，优化交互协议与应急预案。

2. 认知负荷平衡与容错设计

通过界面简化与交互引导降低用户认知负担，智能家居语音助手可采用自然语言指令替代复杂菜单操作。设计容错机制，允许用户在误操作后快速回滚系统状态，例如金融交易AI提供“交易确认-撤销”双向通道。

3. 跨领域协作与知识共享

建立产学研联合实验室，推动安全技术标准化（如ISO/IEC 27001信息安全管理标准），促进漏洞情报与防护经验的跨行业流通。构建开源安全社区，鼓励开发者贡献对抗样本库、安全加固工具链等资源，形成群体防御生态。

（四）典型案例与实践启示

车联网安全领域，特斯拉通过OTA持续更新安全补丁，并结合V2X通信实现车辆间协同预警，降低远程劫持风险。医疗AI监管中欧盟《人工智能法案》要求高风险医疗AI系统必须通过临床验证与伦理审查，确保诊断准确性及数据隐私。工业机器人防护体系应采用“洋葱模型”分层防护（可信根→虚拟机隔离→行为监控），在一些生产线实现人机协作零事故。

总之，安全使用不安全的智能系统需突破传统“外挂式防护”思维，通过技术内生安全（如主动免疫架构）、管理闭环治理（如全周期审计）和人机共生设计（如动态信任机制）的三维协同，构建弹性安全体系。未来需进一步探索量子加密、人机环境接口等前沿技术，推动安全范式从“被动防御”向“主动免疫”演进。

三、如何在调度或指挥系统中安全地使用不安全的智能系统？

在调度或指挥系统中安全地使用不安全的智能系统，可以从以下方面着手。

（一）加强身份认证与访问控制

强化身份认证机制，采用多因素认证（如密码+指纹+动态令牌），增加非法访问的难度。实施最小权限原则，根据用户角色和职责，授予仅必要的数据和操作权限，降低潜在风险。

（二）数据加密与保护

进行传输层加密，使用SSL/TLS等协议加密数据传输，防止信息在传输过程中被窃取或篡改。存储层加密，对敏感数据进行加密存储，即使数据被盗，攻击者也无法轻易获取信息。

（三）网络隔离与分段

采用物理或逻辑隔离，将不安全的智能系统与其他关键系统隔离，防止安全风险扩散。划分安全区域，根据数据敏感性和系统重要性划分区域，实施不同的安全策略。

（四）安全监测与审计部署

入侵检测系统，实时监测网络流量，识别并阻止可疑行为。定期安全审计，对系统操作和访问记录进行审计，发现并纠正安全问题。

（五）更新与漏洞管理

及时更新补丁，修补智能系统和相关组件的漏洞，降低被攻击的可能性。漏洞扫描与评估，定期进行漏洞扫描，评估系统安全性并修复发现的问题。

（六）建立应急响应机制

制定有效应急预案，针对可能的安全事件制定响应计划，明确处理流程和责任人。定期演练，组织应急演练，提高应对安全事件的能力，确保快速有效响应。

（七）安全培训与意识提升

通过员工安全培训，定期开展安全培训，提高员工的安全意识和操作技能。加强用户教育，向智能系统用户提供安全使用指南，引导其采取安全的行为习惯。

通过以上措施，可以在一定程度上降低不安全智能系统带来的风险，保障调度或指挥系统的安全运行。​​​