人工智能正在越来越多地进入工业现场，也就是最近常说的Physical AI。它可以识别管道泄漏、预测设备故障、监测异常工况，甚至提前预警化工反应器的热失控。但当我们真正把AI 放进一个安全关键系统（Safety-Critical System）时，一个比“准确率是多少”更加现实的问题随之出现：当 AI 此刻发出一个警报，我们到底有多大把握相信它？

这看起来和准确率是同一个问题，其实不是。最近，我们在Process Safety and Environmental Protection 上发表的研究 “A Probabilistic Framework for Quantifying AI Trust Under Operational Uncertainty in Process Systems”，尝试回答这个问题。我们的核心想法其实很简单：AI Trust 不应该只描述一个模型总体上有多好，而应该描述在当前运行环境下，这一次 AI 决策到底有多可信。

一个99%准确的AI，不一定值得你相信

假设一家工厂部署了一个AI 系统监测管道泄漏，测试结果非常漂亮：Accuracy超过 99%。听起来似乎已经足够可靠。但这里存在一个经常被忽视的问题——工业事故本来就是极少发生的。假设 AI 每秒判断一次有没有泄漏。一年有超过 3000 万秒，而真正发生泄漏的时间可能只占其中极小的一部分。这意味着，即使 AI 的误报率已经非常低，只要它每天面对的是海量“正常状态”，少量误报不断累积之后，假警报的数量仍然可能远远超过真正的事故警报。于是就会出现一个看似矛盾的结果：模型准确率非常高，但它每次报警的时候，你却未必应该相信它。这正是传统 AI performance metrics 和实际工程决策之间存在的一道鸿沟。Accuracy、Recall、F1-score 回答的是“这个模型总体表现怎么样？”但现场操作人员真正需要回答的是：“AI 现在报警了，这一次到底是不是真的？” 论文因此指出，传统指标主要总结验证数据集上的平均预测表现，却无法直接回答部署过程中某一次具体AI 决策的可信程度。

所以，我们尝试重新定义“AI Trust”

在这项研究中，我们把AI Trust 定义为AI decision 在实际运行不确定性条件下的posterior credibility（后验可信度）。换句话说，我们不再简单地问“这个 AI 准不准？”，而是进一步问：“AI 刚刚做出的这一次判断，有多大概率是真的？”对于一个报警系统，这可以拆成两个非常直观的问题。第一个是Alarm Trust：当 AI 发出警报时，真正存在危险的概率是多少，即 (P(Hazard|Alarm))。第二个是 Silence Trust：当 AI 没有报警时，系统实际上安全的概率是多少，即(P(Safe|Silence))。因此，论文把 AI Trust 表达为由 Alarm Trust 和 Silence Trust 构成的二维向量。这种定义带来的一个重要变化是，我们不再用一个笼统的数字评价AI。一个 AI 系统完全可能出现这样的情况：它不报警的时候几乎总是正确，但一旦报警，却存在大量误报。相比简单告诉操作人员“模型准确率 99%”，Alarm Trust 和 Silence Trust 更接近实际决策需要。

真正决定AI Trust的，不只是模型本身

为什么同一个 AI 模型，在不同时间的可信度会不一样？因为工业现场不是实验室。摄像头可能遇到蒸汽遮挡、光照变化、模糊和震动，传感器可能出现漂移、噪声或者数据丢包。这些因素未必意味着事故已经发生，却会影响AI “看清楚”和“判断正确”的能力。因此，我们在论文中引入了一个Adversity Score（运行不利度），将这些可能降低AI 感知和判断能力的运行因素组合成一个可量化指标。随后进一步利用Extreme Value Theory（极值理论，EVT）对其中罕见而极端的退化条件进行建模。这里使用 EVT 的目的并不是直接计算 Trust，而是估计 AI 多大比例的运行时间处于 degraded condition，并进一步分析这些条件如何改变 AI 的灵敏度 sensitivity 和特异度 specificity。但仅仅知道 AI 的性能还不够。另一个极其重要、却很容易被机器学习评价忽略的变量是Hazard Prevalence——危险本身现在有多可能发生。因此，这套框架最终形成了一条非常清晰的逻辑链：Operational Uncertainty → Degraded-condition Frequency → Condition-dependent Performance，再与 Hazard Prevalence 共同决定 AI Trust。换句话说，AI Trust 并不是 AI 模型自身一个固定不变的属性，而是模型能力、当前运行环境和当前风险状态共同作用的结果。

案例一：一个“几乎不会漏报”的AI，为什么只有10.6%的警报是真的？

论文中的第一个案例是计算机视觉（CV）管道泄漏监测。假设摄像头持续监测管道，并通过时间窗口聚合降低单帧误报。经过计算后，模型的有效sensitivity 几乎达到 100%，specificity 约为 99.4%。如果只看传统机器学习指标，这已经是一个表现非常优秀的系统。但是，当我们把真实世界中的泄漏发生率加入计算之后，结果发生了巨大变化。最终得到的Alarm Trust 只有 10.6%。也就是说，在这个案例的假设条件下，AI 每发出 100 次“泄漏”警报，大约只有 11次真正对应泄漏。与此同时，Silence Trust 则接近 100%。为什么会这样？并不是因为AI 很差，而是因为泄漏太少见了。当正常状态比事故状态多出几个数量级以后，即使false-positive rate 很低，大量正常状态累积产生的误报仍然可能超过真正的事故信号。按照论文中的示例计算，在一个8 小时班次内，系统可能产生大约166 个false-positive one-second windows。长期如此，就可能产生alarm fatigue：操作人员一次又一次收到假警报，最终开始忽略AI。这说明，一个在技术指标上“非常优秀”的 AI，并不必然意味着它在实际安全管理中具有同样高的决策价值。

案例二：AI Trust甚至会随着事故的发展而变化

第二个案例进一步展示了AI Trust 的动态特征。我们建立了一个连续搅拌釜反应器（CSTR）的热失控模拟场景，并构建多模态 AI early-warning system，同时读取过程变量和红外热成像数据，预测未来60 秒内是否可能发生thermal runaway。在正常运行阶段，Alarm Trust 大约为 0.878，Silence Trust 大约为 0.999。随后冷却能力发生故障，反应器温度和压力逐渐上升，系统开始接近危险状态。与此同时，运行环境的退化也使AI 的sensitivity 和specificity 出现下降。一个很有意思的现象随之出现：虽然AI 自身的诊断性能有所下降，但Alarm Trust 反而上升了，峰值达到约0.915。原因是随着热失控逐渐逼近，真正存在危险的概率也在快速上升。因此，此时AI 发出的警报更可能对应真实危险。与此同时，Silence Trust 略有下降，最低仍约为0.975。论文中的动态曲线也清楚显示了这一变化过程。这揭示了一个容易被忽略的现象：AI performance 下降，并不一定意味着AI Trust 同步下降。一方面，环境恶化可能降低模型性能；另一方面，危险本身越来越可能发生，又会提高一个警报为真的概率。AI Trust 是这两种力量共同作用的结果。

AI Trust应该是动态的

这可能是这项研究最重要的认识之一。我们习惯于给一个AI 模型贴上固定标签，比如“Accuracy = 97%”“F1 = 0.94”，然后默认这些数字可以代表这个AI。但真实工业系统并不是静态的：环境在变化，设备状态在变化，事故概率在变化，传感器质量在变化，AI面对的数据分布也在变化。因此，AI Trust 不应该只是模型训练完成以后写在测试报告里的一个数字，而应该随着系统运行持续更新。未来的工业 AI 界面，也许不应该只显示“Model Accuracy: 96%”，而可以进一步实时告诉操作人员：“Current Alarm Trust: 91%”“Current Silence Trust: 98%”。后者回答的是一个完全不同、也更加现实的问题：“我现在应该相信它吗？”

AI Trust和AI Reliability不是一回事

这里还有一个容易混淆的问题。如果一个AI 系统reliability 很高，是不是就意味着它值得信任？不一定。Reliability 通常关注系统能否持续完成预定功能，而这里讨论的Trust 关注的是这一次具体AI 决策是否可信。AI 系统完全可以正常运行，没有宕机，算法也持续输出结果，但由于摄像头被蒸汽遮挡、传感器漂移或者环境发生变化，它输出结果的可信度已经下降。所以，System is functioning 并不等于Decision is credible。 Accuracy、Reliability、Risk 和 Trust 实际上回答的是不同层面的问题。论文也因此将 AI Trust 与传统 ML metrics、Trustworthy AI、Probabilistic Risk Assessment 和 Reliability Analysis 区分开来：它不是要替代这些方法，而是补充一个过去相对缺失的推理对象——AI 单次决策本身的可信度。

从“Trustworthy AI”走向“Can I trust this decision?”

过去几年，我们大量讨论Trustworthy AI：公平性、透明性、可解释性、鲁棒性、治理，这些当然非常重要。但工业现场最终还会面对一个更加具体的问题。一个控制室操作员看到屏幕上的红色警报时，他不会首先问：“这个 AI 是否符合 Trustworthy AI 原则？”他更可能问：“这个警报到底是不是真的？”这就是我们希望 AI Trust 回答的问题。它不是要替代Accuracy、Reliability、PRA 或 Trustworthy AI，而是希望在这些体系之间增加一个新的连接层：把 AI 模型的输出转换成现场人员可以直接理解和使用的决策可信度。

也许未来AI系统需要一个“Trust Gauge”

如果把这个思路继续向前推进，未来的工业AI 或许不应该只输出Alarm / No Alarm，甚至也不应该只输出一个Hazard Probability。它还可以同时告诉操作人员当前运行环境是否退化、当前危险发生的基础概率，以及当前的Alarm Trust 和 Silence Trust。这相当于给 AI 增加一个实时的 Trust Gauge。AI 不仅告诉人：“我认为有危险”，还告诉人：“在当前环境和风险背景下，你有多大程度可以相信我的这个判断。”从这个角度看，AI Safety 的一个重要问题，也许并不是让AI 永远正确——这几乎不可能。真正的问题是：当 AI 可能出错的时候，我们能不能知道，现在应该多大程度相信它？这也是我们希望通过这项研究进一步推动的问题：从评价一个AI 模型“总体上有多准确”，逐渐走向评价一个 AI 决策“此时此刻有多可信”。本文基于作者以下论文改写：Wen, H., & Khan, F. (2026). A Probabilistic Framework for Quantifying AI Trust Under Operational Uncertainty in Process Systems. Process Safety and Environmental Protection, 109419. https://doi.org/10.1016/J.PSEP.2026.109419

转载本文请联系原作者获取授权，同时请注明本文来自温贺科学网博客。
链接地址：https://blog.sciencenet.cn/blog-3523098-1547639.html

上一篇：人工智能如何重塑安全文化：从自动化、数字化到AI参与


欢迎参加科学网十佳博文评选活动！

主办单位：    支持单位：