温贺的博客分享 http://blog.sciencenet.cn/u/wenhe716 安全工程领域学术与杂谈

博文

当事故还没发生,人们已经 “ 知道 ” 会出事了

已有 157 次阅读 2026-1-14 04:53 |系统分类:论文交流

当事故还没发生,人们已经知道会出事了

——我们用大模型首次量化了风险直觉的形成过程

 

在很多重大事故的复盘中,我们常常会听到一句话:

其实在事故发生前,已经有很多不对劲的地方了。

但一个长期没有被回答的问题是: 这些不对劲,到底是如何一步步累积成必然会出事的判断?

最近,我们做了一件以前几乎没人系统做过的事: 人对风险的直觉变化过程真正量化了出来。

 

一、风险不是突然变高的,而是一步步被说服

在这项研究中,我们分析了 90 起美国化学安全委员会(CSB)的真实事故调查报告,每一起事故在发生前,平均存在 5–6 个明确的事故前兆(precursors)。

这些前兆包括:

·        设备异常

·        操作失误

·        组织管理问题

·        环境因素

关键不在于有没有前兆,而在于:

当这些前兆一个接一个出现时,人们心中的出事概率是如何变化的?

 

二、一个反直觉但极其稳定的发现:

每出现一个前兆,风险感知平均上升 8%

我们用两个大语言模型(LLM)智能体来模拟这一过程:

Agent 1:从事故报告中,自动提取时间顺序清晰的事故前兆

Agent 2:模拟一个理性但非专家的人,在每一个前兆出现后,给出他心中事故即将发生的概率

结果非常惊人,也非常稳定:

·        主观事故概率几乎是线性上升的

·        平均 每一个前兆 ≈ +8% 的事故概率

而且在 90 起事故中全部成立。

这说明: 人对风险的判断,本质上是一种连续更新的信念过程,而不是阈值触发。

 

三、真正的心理拐点出现在第 4 个前兆

如果说前两个前兆只是有点不对劲 第三个开始让人紧张, 那么我们发现:

4 个前兆,几乎在所有案例中,都会触发一次风险认知跃迁

具体表现为:

·        3 个前兆时,风险中位数 ≈ 42%

·        4 个前兆时,直接跳到 ≈ 77%

这是一个心理意义上的不可逆点

可能会出事变成这事大概率要出问题了

但遗憾的是,事故往往仍然在继续推进。

 

四、最危险的不是设备,而是组织问题

另一个非常重要、也非常现实的发现是:

最容易推高风险感知的,并不是设备故障,而是组织层面的前兆

在所有前兆中:

前兆类型

在全部前兆中的比例

对风险的影响

组织管理问题

38%

最高

人为失误

27%

技术异常

31%

中等

环境因素

4%

相对较低

例如:

·        人手不足

·        程序缺失

·        责任不清

·        违规被默许

这些信号一旦出现,会极快地侵蚀人们对系统安全性的信心。

这也解释了为什么很多事故中,看起来是技术事故,实质是管理失效

 

五、一个关键突破:

大模型真的能像人一样感知风险

很多人会问:

AI 来模拟人的风险判断,靠谱吗?

我们的验证结果是:

LLM 给出的风险概率

与多位过程安全专家给出的判断

平均偏差小于 ±0.08

换句话说:

大模型已经可以稳定复现人类在事故逼近时的直觉式推理过程

而且,它的优势在于:

不需要大量统计数据

能处理文字、叙事、模糊信息

天然适合事故报告、现场记录、日志等非结构化材料

 

六、这项研究真正想说的,不只是“AI 很厉害

更重要的是,它揭示了一个长期被忽视的事实:

事故不是突然发生的,而是被一步步心理确认

在第 4 个前兆之前, 其实已经有足够多的信号, 足以让一个理性观察者判断:

这件事不再是偶然,而是趋势。

这为未来的安全系统带来一个重要方向:

不再只问事故概率是多少

而是问:现在这个阶段,人们是否已经应该意识到危险了

 

七、写在最后:

风险,是被看见的那一刻才真正存在。

这项研究并不是要替代传统的概率风险分析(PRA), 而是补上一个长期缺失的维度:

风险感知本身,是可以建模的。

AI 能理解人什么时候会开始紧张、犹豫、迟疑、警觉 我们才真正有可能设计出:

·        更早介入的安全系统

·        更符合人类认知的预警机制

·        更少依赖事后复盘的安全文化

事故真正的分水岭, 往往不是爆炸发生的那一刻, 而是第 4 个前兆出现,却没人停下来的那一刻。

 

本文基于 Wen et al., 2025Modeling Dynamic Risk Perception Using Large Language Model (LLM) Agents》研究成果整理与改写。



https://blog.sciencenet.cn/blog-3523098-1518344.html

上一篇:当事故 “ 从未发生 ” ,怎么估计概率?
收藏 IP: 139.102.180.*| 热度|

1 李志林

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-1-14 12:40

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部