温贺分享 http://blog.sciencenet.cn/u/wenhe716 AI安全

博文

当事故还没发生,人们已经 “ 知道 ” 会出事了

已有 3600 次阅读 2026-1-14 04:53 |系统分类:论文交流

当事故还没发生,人们已经“知道”会出事了

——我们用大模型首次量化了“风险直觉”的形成过程

 

在很多重大事故的复盘中,我们常常会听到一句话:

“其实在事故发生前,已经有很多不对劲的地方了。”

但一个长期没有被回答的问题是: 这些“不对劲”,到底是如何一步步累积成“必然会出事”的判断?

最近,我们做了一件以前几乎没人系统做过的事: 把“人对风险的直觉变化过程”真正量化了出来。

 

一、风险不是“突然变高”的,而是一步步被“说服”的

在这项研究中,我们分析了 90 起美国化学安全委员会(CSB)的真实事故调查报告,每一起事故在发生前,平均存在 5–6 个明确的事故前兆(precursors)。

这些前兆包括:

·        设备异常

·        操作失误

·        组织管理问题

·        环境因素

关键不在于“有没有前兆”,而在于:

当这些前兆一个接一个出现时,人们心中的“出事概率”是如何变化的?

 

二、一个反直觉但极其稳定的发现:

每出现一个前兆,风险感知平均上升 8%

我们用两个大语言模型(LLM)智能体来模拟这一过程:

Agent 1:从事故报告中,自动提取时间顺序清晰的事故前兆

Agent 2:模拟一个“理性但非专家”的人,在每一个前兆出现后,给出他心中“事故即将发生的概率”

结果非常惊人,也非常稳定:

·        主观事故概率几乎是线性上升的

·        平均 每一个前兆 ≈ +8% 的事故概率

而且在 90 起事故中全部成立。

这说明: 人对风险的判断,本质上是一种“连续更新的信念过程”,而不是阈值触发。

 

三、真正的“心理拐点”出现在第 4 个前兆

如果说前两个前兆只是“有点不对劲”, 第三个开始让人紧张, 那么我们发现:

第 4 个前兆,几乎在所有案例中,都会触发一次“风险认知跃迁”

具体表现为:

·        第 3 个前兆时,风险中位数 ≈ 42%

·        第 4 个前兆时,直接跳到 ≈ 77%

这是一个心理意义上的“不可逆点”:

从“可能会出事” 变成 “这事大概率要出问题了”

但遗憾的是,事故往往仍然在继续推进。

 

四、最危险的不是设备,而是“组织问题”

另一个非常重要、也非常现实的发现是:

最容易推高风险感知的,并不是设备故障,而是组织层面的前兆

在所有前兆中:

前兆类型

在全部前兆中的比例

对风险的影响

组织管理问题

38%

最高

人为失误

27%

高

技术异常

31%

中等

环境因素

4%

相对较低

例如:

·        人手不足

·        程序缺失

·        责任不清

·        违规被“默许”

这些信号一旦出现,会极快地侵蚀人们对系统安全性的信心。

这也解释了为什么很多事故中, “看起来是技术事故,实质是管理失效”。

 

五、一个关键突破:

大模型真的能“像人一样”感知风险

很多人会问:

“用 AI 来模拟人的风险判断,靠谱吗?”

我们的验证结果是:

LLM 给出的风险概率

与多位过程安全专家给出的判断

平均偏差小于 ±0.08

换句话说:

大模型已经可以稳定复现人类在“事故逼近时”的直觉式推理过程

而且,它的优势在于:

不需要大量统计数据

能处理文字、叙事、模糊信息

天然适合事故报告、现场记录、日志等非结构化材料

 

六、这项研究真正想说的,不只是“AI 很厉害”

更重要的是,它揭示了一个长期被忽视的事实:

事故不是突然发生的,而是被一步步“心理确认”的

在第 4 个前兆之前, 其实已经有足够多的信号, 足以让一个理性观察者判断:

“这件事不再是偶然,而是趋势。”

这为未来的安全系统带来一个重要方向:

不再只问“事故概率是多少”

而是问: “现在这个阶段,人们是否已经‘应该意识到危险了’?”

 

七、写在最后:

风险,是被“看见”的那一刻才真正存在。

这项研究并不是要替代传统的概率风险分析(PRA), 而是补上一个长期缺失的维度:

风险感知本身,是可以建模的。

当 AI 能理解“人什么时候会开始紧张、犹豫、迟疑、警觉”, 我们才真正有可能设计出:

·        更早介入的安全系统

·        更符合人类认知的预警机制

·        更少依赖“事后复盘”的安全文化

事故真正的分水岭, 往往不是爆炸发生的那一刻, 而是第 4 个前兆出现,却没人停下来的那一刻。

 

本文基于 Wen et al., 2025《Modeling Dynamic Risk Perception Using Large Language Model (LLM) Agents》研究成果整理与改写。



https://blog.sciencenet.cn/blog-3523098-1518344.html

上一篇:当事故 “ 从未发生 ” ,怎么估计概率?
下一篇:AI 出错了,谁来负责?



    
收藏 IP: 139.102.180.*| 热度|

1 李志林

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2026-10-22 21:38

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部