引言：机器人会执行任务，但会感知风险吗？

随着人形机器人（Humanoid）逐渐进入制造业、物流和服务业，一个新的问题开始浮现：机器人是否能够像人一样感知风险？最近，我的一篇论文《Toward Machine Risk Perception: Integrating Trust Calibration and Precursor-Based Risk Estimation for Humanoid》在ASME 2026 Manufacturing Science and Engineering Conference（MSEC 2026）发表并呈现。论文试图回答一个看似简单却十分基础的问题：未来的人形机器人不仅需要能够完成任务，更需要能够提前察觉危险，并主动避免事故。

过去几十年，机器人安全主要建立在“反应式安全”的理念之上。例如，当机器人接近人员时减速，当作用力超过阈值时停止运行，或者通过安全围栏将人与机器隔离开来。这些方法对于固定式工业机械臂十分有效，但对于能够行走、保持平衡、搬运物体并与人近距离协作的人形机器人而言，显然已经不够。人形机器人面对的不再只是简单的碰撞风险，而是跌倒撞人、工具掉落、感知失误、协同搬运失稳等更加复杂的动态风险。

从人类风险感知到机器风险感知

有趣的是，人类很少等到事故发生之后才采取行动。当我们看到一个人走路开始打晃、身体重心偏移，或者手中的工具即将滑落时，即使事故尚未发生，我们也会本能地提高警惕。这种能力被称为风险感知（Risk Perception）。在安全科学中，人们早已认识到，事故往往并非突然出现，而是会在发生之前释放出一系列微弱但有价值的信号，这些信号被称为事故前兆（Precursors）。

这也引出了一个值得思考的问题：如果人类能够利用前兆判断危险，那么机器人是否也能够做到这一点？基于这一思路，我在论文中提出了“机器风险感知（Machine Risk Perception）”的概念。所谓机器风险感知，并不是让机器人拥有情绪，而是让它能够像人一样识别危险正在形成的过程，并根据风险变化动态调整自身行为。

事故往往不是突然发生的

为了探索这一问题，我们收集和分析了126个人形机器人相关事故，包括48篇学术文献、15份工业案例报告以及63个公开运行视频。最终共识别出241个事故前兆，并将其归纳为运动与平衡、操作、感知、人类行为、导航以及系统通信六大类别。研究发现，运动和平衡前兆占29%，操作类前兆占23%，感知类前兆占18%，三类前兆合计超过70%，成为人形机器人事故最主要的风险来源。

更重要的是，统计结果显示，大约73%的事故都伴随着多个前兆在短时间内重叠出现。换句话说，大多数事故并不是由单一故障触发，而是多个异常信号逐渐累积并最终突破安全边界。例如，在最常见的“跌倒撞人”事故中，典型演化路径往往是脚底轻微打滑、躯干角度异常增加、重心横向偏移，最终导致失去平衡并撞击周围人员。这种逐步升级的过程与传统事故链理论高度一致，也说明事故实际上是一个演化过程，而不是一个瞬时事件。

当机器人开始计算自己有多危险

仅仅识别前兆并不足够，机器人还需要判断这些前兆意味着多大的风险。因此，论文提出了一种基于事故前兆累积的概率推断模型。在“跌倒撞人”的案例中，当系统仅检测到脚底微滑时，事故概率约为0.12；当进一步出现躯干异常摆动时，事故概率上升至0.46；当重心偏移信号也出现后，事故概率迅速升高到0.81。这个结果非常符合人类的风险认知规律：一个异常信号往往不会引起过度警觉，但当多个异常同时出现时，人们通常会迅速提高警惕。

从某种意义上说，这一过程类似于机器人在不断评估自己距离事故还有多远。它不再只是简单执行动作，而是在持续判断当前状态是否正在接近危险边界。

当机器人开始“怀疑自己”

论文中另一个核心概念是“机器信任（Machine Trust）”。这里的信任并不是人类对机器的信任，而是机器人对自身状态的信心。我们将其定义为事故概率的反向指标，即风险越高，信任越低；风险越低，信任越高。

在上述案例中，当事故概率从0.12上升到0.81时，机器信任则从0.88下降到0.19。当信任降低到一定程度后，系统会自动启动保护机制，包括停止下一步动作、调整手臂姿态、提高关节阻尼以及启动紧急稳定程序。最终，在模拟场景中，这些措施成功阻止了机器人跌倒并避免了人员碰撞。

如果说传统机器人是在执行程序，那么这里的机器人则开始持续问自己一个问题：“我现在安全吗？”

从机器人安全到AI安全

在我看来，这项工作的意义远不止于机器人本身。过去几年，我的研究从过程工业中的事故前兆预测，到自动驾驶中的风险表示，再到大模型在过程控制中的失效机制，本质上都在探索同一个问题：AI究竟能否理解风险？

当前人工智能已经能够识别图像、理解语言、编写代码，甚至完成复杂推理任务。然而，一个更加基础的问题或许是：它是否知道自己什么时候可能出错？对于未来进入现实世界的人形机器人、自动驾驶系统以及AI代理而言，仅仅拥有完成任务的能力是不够的，它们还需要能够识别危险、评估风险、校准信心，并在不确定条件下保持谨慎。

我的思考

回头看我近几年的研究，无论是过程安全中的事故前兆建模、自动驾驶中的风险表示、大模型在过程控制中的失效机制，还是这项关于人形机器人的工作，本质上都围绕着同一个核心问题展开：风险能否被机器感知、表示和推理？

过去几十年，我们努力让机器变得更聪明；未来几十年，也许我们需要让机器变得更谨慎。如果智能代表机器知道如何完成任务，那么风险感知则代表机器知道什么时候不应该继续执行任务。从这个意义上说，机器风险感知不仅仅是一个机器人安全问题，它可能是未来可信人工智能（Trustworthy AI）的基础能力之一。毕竟，一个真正可靠的智能体，不只是知道该做什么，更知道什么时候应该停下来。

本文基于作者以下论文改写：

Wen, H. (2026d). Toward Machine Risk Perception: Integrating Trust Calibration and Precursor-Based Risk Estimation for Humanoid. 2026 International Manufacturing Science and Engineering Conference (MSEC2026). https://arxiv.org/pdf/2606.20748

支持单位：