引用本文

霍琳, 毛剑琳, 伞红军, 付丽霞, 宣志玮, 贺志刚. 基于多模态特征融合与局部感知推理的多智能体分布式路径协作方法. 自动化学报, 2026, 52(7): 1347−1359 doi: 10.16383/j.aas.c250593

Huo Lin, Mao Jian-Lin, San Hong-Jun, Fu Li-Xia, Xuan Zhi-Wei, He Zhi-Gang. A distributed multi-agent path coordination method based on multimodal feature fusion and local perception reasoning. Acta Automatica Sinica, 2026, 52(7): 1347−1359 doi: 10.16383/j.aas.c250593

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250593

关键词

多智能体路径规划，深度强化学习，局部观测，多模态，推理，协作

摘要

在部分可观测且动态变化的环境中, 深度强化学习(DRL) 为多智能体路径规划提供具备自学习、泛化与动态适应能力的分布式求解途径. 然而, DRL 在该问题中仍存在协调性不足与局部近视两个挑战: 智能体间的隐式交互易引发冲突, 仅依赖局部观测的反应式避障又导致路径冗长与全局目标偏离. 为此, 提出一种基于多模态特征融合与局部感知推理的分布式路径协作方法——LYRA. 该方法在分布式DRL 框架下构建从感知到决策的学习体系, 使智能体能依托局部观测实现推理与隐式让行. 多模态状态编码器融合局部碰撞线索与全局路径语义, 平衡即时避障与长期导航目标; 奖励引导的路径学习策略保证局部决策与全局任务一致; 群体协作机制通过隐式优先级推理化解局部冲突; 自适应学习率机制动态调节策略更新以提升训练稳定性. 实验结果表明, LYRA 在任务成功率和安全性上较基线方法有大幅提升, 在不同环境复杂度下保持良好泛化性, 为实现高效鲁棒的分布式多智能体路径规划提供了新范式.

文章导读

多智能体路径规划(multi-agent path finding, MAPF)的目标是为一组智能体规划无碰撞的轨迹, 使其从起始位置到达各自的目标点[1]. 在自动化仓储[2]、地空协同交通管理[3]等实际场景中, MAPF系统需要具备实时规划能力, 能够在大规模智能体数量下保持高效运行, 并在部分可观测和动态环境中保持稳定性与可靠性.

传统的多智能体路径规划算法, 如HCA* (hierarchical cooperative A*)[1], CBS (conflict-based search)[4]以及PBS (priority-based search)[5]等算法, 在理论上可保证路径规划结果的完整性与最优性[6]. 然而, 当智能体密度或障碍物复杂度增加时, 这类方法的计算代价呈指数级增长[7]. 更重要的是, 它们通常依赖全局可观测和集中控制的假设, 这在大规模、去中心化或环境信息不完全的场景下往往难以满足[8].

由于深度强化学习(deep reinforcement learning, DRL)具备较好的自学习能力、泛化性以及动态适应性, 研究者开始尝试利用其解决MAPF问题. 目前主要形成两类代表性范式: 专家引导学习[9]和自学习反应式学习[10]. 前者通过模仿集中式求解器生成的专家轨迹来加速早期学习阶段, 但其性能高度依赖示例数据的质量与覆盖范围[11−12]. 相比之下, 后者不依赖外部监督, 而是直接基于局部观测进行学习[13], 并常借助耦合机制或注意力机制[14−15]来推断邻近智能体的意图, 从而在无显式通信的情况下实现协作[16]. 尽管该范式能够提高智能体的自主性[17], 但在实际应用中仍存在两方面的突出问题.

一方面, 多智能体在动态和部分可观测环境下协调性脆弱[18−19]. 许多方法假设邻居集合固定[20]、可视图静态[21]或局部规则恒定[22], 这些假设在动态环境下容易失效. 同时, 在局部观测视野的限制下, 智能体缺乏显式通信, 隐式交互易引发冲突和死锁[23]. 另一方面, “局部近视”问题突出. 反应式避障忽视全局语义[24], 常导致路径偏离和效率下降[25].

针对上述两方面的问题, 本文提出一种去中心化DRL框架——LYRA (local yielding and reasoning for agents) 1. LYRA的核心思想是将局部感知与长时规划线索相结合, 使不同尺度的决策过程自然对齐, 进而在无显式通信的条件下实现稳健的协作. 与现有将局部反应和全局目标分离优化的方法不同, LYRA将感知、推理与协同相结合, 使短期安全性与长期效率在策略优化过程中同步提升.

本文的主要贡献如下:

1)为缓解局部近视问题, 设计一种融合局部碰撞线索与全局路径语义的多模态状态编码器, 以弥补观测不完备导致的信息缺失, 促使策略在即时安全与长期目标间做出平衡性推理;

2)针对多智能体协调性脆弱的问题, 提出群体协作机制, 通过局部可观测标识和动态优先级策略, 使智能体在狭窄通道或高密度区域中能够自发地分配通行顺序, 能有效避免冲突与死锁;

3)针对局部近视导致智能体绕行的问题, 设计基于奖励的全局引导机制, 将轨迹级先验融入稀疏−稠密奖励设计, 约束局部避障选择向全局目标对齐, 减少路径碎片化与冗长绕行;

4)为保证大规模训练的稳定性与收敛性, 进一步引入自适应学习率机制, 结合指数衰减与周期调制, 动态调节策略与价值网络的更新幅度, 提升大规模去中心化训练的稳定性与收敛效率.

实验结果表明, LYRA在多种复杂场景下的表现均优于现有DRL-MAPF方法, 成功率提升超过35%, 碰撞率降低超过25%, 并在受限空间中表现出更高的通行效率.

本文的结构安排如下: 第1节回顾相关研究; 第2节介绍问题建模; 第3节阐述系统结构; 第4节给出实验结果; 第5节总结全文并讨论未来工作.

图1  问题描述

图2  多模态观测

图3  LYRA框架总体结构示意图

本文提出一种面向部分可观测与动态环境的基于局部让行与推理的多智能体路径规划深度强化学习框架. 该框架针对两个挑战展开: 1) 可见性与密度变化下的协作不稳定性; 2) 仅依赖局部避障导致的路径偏移问题. LYRA将多模态状态编码、群体协作共识与基于奖励的路径学习有机结合, 构建一个统一的决策流程, 使局部动作同时服务于即时避障与长程导航目标. 此外, 自适应学习率机制为大规模训练提供了稳定性与可扩展性支持.

实验结果表明, LYRA在路径性能与行为合规性方面均显著优于代表性基线方法, 其性能提升在不同环境密度与结构下保持一致, 验证了方法的普适性与稳健性. 这些结果表明, 将结构化感知与基于共识的协调相结合, 为在复杂动态场景中实现更稳健、高效、可扩展的去中心化DRL-MAPF提供了有力的实践基础.

未来工作将进一步拓展该框架, 特别是在具备动态目标与连续控制任务的场景中, 深度融合通信感知与规划机制, 以实现更高层次的智能协同控制.

作者简介

霍琳

昆明理工大学机电工程学院博士研究生. 主要研究方向为深度强化学习, 多机器人路径规划. E-mail: huolin1223@foxmail.com

毛剑琳

昆明理工大学信息工程与自动化学院教授. 主要研究方向为多机器人路径规划, 智能优化算法. 本文通信作者. E-mail: jlmao@kust.edu.cn

伞红军

昆明理工大学机电工程学院副教授. 主要研究方向为机械结构设计, 多机器人路径规划. E-mail: sanhjun@163.com

付丽霞

昆明理工大学信息工程与自动化学院副教授. 主要研究方向为集群智能控制优化算法. E-mail: 12309049@kust.edu.cn

宣志玮

昆明理工大学机电工程学院博士研究生. 主要研究方向为深度强化学习, 多机器人路径规划. E-mail: zhiweixuan@stu.kust.edu.cn

贺志刚

昆明理工大学机电工程学院博士研究生. 主要研究方向为分布式多机器人路径规划. E-mail: zhiganghe@stu.kust.edu.cn

支持单位：