博文

基于多智能体合作博弈的液压支架调直策略研究

已有 145 次阅读 2026-10-13 16:33 |系统分类:博客资讯

引用本文

杨艺, 王静怡, 钱伟, 王田. 基于多智能体合作博弈的液压支架调直策略研究. 自动化学报, 2026, 52(7): 1463−1476 doi: 10.16383/j.aas.c250624

Yang Yi, Wang Jing-Yi, Qian Wei, Wang Tian. Study on hydraulic support alignment strategy based on multi-agent cooperative game. Acta Automatica Sinica, 2026, 52(7): 1463−1476 doi: 10.16383/j.aas.c250624

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250624

关键词

液压支架，多智能体强化学习，合作博弈，MATD3算法，长短期记忆网络，Shapley值

摘要

综采工作面液压支架群调直过程中, 支架群间的强耦合关系与液压缸摩擦−滑移非线性构成典型的“耦合−非线性”双重复杂性, 使传统控制方法难以有效建模. 现有多智能体强化学习方法能实现并行决策, 但面临全局奖励无法精确归因至各支架动作、仅依赖观测状态难以捕获支架群姿态的时序演化规律等问题, 阻碍策略的有效收敛. 为此, 提出融合合作博弈与长短期记忆网络(LSTM)的多智能体强化学习算法CG-LSTM-MATD3. 该算法基于去中心化部分可观测马尔科夫决策过程对液压支架调直过程建模, 引入Shapley值实现各液压支架边际贡献的合理归因, 并设计Coalition网络通过联盟生成降低计算复杂度. 其次, 在Actor、Critic以及Coalition网络中嵌入LSTM模块, 通过对状态序列等信息的记忆, 使模型能够捕获状态的时序依赖关系, 增强对环境动态特性和真实状态的感知能力. 实验结果表明, 该算法在七支架任务中直线度相对基线算法提升80.59%, 消融实验进一步证明了合作博弈机制与LSTM模块的有效性.

文章导读

综采工作面回采过程中, 煤壁、刮板输送机及液压支架的直线度直接决定工作面的安全性与开采效率[1]. 液压支架作为顶板支撑的核心设备, 同时也是实现工作面直线度调控的主要执行机构. 受煤层起伏、断层、夹矸等复杂地质条件影响, 液压支架推溜与拉架距离难以达到理想状态, 易造成工作面直线度偏差持续累积, 当直线度偏差超出安全截割与高效回采允许范围时, 需要依据液压支架实时状态制定合理调直策略, 以保障综采工作面的安全、稳定、高效运行.

综采工作面通常包含上百台液压支架相互协同工作, 各支架需依据采煤机位置、顶底板状态、自身与邻架姿态等状态变量, 执行升柱、降柱、推移等动作. 因此, 在进行工作面直线度调整时, 各液压支架的执行动作之间存在强耦合关系. 传统的人工操控或基于简单逻辑判断的控制方式难以应对多支架间复杂的力学耦合与协同动作需求, 且煤层起伏、断层、夹矸等地质构造会造成局部支架承载突变, 进一步导致不同位置支架受力呈现非线性分布, 使支架移动轨迹难以精确预测. 支架间存在动作耦合, 使得智能体状态演化具有较强不确定性. 微小的操作误差或初始位姿偏差都可能会经非线性耦合关系放大, 最终造成调直效果偏离预期. 这种“耦合−非线性”双重复杂性, 使得基于经典线性控制理论和经验式操作的方法难以实现高精度的直线度控制.

为解决上述问题, 国内外学者已开展多方面研究并取得阶段性进展, 主要形成了传统控制方法与智能控制方法两大路径. 在智能控制方法不断演进的过程中, 强化学习[2]凭借智能体与环境交互进行试错学习, 降低了对精确数学模型的依赖. 基于此, 文献[3−6]将强化学习引入井下综采工作面领域, 并取得一系列前期成果. 最新的研究综述指出, 离策强化学习具备高探索能力和样本效率, 在解决多智能体优化控制问题中备受关注[7]. 基于这一技术路径, 文献[8]探索了离策算法在液压支架调直中的应用, 提出基于分段经验池与多机制采样的TD3改进算法, 并实现了复杂地质条件下调直策略的有效收敛. 该研究侧重于验证强化学习在液压支架调直中的可行性, 建模部分与协同决策机制仍需进一步完善.

在多智能体强化学习中, 多个智能体协同完成共同目标, 合理的信用分配能够避免某些智能体沦为“懒惰”智能体. 合作博弈论通过收益分配机制, 为多智能体系统中的信用分配问题提供了坚实的数学基础. 其中, Shapley值作为同时满足效率性、对称性、虚拟性和可加性四大公理的唯一解概念, 能够公平地量化各智能体对团队收益的贡献. 近年来, 相关研究在理论深化与应用拓展方面均取得了较大进展, 但在面对多智能体任务时, 保证任务完成度的同时减小计算开销以及提升算法在动态非平稳环境下的鲁棒性, 仍需深入探讨.

针对液压支架群调直过程中多支架强耦合交互建模困难、信用分配不合理、部分可观测井下环境下策略收敛效率低等问题, 本文提出一种基于MATD3算法[9]的液压支架群调直决策框架, 将该过程建模为去中心化部分可观测马尔科夫决策过程(decentralized partially observable Markov decision process, Dec-POMDP)[10]. 针对信用分配问题, 本文引入合作博弈论[11]中的Shapley值方法[12]实现全局奖励的合理归因, 创新性设计Coalition网络, 通过动态联盟生成近似计算各支架边际贡献, 缓解计算Shapley值带来的指数级复杂度问题. 本文在Actor、Critic和Coalition网络中融入长短期记忆网络(long short-term memory, LSTM)[13], 利用时序记忆特性处理部分可观测环境下的状态历史信息, 提升策略收敛速度. 综上所述, 本文的主要贡献与创新点如下:

1)提出Coalition网络以降低计算复杂度. 设计Coalition网络实现动态联盟生成, 将计算Shapley值时的指数级复杂度降低至线性复杂度, 在保证信用分配准确性的同时降低多支架调直的计算负担.

2)构建时序感知的网络架构. 在各网络模块中嵌入LSTM, 通过历史状态信息增强智能体对环境非平稳性的感知能力, 提升算法的收敛速度.

3)实现基于合作博弈、长短期记忆的双延迟深度确定性策略梯度算法(CG-LSTM-MATD3)的算法仿真验证. 结合综采工作面实际, 基于GYM框架开发液压支架调直仿真平台, 通过仿真测试验证算法在模拟井下动态环境中的有效性与鲁棒性.

图1 煤矿综采工作面液压支架协同作业

图2 CG-LSTM-MATD3算法框架

图3 Shapley值信用分配

1)在强化学习框架下, 针对多智能体液压支架拉架调直方法面临的信用分配与时序信息难以捕捉问题, 本文提出了CG-LSTM-MATD3算法, 基于Dec-POMDP建模, 引入Shapley值实现合理的信用分配, 设计Coalition网络生成联盟来近似计算Shapley值以降低计算复杂度. 针对液压支架调直过程中的时序依赖特性, 本文将LSTM引入Actor、Critic和Coalition网络中, 使模型能够捕获状态的时序依赖关系, 增强对环境动态特性的感知能力.

2)实验结果表明, 在智能体数量为5、6、7个的时候, 所提方法的直线度明显优于其他算法. 在智能体数量为7个时, CG-LSTM-MATD3算法的直线度数值为 −1.029, 相比于MATD3算法的直线度性能提升了80.59%.

3)在实际工程中, 液压支架多采用成组拉架方式实现调直, 这表明本文算法可满足综采工作面液压支架的实际运行需求, 具备工程实用价值. 然而, 在包含数十或上百个液压支架的大规模决策场景中, 算法计算开销增加, 从而导致收敛速度降低甚至无法收敛的现象. 因此, 后续工作将重点研究多智能体DIPO, 深入探索算法框架在大规模液压支架拉架调直任务中的协同决策能力, 进而支撑更大规模液压支架群的协同决策任务.