吴健发, 王宏伦, 王延祥, 刘一恒. 无人机反应式扰动流体路径规划. 自动化学报, 2022, 48(x): 1−16

(Wu Jian-Fa, Wang Hong-Lun, Wang Yan-Xiang, Liu Yi-Heng. UAV reactive interfered fluid path planning. Acta Automatica Sinica, 2022, 48(x): 1−16)

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210231?viewType=HTML

随着无人机的作业空域由中高空向低空乃至超低空不断拓展，其所面临的障碍环境也日趋复杂，对飞行路径的快速规划能力提出了更高的要求。近年来，以深度强化学习为代表的新一代人工智能方法蓬勃发展，为解决复杂障碍环境下的无人机在线快速路径规划问题提供了一种新的思路。然而，如何将深度强化学习与经典路径规划方法有机结合以分别发挥二者在优化速度和路径规划质量方面的优势，如何设计与所用路径规划方法相适配的模拟训练环境以实现环境的规范化建模，目前尚处于探索阶段。

本文针对复杂三维障碍环境，提出一种基于深度强化学习的无人机反应式扰动流体路径规划架构，如图1所示。该架构以一种受约束扰动流体动态系统算法作为路径规划的基本方法（算法中不同扰动流体系数组合对规划路径的影响如图2所示），根据无人机与各障碍的相对状态以及障碍物类型，通过经深度确定性策略梯度算法训练得到的动作网络在线生成对应障碍的扰动流体系数，继而可计算相应的总和扰动矩阵并以此修正无人机的飞行路径，实现反应式避障。此外，提出面向反应式扰动流体路径规划的强化学习训练环境规范性建模方法，以提升训练效率。仿真结果表明，在路径质量大致相同的情况下（如图3和表1），所提方法在规划快速性方面明显优于基于滚动时域控制的在线路径规划方法（如图4）。

图1  基于深度强化学习的反应式扰动流体路径规划总体流程图

图2  不同扰动流体系数组合对规划路径的影响

图3  路径规划效果（对比项：基于不同步长滚动时域控制扰动流体路径规划方法）

(a) 单步运行时间对比

(b) 单步平均运行时间对比

图4  规划时间对比（图a中蓝色项、b中最左项为本文方法）