博文

用于最优控制计算的增广演化方程的紧凑形式

已有 143 次阅读 2025-12-30 09:28 |个人分类:文章推荐|系统分类:博客资讯

Compact formulation of the augmented evolution equation for optimal control computation（用于最优控制计算的增广演化方程的紧凑形式）

本文针对最优控制计算提出一种紧凑形式的增广演化方程，旨在提升数值求解性能。该方法通过显式构造状态与协态解，将变量演化维度缩减至仅含控制变量，并基于李雅普诺夫原理保证从任意初值收敛至最优解。相较于传统间接法，该方法避免了状态与协态动力学稳定性冲突导致的数值困难，同时克服了经典迭代法中步长搜索与振荡收敛的难题。理论分析表明，该紧凑形式演化方程实质是牛顿型迭代机制的连续实现。数值实验验证了其通过半离散方法转化后，能显著降低初值问题规模，在密集离散条件下较原始形式具有更优的精度与效率。当前方法虽限于无路径约束问题，但其积分型泛函构造为处理不连续控制及拓展至路径约束情形提供了潜力，未来可结合高精度离散化技术进一步深化研究。

Compact formulation of the augmented evolution equation for optimal control computation用于最优控制计算的增广演化方程的紧凑形式

作者：Sheng Zhang, Jiangtao Huang, Gang Liu, Fei Liao, Fangfang Hu

机构：China Aerodynamics Research and Development Center

引用：Zhang, S., Huang, J., Liu, G. et al. Compact formulation of the augmented evolution equation for optimal control computation. Control Theory Technol. (2025). https://doi.org/10.1007/s11768-025-00276-4

全文链接：https://rdcu.be/eVcBU

摘要

增广演化方程是在变分演化法（VEM）框架下建立的，该方法通过求解转换后的初值问题（IVPs）来寻求最优解。为提高数值计算性能，本文研究了其紧凑形式。通过将状态变量和协态变量的变分演化替换为控制变量的变分演化，降维后的演化偏微分方程（EPDE）仅需沿变分时间求解控制变量即可获得最优解，且定解问题的初始条件可任意设定。该方程使得通过半离散方法得到的初值问题规模显著减小，并能方便地采用常规常微分方程（ODE）积分方法求解。同时，在数值计算中状态变量与协态动态具有一致的稳定性，从而避免了间接法中固有的数值计算困难。通过数值算例验证表明，紧凑形式的演化方程在计算精度上优于原始形式，且在密集离散条件下计算效率更高。事实上，研究发现增广演化方程的紧凑形式是牛顿类迭代机制的连续实现。

引言

最优控制理论研究动力系统的优化问题，能显著提升动态系统性能。该领域得到了学界的广泛关注并催生出大量深入研究成果。然而，由于最优控制问题（OCPs）的复杂性，除线性二次调节（LQR）问题和逆最优控制问题等极少数情形外，很难获得解析最优解。近年来自适应动态规划（ADP）与强化学习（RL）等进展为最优控制提供了创新的数据驱动求解途径，但目前仍难以处理一般性OCPs。除通过求解Hamilton-Jacobi-Bellman方程获得解外，主流数值方法按其基本原理可分为两类：直接法与间接法。直接法通过对控制变量和/或状态变量离散化获得非线性规划（NLP）问题，这类方法易于实施但通常得到次优解；间接法通过最优性条件将OCP转化为边值问题（BVP），虽能获得更精确结果，但常因Hamiltonian动态系统的病态性而面临显著数值困难——即协态动态与状态动态的稳定性相互矛盾，这使得缺乏良好初始猜测时计算难以进行。实际应对策略包括采用演化算法与元启发式方法，或结合同伦方法，但均以增加计算复杂度为代价。特别地，辛间接法能准确反映Hamiltonian动态的定性行为，并以正确的能量变化呈现最优解。

动力学与控制领域的理论常为系统优化提供启示。源自非线性控制理论的微分平坦概念自提出后，便被用于最优控制计算。通过非线性坐标变换减少变量，OCPs得以简化并能快速生成解。在NLP领域（作为OCP的静态对应），基于连续时间常微分方程（ODE）的动态计算方法被提出，它可将NLP问题转化为初值问题（IVPs）求解。通过控制参数化技术，OCP经离散化后可用NLP动态方法求解。有趣的是，以连续动力学方式直接处理OCPs会产生偏微分方程（PDE）形式的变量演化动态方程。这类研究虽稀少，实则可追溯至20世纪40年代针对无约束问题的“梯度法”。研究人员将“梯度法”拓展至具有Mayer性能指标的OCPs。从“变分距离”视角出发，通过降低原始代价泛函提出了寻求变分运动最优解的演化PDE（EPDE）。进一步的，受李雅普诺夫连续时间动力学稳定性理论启发，学界建立了针对更一般Bolza型性能指标最优控制计算的变分演化法（VEM），基于重构无约束泛函建立了形式不同的增广EPDE，并理论证明了最优性条件将逐步得到满足。采用PDE数值计算中经典的半离散方法，所得有限维IVPs可方便地用常规ODE积分方法求解。

近数十年来OCP数值方法最显著的进展或许在于直接法与间接法关联性的探索。积极研究包括直接配点法、Runge-Kutta离散化法及伪谱（PS）法。这些方法融合了两类方法，在对偶统一的视角下模糊了其界限。VEM同样综合了直接法与间接法：OCP的极值解是推导动态系统的稳定平衡点，同时最优性条件将逐步达成。但在相关工作中，增广EPDE中除状态变量与控制变量外还包含协态变量，这增加了计算复杂性。为提升性能，本文将研究增广演化方程的紧凑形式。所得EPDE同样保证其解理论收敛至最优解，且仅涉及控制变量，从而通过缩小转化后IVPs的规模以减轻计算负担。此外，数值计算中状态轨迹与协态轨迹分别沿时间前向与后向确定，二者动态具有一致的稳定性，避免了间接法固有的数值困难。

全文工作基于最优化问题解存在的假设，为简洁起见不再赘述存在性条件。本文首先回顾VEM基本原理的预备知识，随后给出处理典型终端约束OCPs的增广演化方程。研究将表明紧凑形式源于更简洁的无约束泛函，其形式与原始形式差异显著。特别地，将探讨演化方程与经典迭代数值方法的联系。最后通过数值算例验证所发展的方程，并以结论收尾。

结论

为提升最优控制计算的数值性能，本文构建了增广演化方程的紧凑形式。通过利用显式给出的状态解与协态解，该方法仅考虑控制变量沿虚拟变分时间的演化，从而降低了原始形式演化偏微分方程（EPDE）的维度。在任意初始条件下，根据李雅普诺夫原理，解始终能保证最终满足最优性条件。对于基于连续时间动力学的初值问题（IVPs）求解，该方法避免了经典数值迭代方法中寻找合理步长的艰巨任务以及最小值附近令人困扰的振荡现象。在数值计算过程中，状态与协态动力学具有一致的稳定性，从而规避了间接法固有的数值困难。与经典迭代数值方法的比较揭示，紧凑形式演化方程实质是牛顿型迭代机制的连续实现。数值算例表明，采用半离散方法求解紧凑形式方程时，转化后的IVPs规模显著减小，且在密集离散条件下，其精度与效率均优于原始形式。

当前所提方法仅适用于无路径约束的最优控制问题（OCPs），但具备向路径约束问题拓展的潜力。特别值得注意的是，推导的演化方程在右侧泛函中采用积分而非微分形式，这有利于数值求解，并能应用于具有不连续控制的更复杂问题。此外，在运用半离散方法求解EPDE时，可采用勒让德-高斯（LG）、勒让德-高斯-拉道（LGR）及勒让德-高斯-洛巴托（LGL）等具有更强逼近能力的离散化技术，以提升计算精度与效率。未来将进一步开展研究工作以深化相关探索。

作者介绍

Sheng Zhang，中国空气动力研究与发展中心副研究员，研究方向包括飞行器最优控制、非线性控制及智能飞行。

Jiangtao Huang，中国空气动力研究与发展中心研究员，研究方向为飞行器布局优化与智能飞行。

Gang Liu，中国空气动力研究与发展中心研究员，研究方向为飞行器布局优化与模型飞行试验。

Fei Liao，中国空气动力研究与发展中心副研究员，研究方向为非线性控制与轨迹优化。

Fangfang Hu，中国空气动力研究与发展中心研究助理，研究方向为非线性控制与轨迹优化。

期刊简介

640 spr.jpg

欢迎扫码进入期刊主页

Control Theory and Technology (CTT), 中文名《控制理论与技术》, 创刊于2003年，原刊名为Journal of Control Theory and Applications，2014年刊名更改为Control Theory and Technology。由华南理工大学与中国科学院数学与系统科学研究院联合主办，主要报道系统控制科学中具有新观念、新思想的理论研究成果及其在各个领域中的应用。目前被 ESCI (JIF 1.5)、EI、Scopus (CiteScore 3.2)、CSCD、INSPEC、ACM 等众多数据库收录, 并于2013–2018年获得两期中国科技期刊国际影响力提升计划项目资助。2017–2021年连续获得“中国最具国际影响力学术期刊”和“中国国际影响力优秀学术期刊”称号，获得广东省高水平科技期刊建设项目I期(2021-2024年)和II期，2022-2024年进入中国科协自动化学科领域高质量科技期刊目录。

官网：https://link.springer.com/journal/11768 (即http://www.springer.com/11768)

https://jcta.ijournals.cn/cta_en/ch/index.aspx

投稿：https://mc03.manuscriptcentral.com/ctt

微信：ControlTheoryTech （欢迎扫码关注期刊微信公众号）