作为21世纪的研究热点之一，强化学习(reinforcement learning, RL)在控制领域常称为自适应/近似动态规划(adaptive/approximate dynamic programming, ADP)，与它们相关的很多应用技术正在逐渐改变我们的生活。然而，由于各自领域的发展差异，过去两个方向的研究在某种程度上比较独立。近年来，随着智能算法的不断演化，ADP/RL理论研究和实际应用方面的融合程度逐渐加强，取得了较大进展，在未来科技应用中也显示出很大的潜力。本文较全面地讨论ADP/RL的研究进展，对ADP/RL的理论研究、算法实现和相关应用进行总结。包括针对最优调节、轨迹跟踪、鲁棒控制、博弈控制、多智能体和分布式控制等问题的讨论，涉及在线学习、离线学习、事件触发控制、模型预测控制、数据驱动设计等方法。通过对每个方向进行问题描述和文献总结，分析现有方法的优势及缺点，并展望未来的研究重点。下图展示本文涉及的ADP/RL相关内容。

成果介绍

    本文介绍当前ADP/RL的一些热点方向，面向最优调节、轨迹跟踪、博弈控制等问题，按照离散时间系统和连续时间系统进行分类总结。首先，介绍ADP在基本最优控制领域的进展，按照离线和在线学习方式分别介绍最优调节设计的思路，并讨论跟踪控制理论和方法最新进展。其次，介绍事件触发框架下的ADP发展，按照触发条件对现有技术进行分类总结。再次，介绍复杂环境下ADP对先进控制方法的推进，讨论ADP与鲁棒控制、H_∞控制、多人博弈和模型预测控制的融合，以及在分散、分布式和多智能体系统中的应用。然后，从数据驱动和RL设计角度重新审视ADP架构，展示它们之间的联系与融合。最后，总结ADP/RL在一些典型控制系统设计，特别是在污水处理过程和电力系统领域的应用，并且对未来的研究方向进行了展望。总之，本文探讨了ADP/RL推动的先进控制技术在人工智能时代的巨大潜力，以及在促进复杂系统智能化方面的关键作用。

    研究成果发表于IEEE/CAA Journal of Automatica Sinica 2024年第十一卷第一期：D. Wang, N. Gao, D. Liu, J. Li, and F. Lewis, “Recent progress in reinforcement learning and adaptive dynamic programming for advanced control applications,” IEEE/CAA J. Autom. Sinica, vol. 11, no. 1, pp. 18–36, Jan. 2024. doi: 10.1109/JAS.2023.123843 

未来方向

    通过本综述可以看到，ADP/RL在众多领域具有广泛的应用，但是仍在某些方面存在一些尚未解决的问题。例如，如何限制近似误差对迭代的影响、如何提升ADP算法对高维系统的处理效率、如何结合脑科学和类脑智能提升ADP算法的智能特性、如何结合并行控制技术实现虚拟现实交互等。总之，ADP/RL将对复杂系统智能化的基础理论研究和关键技术开发产生重要推动。

作者及团队

王鼎，北京工业大学教授，研究领域包括复杂系统自适应评判控制、强化学习和智能系统、先进控制与工业应用等。

高宁，北京工业大学博士研究生，研究领域包括自适应动态规划、强化学习和智能系统等。

刘德荣，南方科技大学讲席教授，IEEE Fellow、INNS Fellow、IAPR Fellow，研究领域包括智能控制理论及应用、自适应动态规划与强化学习、复杂工业系统建模与控制等。

李金娜，辽宁石油化工大学教授，研究领域包括网络化控制、多智能体分布式优化、流程工业运行优化控制、鲁棒控制等。

Frank Lewis，德克萨斯大学阿灵顿分校教授，IEEE Fellow、IFAC Fellow、AAAS Fellow，研究领域包括强化学习、多智能体系统、机器人决策和控制等。

感谢本文作者提供以上简介