|
作为21世纪的研究热点之一,强化学习(reinforcement learning, RL)在控制领域常称为自适应/近似动态规划(adaptive/approximate dynamic programming, ADP),与它们相关的很多应用技术正在逐渐改变我们的生活。然而,由于各自领域的发展差异,过去两个方向的研究在某种程度上比较独立。近年来,随着智能算法的不断演化,ADP/RL理论研究和实际应用方面的融合程度逐渐加强,取得了较大进展,在未来科技应用中也显示出很大的潜力。本文较全面地讨论ADP/RL的研究进展,对ADP/RL的理论研究、算法实现和相关应用进行总结。包括针对最优调节、轨迹跟踪、鲁棒控制、博弈控制、多智能体和分布式控制等问题的讨论,涉及在线学习、离线学习、事件触发控制、模型预测控制、数据驱动设计等方法。通过对每个方向进行问题描述和文献总结,分析现有方法的优势及缺点,并展望未来的研究重点。下图展示本文涉及的ADP/RL相关内容。
成果介绍
本文介绍当前ADP/RL的一些热点方向,面向最优调节、轨迹跟踪、博弈控制等问题,按照离散时间系统和连续时间系统进行分类总结。首先,介绍ADP在基本最优控制领域的进展,按照离线和在线学习方式分别介绍最优调节设计的思路,并讨论跟踪控制理论和方法最新进展。其次,介绍事件触发框架下的ADP发展,按照触发条件对现有技术进行分类总结。再次,介绍复杂环境下ADP对先进控制方法的推进,讨论ADP与鲁棒控制、H∞控制、多人博弈和模型预测控制的融合,以及在分散、分布式和多智能体系统中的应用。然后,从数据驱动和RL设计角度重新审视ADP架构,展示它们之间的联系与融合。最后,总结ADP/RL在一些典型控制系统设计,特别是在污水处理过程和电力系统领域的应用,并且对未来的研究方向进行了展望。总之,本文探讨了ADP/RL推动的先进控制技术在人工智能时代的巨大潜力,以及在促进复杂系统智能化方面的关键作用。
研究成果发表于IEEE/CAA Journal of Automatica Sinica 2024年第十一卷第一期:D. Wang, N. Gao, D. Liu, J. Li, and F. Lewis, “Recent progress in reinforcement learning and adaptive dynamic programming for advanced control applications,” IEEE/CAA J. Autom. Sinica, vol. 11, no. 1, pp. 18–36, Jan. 2024. doi: 10.1109/JAS.2023.123843
未来方向
通过本综述可以看到,ADP/RL在众多领域具有广泛的应用,但是仍在某些方面存在一些尚未解决的问题。例如,如何限制近似误差对迭代的影响、如何提升ADP算法对高维系统的处理效率、如何结合脑科学和类脑智能提升ADP算法的智能特性、如何结合并行控制技术实现虚拟现实交互等。总之,ADP/RL将对复杂系统智能化的基础理论研究和关键技术开发产生重要推动。
作者及团队
王鼎,北京工业大学教授,研究领域包括复杂系统自适应评判控制、强化学习和智能系统、先进控制与工业应用等。
高宁,北京工业大学博士研究生,研究领域包括自适应动态规划、强化学习和智能系统等。
刘德荣,南方科技大学讲席教授,IEEE Fellow、INNS Fellow、IAPR Fellow,研究领域包括智能控制理论及应用、自适应动态规划与强化学习、复杂工业系统建模与控制等。
李金娜,辽宁石油化工大学教授,研究领域包括网络化控制、多智能体分布式优化、流程工业运行优化控制、鲁棒控制等。
Frank Lewis,德克萨斯大学阿灵顿分校教授,IEEE Fellow、IFAC Fellow、AAAS Fellow,研究领域包括强化学习、多智能体系统、机器人决策和控制等。
感谢本文作者提供以上简介
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-8-22 03:18
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社