在作为人工智能核心技术的机器学习领域, 强化学习是一类强调机器在与环境的交互过程中进行学习的方法, 其重要分支之一的自适应评判技术与动态规划及最优化设计密切相关. 为了有效地求解复杂动态系统的优化控制问题, 结合自适应评判, 动态规划和人工神经网络产生的自适应动态规划方法已经得到广泛关注, 特别在考虑不确定因素和外部扰动时的鲁棒自适应评判控制方面取得了很大进展, 并被认为是构建智能学习系统和实现真正类脑智能的必要途径. 本文对基于智能学习的鲁棒自适应评判控制理论与主要方法进行梳理, 包括自学习鲁棒镇定, 自适应轨迹跟踪, 事件驱动鲁棒控制, 以及自适应H-infinity控制设计等, 并涵盖关于自适应评判系统稳定性, 收敛性, 最优性以及鲁棒性的分析. 同时, 结合人工智能, 大数据, 深度学习和知识自动化等新技术, 也对鲁棒自适应评判控制的发展前景进行探讨.

利用自适应动态规划方法进行智能优化决策的基础是最优控制设计. 关于线性系统的最优调节器设计, 在控制理论和控制工程界已经有很多成熟的方法. 然而, 对于一般的非线性系统, 获得Hamilton-Jacobi-Bellman方程的解析解并不是一件容易的事情. 此类系统的最优控制设计相当困难, 但是却相当重要, 因此引起了人们的广泛重视. 简单来说, 自适应动态规划是一种基于智能学习思想的新兴方法, 可以为复杂动态系统提供有效的优化控制解决方案. 在过去的二十年中, 自适应动态规划在求解离散时间和连续时间系统的自适应最优控制问题中得到了广泛的应用. 

但是, 由于实际中的控制系统总是受着模型不确定性, 外界扰动或其他变化的影响. 我们在控制器设计过程中必须考虑这些因素, 以避免闭环系统性能的恶化, 提高被控系统的鲁棒性能. 关于不确定系统的鲁棒控制问题, 控制学者们已经取得了很多研究成果, 近几年来, 利用自适应评判思想进行鲁棒控制设计逐渐成为自适应动态规划领域的研究热点之一, 有很多方法陆续被提出, 这里将它们统称为鲁棒自适应评判控制. 本文主要给出鲁棒自适应评判控制的最新研究进展.

越来越多的证据表明, 最优性在理解大脑智能的研究中具有重要作用. 考虑以在线方式实现对具有不确定性和未知动态的复杂系统进行最优决策和智能控制这一宗旨, 自适应动态规划可以为智能系统和类脑智能研究做出相当大的贡献. 正如其创始人Werbos博士指出的, 自适应动态规划很可能是实现真正意义类脑智能的关键方法. 因此, 为降低计算量和通信负担的近似动态规划解决方案, 包括保证稳定性, 收敛性, 最优性和鲁棒性的研究仍然需要大批学者的努力, 其中, 基于智能学习的鲁棒自适应评判控制设计也一定能够取得更大的进展.

引用格式：王鼎. 基于学习的鲁棒自适应评判控制研究进展. 自动化学报, 2019, 45(6): 1031-1043. 

链接：http://html.rhhz.net/ZDHXBZWB/html/2019-6-1031.htm

作者简介：

王鼎 北京工业大学信息学部教授. 2009年获得东北大学理学硕士学位, 2012年获得中国科学院自动化研究所工学博士学位. 主要研究方向为自适应与学习系统, 计算智能, 智能控制. E-mail:dingwang@bjut.edu.cn