引用本文

赵建国, 杨春雨. 复杂工业过程非串级双速率组合分散运行优化控制. 自动化学报, 2023, 49(1): 172−184 doi: 10.16383/j.aas.c210897

Zhao Jian-Guo, Yang Chun-Yu. Non-cascade dual-rate composite decentralized operational optimal control for complex industrial processes. Acta Automatica Sinica, 2023, 49(1): 172−184 doi: 10.16383/j.aas.c210897

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210897

关键词

复杂工业过程，运行优化控制，奇异摄动理论，Q-学习，双速率 

摘要

复杂工业过程具有模型维数高、多时间尺度耦合、动态不确定性等特点, 其运行优化控制(Operational optimal control, OOC)一直是控制领域的研究难点与热点. 本文聚焦一类由多个快变且互联的设备单元与慢变且模型未知的运行过程串联组成的工业过程, 提出一种数据和模型混合驱动的非串级双速率组合分散运行优化控制方法. 该方法通过奇异摄动理论, 将非串级双速率运行优化问题描述为异步采样的慢子系统最优设定值跟踪和快子系统最优调节控制. 利用工业运行数据, 采用不依赖系统动态的Q-学习算法设计慢子系统最优跟踪策略, 克服运行过程模型难以建立的情形; 针对快子系统, 设计基于模型的分散次优控制策略, 并给出收敛因子的下界, 解决设备层互联项对系统稳定性的影响. 通过浮选过程仿真实验验证了所提控制方法的有效性.

文章导读

冶金、化工、电力等现代工业一般由多个环节串联、并联或耦合而成, 往往呈现模型维数高、多时间尺度耦合、动态不确定性等综合复杂性. 传统设计只考虑设备层过程控制的控制方法, 无法实现运行过程的优化, 容易导致产品质量低下和能源浪费[1-2]. 因此, 综合考虑设备单元过程控制和运行过程优化控制的复杂工业控制问题引起了学术界和工业界的广泛关注[3-5]. 运行优化控制(Operational optimal control, OOC)的内涵是在保证过程控制安全运行的条件下, 优化运行指标, 从而提高产品质效并降低生产消耗[6].

工业过程运行优化控制目前普遍采用如图1所示的串级控制结构, 外环利用设定值优化器, 根据期望运行指标r∗, 确定设备层过程控制回路设定值y∗1(t),⋯,y∗m(t), 内环控制器用于实现设定值跟踪, 进而使实际运行指标r(t)控制在目标值 r∗附近[7]. 得益于上层优化与底层控制的独立处理, 以及能逐步设计内外环控制器的优势, 工程师和学者们已提出很多串级控制结构下的研究成果, 如实时优化、模型预测控制、自优化等基于数学模型的方法, 以及迭代学习、模糊逻辑、神经网络等基于数据驱动的智能控制方法.

图 1  工业过程串级运行优化控制结构

在串级控制框架下, 文献[8]面向设备层输出是运行层输入且运行过程含有未建模动态的串联工业过程, 提出了基于多模态切换和神经网络补偿的鲁棒自适应运行控制方法. 文献[9]进一步将该方法拓展到双速率控制中. 文献[10]利用参考调节器, 处理了具有不可行设定值且输入受限的运行优化问题. 受生物学习机制启发, 增强学习(Reinforcement learning, RL)能在未知环境下不断反馈更新寻找系统最优控制策略[11-12]. 因其具有突出的自学习能力, 促使很多学者探索基于RL的复杂工业过程控制方法. 为处理运行过程模型难以获取情况下的运行优化控制问题, 文献[4]结合模型预测控制和Q-学习算法[13], 提出了多速率运行优化控制方法. 文献[14]借助史密斯预估器, 提出了双Q-学习算法, 解决在无线网络环境中外环回路传输存在丢包情况下的混合选别浓密过程控制问题. 文献[15-17]研究了非线性工业过程的RL运行控制方案. 串级控制结构是一种典型的分层模式, 首先设计内环反馈回路, 然后基于设备层过程控制回路与运行层运行过程构建的增广系统设计外环反馈回路. 然而内环过程控制回路的跟踪误差或者外环设定值优化误差对整个运行优化和控制有显著的负面影响[8]. 此外, 随着现代工业朝着复杂化与大型化方向发展, 基于内环稳定的全阶增广模型的外环设定值优化设计具有较大计算量, 容易发生“维数灾” 和“病态数值问题” [18].

为实现同时调节设备单元与运行过程, 提高运行指标跟踪性能, 进而提质增效, 已有学者研究了工业过程的非串级控制模式[5, 18]. 如图2所示, 在非串级运行优化控制中, 过程控制设备与运行过程组成的工业过程被建模成一个整体大规模系统, 并通过直接优化控制输入u1(t),⋯,um(t)驱动实际运行指标r(t)跟踪目标值r∗[18].

图 2  工业过程非串级运行优化控制结构

工业过程不同层级之间具有不同时间尺度, 面向过程控制的设备层具有快时间尺度动态, 面向运行过程的运行层具有慢时间尺度动态[3-4]. 奇异摄动系统是建模多时间尺度系统的有效工具, 其中奇异摄动参数表示慢快动态分离的程度[19-20]. 通过奇异摄动理论, 全阶模型控制问题可简化为降阶慢快子系统控制问题, 从而有效避免了控制器设计时存在的“维数灾” 和“病态数值问题”, 而且对于充分小的奇异摄动参数, 独立子系统的稳定性蕴涵了整体系统稳定性[21-22]. 文献[5]利用奇异摄动理论将复杂工业过程运行优化问题刻画成慢快子系统的最优控制问题, 并提出了双Q-学习的数据驱动控制算法, 不仅实现了运行指标的跟踪, 还解决了设备层高频振动抑制问题. 文献[18]针对具有多个设备单元的工业过程, 提出了数据和模型混合驱动的非串级组合分散控制方法, 有效降低了控制器的通讯量与计算量. 非串级运行优化控制的研究目前处于起步阶段, 还有许多亟待解决的科学难题. 一方面, 工业过程广泛存在慢快时间尺度耦合现象, 应用在串级双速率控制中的提升技术很难借鉴到非串级控制框架中; 另一方面, 不同设备单元间的互联对整体系统稳定性分析和优化控制提出新的挑战.

本文充分考虑复杂工业过程特点, 整合奇异摄动理论[19]与RL技术[11], 针对一类由多个快变且互联的设备单元与慢变且模型未知的运行过程串联组成的工业过程, 提出一种数据和模型混合驱动的非串级双速率组合分散运行优化控制方法. 主要贡献概括如下:

1)区别于已有非串级控制工作, 相比文献[5], 本文对解耦后的慢快子系统进行异步采样, 设计双速率组合控制器, 解决了因各层级间采样周期不同而难以统一控制的问题, 同时还处理了设备层存在互联时的分散控制问题, 给出了具有稳定性保证的快子系统分散次优控制设计方法; 相比文献[18], 本文不仅设计了双速率控制器, 还进一步考虑了多设备互联时的分散控制问题.

2)现有基于RL的工作[3-5, 14, 16-18, 23-24]使用折扣代价的最优设定值跟踪控制表达, 然而在运行过程模型未知时难以确定折扣因子的下界[25], 致使闭环系统稳定性无法保证. 本文通过定义增量式的最优设定值跟踪控制表达[26], 移除了代价函数中的折扣因子, 避免了折扣因子带来的弊端.

本文的组织结构如下: 第1节描述基于奇异摄动的工业过程非串级双速率组合分散运行优化控制问题; 第2节设计慢快子系统优化控制问题的解, 同时给出慢子系统问题的解存在条件以及保证快子系统稳定的充分条件; 第3节设计运行优化控制策略, 提出数据和模型混合驱动的组合控制方法, 并进行性能分析; 第4节利用浮选过程进行仿真实验, 验证所提方法对运行指标的跟踪能力; 第5节对本文工作进行全面总结.

图 3  多设备单元互联的工业过程

本文针对多设备单元互联、多时间尺度耦合以及运行层模型未知的一类工业过程, 研究了非串级双速率组合分散运行优化控制问题. 将奇异摄动理论与RL技术相结合, 提出了一种工业过程双速率组合分散控制方法. 利用奇异摄动理论将工业过程解耦为异步采样的慢快子系统, 采用数据驱动的Q-学习算法求解慢子系统问题, 实现了运行指标的跟踪控制, 同时求解基于模型的快子系统优化问题, 实现了多设备单元之间的分散控制. 相较串级控制结构, 本文方法能同时调节设备单元与运行过程, 设计过程不受设备层与运行层间时间尺度分离程度的影响, 避免了“维数灾” 和“病态数值问题”. 对浮选过程进行的仿真实验验证了所提方法的有效性.

作者简介

赵建国

中国矿业大学信息与控制工程学院博士研究生. 2020 年获得中国矿业大学信息与控制工程学院硕士学位. 主要研究方向为多时间尺度系统, 强化学习最优控制. E-mail: jianguozhao@cumt.edu.cn

杨春雨

中国矿业大学信息与控制工程学院教授. 2009 年获得东北大学信息科学与工程学院博士学位. 主要研究方向为多时间尺度系统的智能控制与优化. 本文通信作者. E-mail: chunyuyang@cumt.edu.cn