引用本文

毕素环, 蒋一翔, 于树松, 丁香乾, 牟亮亮, 王彬. 基于强化学习的减少烘丝过程中烟丝 “干头” 量的方法. 自动化学报, 2023, 49(8): 1679−1687 doi: 10.16383/j.aas.c190367

Bi Su-Huan, Jiang Yi-Xiang, Yu Shu-Song, Ding Xiang-Qian, Mu Liang-Liang, Wang Bin. A method for reducing over-dried tobacco at head stage of drying process based on reinforcement learning. Acta Automatica Sinica, 2023, 49(8): 1679−1687 doi: 10.16383/j.aas.c190367

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190367

关键词

烟丝含水率，过干烟丝，强化学习，超调 

摘要

针对烘丝开始阶段存在的烘丝温度超调、过干烟丝较多等问题, 提出一种基于强化学习 (Reinforcement learning, RL)的减少烟丝“干头” 量的方法. 该方法利用生产实时数据作为输入特征向量感知烘丝生产过程的状态变化, 以烟丝含水率检测值为依据来评价、优化烘丝温度控制策略, 实现对烘丝机温度设定值的在线修正, 优化烘丝开始阶段的温度控制, 有效改善烟丝过干问题. 与烘丝机的自动控制模式和人工干预模式相比, 烟丝含水率的标准偏差比自动控制时降低了44.7%, 比人工干预时降低了14.3%. 实验结果表明烟丝含水率的稳定性有较大提高, 烟丝“干头” 量明显减少, 验证了所提方法的有效性和可行性.

文章导读

烟丝含水率是制丝生产中对烟丝质量评价的关键指标, 烘丝机通过控制温度对烘丝筒内的烟丝进行加热干燥, 使得烟丝含水率符合卷烟工艺的要求, 进而提高烟丝的填充能力和耐加工性, 改善烟丝质量[1]. 目前烘丝机的温度控制主要采用PID控制配合部分前馈控制, 在烘丝过程的开始阶段烘丝温度由于控制超调升高过快[2], 此时烘丝机内的烟丝量较少, 从而容易导致该阶段的烟丝水分散失过多使得烟丝过干, 即常见的“干头” 现象. 在实际生产中, 烘丝开始阶段人工对温度干预比较频繁, 中间阶段比较少, 尾部阶段一般采取关闭蒸汽阀门的方式减少烟丝水分散失, 因此开始阶段的烘丝温度控制是整个烘丝生产过程的关键环节. 由于人工操作经验的差异性和控制上的延时性, 使得对开始阶段烘丝温度的控制不稳定, 造成烟丝含水率批次间波动比较大. 以生产数据中随机选取的某个时间段内223个生产批次数据为例, 图1中实线是烟丝含水率标准偏差曲线, 虚线是《卷烟工艺规范》[3]中对标准偏差规定的要求值0.17, 从图中可看出, 虽然严重不合格的生产批次很少, 但是批次间波动比较大, 难以满足实际生产的精度需求.

图 1  人工干预时烟丝含水率标准偏差

烘丝过程控制主要是根据烟丝含水率检测值调整过程参数, 使得烘丝温度更好地匹配烟丝流量的变化, 使得烟丝含水率更接近目标值. 为提高控制精度、减少过干烟丝量, Pakowski等[4]提出了一种分布式参数模型描述烟丝温度、速度、含水率以及蒸汽温度等变量的关系, 通过迭代得到烟丝干燥过程的最佳工艺参数组合. Zhou等[5]基于多采样率的RBF-ARX模型对烘丝过程进行分阶段参数优化以减少烘丝过程中的过干烟丝量. 参数优化模型一旦建立, 最优参数设置就是固定值组合, 未能充分考虑生产系统的动态变化. 在炼焦生产过程中, 赖旭芝等[6]为实现操作参数的动态调整, 提出了一种基于多目标遗传算法的优化控制策略, 求解多目标优化问题.

在研究过程优化控制策略中, 除采取参数优化设置外, 还有针对生产设备PID控制器的改善研究. 廖龙[7]通过设计烘丝机模糊控制器来修正PID的三个参数实现温度控制的优化. 郑坤明等[8]根据Delta机器人系统的结构特点, 采用模糊PID控制与传统PID控制器并联的形式对主动臂输入力矩进行控制, 提高控制的实时性和准确性. 王述彦等[9]通过设计模糊PID控制器改善工程机械多功能试验台二次调节加载系统的动态响应, 优化控制效果. 文中所研究的烘丝机温度控制系统包括多个PID控制器, 然而同时优化多个PID控制器的参数实际操作难度比较大[10]. 在烘丝生产的开始阶段烟丝逐渐进入烘丝筒, 此时无法检测到烟丝实际含水率, 不能进行反馈控制, 烘丝机的温度控制主要依靠前馈控制和人工干预. 待烟丝流出烘丝筒才能进行含水率检测从而进行PID控制, 由于控制超调往往使得烘丝温度过高, 因此针对PID控制器参数调优的方法[11-12]在烘丝生产最初阶段较难充分发挥作用.

随着工业生产中数据的大量积累, 机器学习算法逐渐应用于工业过程参数优化的预测控制[13-16]. Dai等[17]将支持向量机(Support vector machine, SVM)算法和遗传算法用于设计基于PID控制的谷物干燥控制器, 以改善干燥加工后的谷物质量. Li等[18]利用递归模糊神经网络进行复杂微波干燥过程中温度和水分的预测. 为预测烟叶烘烤过程中重要参数的变化, Wu等[19]采用了基于自适应模糊神经网络的方法. Balbay等[20]将极限学习机和人工神经网络用于黑孜然种子干燥过程中含水率的预测, 分析温度和干燥速率的关系.

研究者还尝试将强化学习算法用在工业控制中设计自适应PID控制器, 对PID控制器的参数进行在线调优[21-23]. 强化学习[24]是机器学习的一个分支, 是从环境状态到动作映射的学习, 使得采取的动作从环境中获得的累积奖励最大. Günther等[25]利用深度神经网络和强化学习对激光焊接过程进行表征、预测, 对焊接功率进行实时控制, 提升激光焊接质量. Jiang等[26]研究了具有未知运行模型的浮选工业过程中双时间尺度运行最优控制问题, 提出了一种基于起重技术和强化学习(Reinforcement learning, RL)的双速率数据驱动算法, 使设备层的设定值保持在规定的范围内, 同时使精矿和尾矿的运行指标保持在目标范围内. Feng等[27]使用部分可观测马尔科夫决策过程的无模型逼近梯度来解决动力辅助轮椅的能量优化控制问题, 通过对具有25个控制参数的回报进行加权探索, 采用有限视界模糊Q-迭代进行近最优性分析. Zhang等[28]针对部分未知模糊系统, 提出了一种基于模糊积分强化学习的跟踪控制算法, 将实际工作反馈控制策略的求解转化为虚拟最优控制问题, 克服了系统原始信息难以精确掌握的难题, 在机械系统中实现了目标跟踪、保证了系统的稳定性. 为解决烘丝开始阶段的烟丝“干头”问题, 本文结合实际生产需求, 利用强化学习策略对烘丝过程进行建模分析, 提出了一种基于数据驱动的烘丝温度优化控制方法.

本文主要贡献总结如下:

1)提出了一种基于强化学习策略的减少烟丝“干头” 量的优化控制方法, 将生产状况的模糊经验判别转化为基于数据驱动的量化分析, 有效提升烟丝含水率的稳定性.

2)提出了一种利用Actor-Critic算法优化烘丝温度控制的方法, 该算法通过Actor网络和Critic网络动态求解最优的烘丝机温度设定值.

3)通过在实际生产线上进行与烘丝机自动控制和人工干预控制的对比实验, 验证了所提优化控制方法的有效性. 实验结果表明, 本文所提方法在提高控制稳定性、降低烟丝含水率标准差方面均优于对比方法.

本文结构安排如下: 第 1 节描述烟丝含水率的控制流程; 第 2 节介绍优化控制模型的结构; 第 3节详细描述烟丝含水率优化控制的建模过程, 并通过对比实验验证所提方法的有效性; 第 4 节对本文研究内容进行总结.

图 2  制叶丝工段

图 3  烘丝过程及温度控制

在烘丝开始阶段由于烘丝温度的超调和人工干预的延时容易导致出现较多过干烟丝, 影响烘丝过程烟丝的整体质量. 本文提出了一种基于Actor-Critic算法的烘丝温度优化控制方法, 该方法利用连续采集的实时生产数据构建烘丝生产系统的状态特征向量, 优化控制模型通过特征向量感知实际生产环境, 依据烟丝含水率检测值进行烘丝温度的修正, 借助PLC对烘丝温度进行在线优化控制. 实验结果表明, 采用该优化方法烘丝温度几乎无超调, 控制响应快, 产生过干烟丝的持续时间短, 烟丝含水率的标准偏差比人工干预时降低了14.3%, 烟丝 “干头”量大大减少, 能够有效提升烘丝过程烟丝的整体质量.

下一步工作将深入研究提升烘丝全过程烟丝含水率稳定性的方法, 研究多种机器学习算法用于烘丝机温度的优化控制, 进行多参数控制和分布式、多步更新学习模式的探索. 对烘丝生产系统进行建模与仿真, 通过仿真分析与现场实验相结合验证所提算法, 提升实际烘丝生产中烟丝质量的优化空间.

作者简介

毕素环

中国海洋大学信息科学与工程学院博士. 青岛理工大学信息与控制工程学院讲师. 主要研究方向为机器学习与智能控制. E-mail: bisuhuan2016@163.com

蒋一翔

浙江中烟工业有限责任公司工程师. 主要研究方向为信息系统应用, 信息安全管理. E-mail: jiangyxlunwen@sina.com

于树松

中国海洋大学信息科学与工程学院副教授. 主要研究方向为人工智能, 智能控制. 本文通信作者. E-mail: yushusong@ouc.edu.cn

丁香乾

中国海洋大学信息科学与工程学院教授. 主要研究方向为人工智能, 智能控制. E-mail: dingxq1995@vip.sina.com

牟亮亮

中国海洋大学信息科学与工程学院博士研究生. 主要研究方向为深度学习与数据挖掘. E-mail: merlin_mu@163.com

王彬

中国海洋大学继续教育学院讲师. 主要研究方向为机器学习与数据挖掘. E-mail: wangbin@ouc.edu.cn