引用本文

周平, 张丽, 李温鹏, 戴鹏, 柴天佑. 集成自编码与PCA的高炉多元铁水质量随机权神经网络建模. 自动化学报, 2018, 44(10): 1799-1811. doi: 10.16383/j.aas.2018.c170299

ZHOU Ping, ZHANG Li, LI Wen-Peng, DAI Peng, CHAI Tian-You. Autoencoder and PCA Based RVFLNs Modeling for Multivariate Molten Iron Quality in Blast Furnace Ironmaking. ACTA AUTOMATICA SINICA, 2018, 44(10): 1799-1811. doi: 10.16383/j.aas.2018.c170299

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170299

关键词

随机权神经网络，AE-P-RVFLNs，自编码，主成分分析，NARX建模，高炉炼铁，过拟合 

摘要

针对随机权神经网络（Random vector functional-link networks，RVFLNs）建模存在的过拟合和泛化能力差的问题，集成自编码（Autoencoder）和主成分分析（Principal component analysis，PCA）技术，提出一种新型的改进RVFLNs算法，即AE-P-RVFLNs算法，用于建立高炉多元铁水质量在线估计的NARX（Nonlinear autoregressive exogenous）模型.首先，为了尽可能挖掘实际复杂工业数据中的有用信息和充分揭示输入数据之间的内在关系，采用Autoencoder前馈随机网络技术训练建模输入数据，并将训练得到的输出权值作为后续RVFLNs的输入权值；然后，引入PCA技术对RVFLNs的高维隐层输出矩阵进行降维，避免隐层输出矩阵多重共线性问题，从而解决由于隐层节点过多导致模型过拟合的问题；最后，基于所提AE-P-RVFLNs算法建立某大型高炉多元铁水质量在线估计的NARX模型.工业实验和比较分析表明：采用本文算法建立的多元铁水质量在线估计模型可有效提高运算效率和估计精度，尤其是避免常规RVFLNs建模存在的过拟合问题.

文章导读

高炉炼铁是钢铁工业的重要生产环节.高炉炼铁时, 铁矿石、焦炭及溶剂按一定比例配成炉料, 从炉顶进料口加入到炉内.铁矿石在高温、高压下, 经过一系列复杂物理化学反应最终被还原成铁, 以铁水的形式从高炉出铁口流出.铁水的质量(铁水温度、硅含量等)对后续转炉炼钢影响很大, 因此有必要实时准确地监测高炉状态, 来保障高炉的平稳运行以生产出质量合格的铁水.然而高炉炼铁是一个包含气、固、液三相混合和耦合交错, 物理化学反应极其复杂的过程, 其炉内环境极其恶劣, 这些导致了操作人员难以对其内部运行状态的变化进行实时监测.因此有必要建立准确可靠的铁水质量模型来反映高炉当前和预期的内部温度和指标参数变化, 为现场操作人员提供炉况和铁水质量信息[1-4].

目前常见的铁水质量模型有机理模型、知识推理模型和数据驱动模型[1-11].机理模型主要依赖于高炉炼铁过程的内部机理, 从化学反应动力学和流体动力学的角度构建高炉内部的反应场, 对反应场内的温度分布、物料运动状态等进行仿真, 从而建立数学模型对高炉整个生产过程进行预测和控制[5-7].机理模型只能应用于相对平稳的炉况环境, 且基于机理模型的高炉往往需要在实际应用中配备先进的测量仪器.但高炉为一大型密闭炉体, 冶炼过程极其复杂, 工况变化较大, 现有检测设备水平有限, 炉内过程难以直接测量.且机理模型描述的是铁水质量的静态特性, 而高炉炼铁是一个极为复杂、大时滞、高度耦合的非线性动态时变系统, 因此机理模型难以准确应用到实际高炉生产中.知识推理模型在应用过程中, 完全依赖于系统集成的有限专家知识, 无法应对复杂多样的实际冶炼过程[8-10].我国中小高炉很多, 冶炼条件复杂多样, 因此推理模型在我国大部分高炉上难以取得有效应用.数据驱动的铁水质量参数建模方法, 不需要了解高炉内部发生的复杂变化, 仅通过数学工具和智能算法对过去时间的数据进行处理, 就可以建立铁水质量的预测模型, 因此数据驱动铁水质量建模成为近年高炉炼铁过程建模研究的热点[1-4, 11-20].

神经网络(Neural network, NN)是一种较为常见的数据驱动建模方法, 它是对人脑神经系统进行抽象、简化和模仿所得到的复杂信息处理系统, 具有能够以任意精度逼近连续函数的特性, 特别适用于处理多因素、不精确的复杂信息[14].而高炉炼铁系统内部反应极其复杂, 内部状态未知, 仅可获得过程的输入输出数据.因此NN作为一种"黑箱建模"方法很适合应用于高炉系统的建模研究, 即模型在构建时将仅依赖于系统的输入和输出数据, 并直接探寻输入输出之间的关系, 而不再关注高炉内部复杂的物理化学反应过程.常见的NN算法主要包括BP (Back propagation)神经网络和RBF (Radial basis function)神经网络[14-15], 但是这些算法普遍存在着"过拟合"、易陷入局部极小的问题.另外, 基于批学习的网络权值和偏差迭代调整造成网络训练时间长、网络学习前许多参数需要提前设定的问题[17].为此很多文献提出改进的神经网络建模方法, 如文献[14]采用遗传算法优化NN参数, 提高了模型精度并能避免算法陷入局部极小值, 但是算法收敛速度较慢且仍存在过拟合问题.

近年, 具有学习速度极快且泛化能力好的随机权神经网络(Random vector functional-link networks, RVFLNs)及其改进算法有效克服了传统神经网络的上述缺点, 被广泛用于高炉炼铁过程的建模与控制[3, 16-18].文献[16]采用经典RVFLNs算法对铁水质量进行建模, 大大加快了计算速度, 但是存在最优隐层节点数的选择问题, 且易出现过拟合问题; 文献[17]进一步采用在线序贯学习型RVFLNs实现多元铁水质量的在线软测量建模, 但是当隐层节点选择不当时, 会出现过拟合现象; 文献[18]提出的增量型RVFLNs一定程度解决隐层节点的选择问题和过拟合问题, 但是该方法中隐层节点数较多, 网络结构过于复杂, 计算效率低.毫无疑问, RVFLNs比BP等常规神经网络具有更高的计算效率, 且RVFLNs及其改进算法都具有较高的模型精度, 但这些算法仍然存在如下两方面问题:

问题 1. 传统RVFLNs的输入权值和隐层偏置在限定范围内随机选取, 完全独立于建模数据, 参数选取具有一定的盲目性, 不能有效反映和利用建模数据的特性和内在关系;

问题 2. 现有RVFLNs算法仍然存在过拟合问题.过拟合是指模型学习时结构过于复杂, 以至于模型对已知训练数据具有很好的学习效果, 而对未知数据表现较差.过拟合会导致模型泛化能力差、鲁棒性不足, 使模型在应用阶段不能很好地推广.

针对上述两方面问题, 集成自编码(Autoencoder)和主成分分析(Principle component analysis, PCA)技术[21-25], 提出一种新型的改进随机权神经网络算法, 即AE-P-RVFLNs算法, 并在此基础上建立高炉炼铁过程的NARX (Nonlinear autoregressive exogenous)模型, 用于对难测多元铁水质量进行在线、可靠估计.首先, 为了更好地揭示高炉炼铁过程的非线性动态特性以及更全面地反映铁水质量信息, 预测模型采用NARX多输出动态结构; 其次, 为了在RVFLNs建模时尽可能反映和利用建模数据的特性和内在关系, 引入Autoencoder前馈随机网络设计技术对输入数据进行训练, 得到充分包含输入数据特性信息的AE-P-RVFLNs输入权值; 然后, 利用PCA技术在保证不丢失原有大部分信息的前提下对AE-P-RVFLNs隐层输出矩阵进行降维, 去除网络中无用的隐层节点, 简化网络结构, 提高模型泛化性能和计算效率; 最后, 基于我国华南某大型高炉实际数据建立基于AE-P-RVFLNs的多元铁水质量NARX模型, 并和其他几类RVFLNs算法进行对比.结果表明, 相对于其他铁水质量RVFLNs软测量模型, 本文方法不仅具有更高的模型精度和更快的计算速度, 还解决了RVFLNs存在的过拟合和泛化性能差的问题.

图 1  AE-P-RVFLNs结构

图 2  Autoencoder前馈随机网络结构

图 3  P-RVFLNs结构

为了解决传统RVFLNs建模存在的过拟合和泛化能力差的问题, 并在网络输入权值确定时充分利用建模输入数据信息, 本文集成Autoencoder和PCA技术, 提出一种新型的AE-P-RVFLNs算法, 用于建立高炉炼铁过程多元铁水质量在线估计的动态NARX模型.相对于常规RVFLNs, 所提AE-P-RVFLNs算法实现时增加了两个关键设计步骤, 即采用Autoencoder前馈随机网络对输入数据的训练阶段和采用PCA对隐层输出矩阵的降维阶段.所提算法的网络参数由于充分利用了输入数据信息、并显著优化网络结构, 因而能够在保证模型精度的同时, 有效提高网络运行效率.更为重要的是, 所提AE-P-RVFLNs算法有效避免了RVFLNs存在的过拟合问题和多重共线性问题, 因而基于所提方法建立的模型泛化性能好、鲁棒性强, 能够在实际炼铁生产中进行工程应用.

作者简介

张丽

东北大学硕士研究生.于2014年获得东北大学学士学位.主要研究方向为数据驱动建模与控制, 机器学习算法.E-mail:zhangli_neu@163.com

李温鹏

东北大学硕士研究生.于2016年获得烟台大学学士学位.主要研究方向为数据驱动建模与控制, 机器学习算法.E-mail:weepenli@163.com

戴鹏  

东北大学硕士研究生.于2015年获得三峡大学学士学位.主要研究方向为数据驱动建模与控制, 机器学习算法.E-mail:daipeng19911023@163.com

柴天佑  

中国工程院院士, 东北大学教授, IEEE Fellow, IFAC Fellow.1985年获得东北大学博士学位.主要研究方向为自适应控制, 多变量智能解耦控制, 流程工业综合自动化理论, 方法与技术.E-mail:tychai@mail.neu.edu.cn

周平  

东北大学教授.分别于2003年, 2006年, 2013年获得东北大学学士学位、硕士学位和博士学位.主要研究方向为工业过程运行反馈控制, 数据驱动建模与控制.本文通信作者.E-mail:zhouping@mail.neu.edu.cn