引用本文

张博玮, 郑建飞, 胡昌华, 裴洪, 董青. 基于流模型的缺失数据生成方法在剩余寿命预测中的应用. 自动化学报, 2023, 49(1): 185−196 doi: 10.16383/j.aas.c220219

Zhang Bo-Wei, Zheng Jian-Fei, Hu Chang-Hua, Pei Hong, Dong Qing. Missing data generation method based on flow model and its application in remaining life prediction. Acta Automatica Sinica, 2023, 49(1): 185−196 doi: 10.16383/j.aas.c220219

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220219

关键词

生成模型，流模型，粒子群优化，注意力机制，剩余寿命预测 

摘要

针对缺失数据生成模型精度低和训练速度慢的问题, 本文基于流模型框架提出了一种改进非线性独立成分估计(Nonlinear independent components estimation, NICE)的缺失时间序列生成方法. 该方法依靠流模型框架生成模型精度高、训练过程速度快的优势, 并结合粒子群优化算法(Particle swarm optimization, PSO) 优化NICE生成网络采样的退火参数, 训练学习监测数据的真实分布, 从而实现对数据缺失部分的最优填补. 为进一步拓宽所提方法的应用范围, 利用基于流模型的缺失数据生成方法得到的生成数据, 通过建立融合注意力机制的双向长短时记忆网络(Bidirectional long short-term memory with attention, Bi-LSTM-Att)的退化设备预测模型, 实现设备剩余寿命的准确预测. 最后, 通过锂电池退化数据的实例研究, 验证了该方法的有效性和潜在应用价值.

文章导读

对于锂电池、轴承、航空发动机和陀螺仪等复杂关键设备, 由于受到内部应力或外界环境的影响, 其设备的健康状态会不可避免的出现退化, 最终引发设备及所在系统的失效, 甚至导致人员和财产的损失[1-2]. 为切实掌握设备的健康性能, 保障设备安全可靠运行, 预测与健康管理 (Prognostics and health management, PHM) 技术[3-4]近年来受到了广泛关注. 作为PHM技术的关键环节, 剩余寿命 (Remaining useful life, RUL) 预测旨在通过分析状态监测收集的退化数据, 来预测设备的剩余寿命. 随着先进传感、物联网技术的进步和监测工艺的发展, 当代设备复杂化、自动化以及智能化水平不断提升, 推动数据驱动的剩余寿命预测技术进入了“大数据”时代.

在工程实际中, 由于机器故障 (如测量传感器故障) 或人为因素 (如未记录) 不可避免地导致部分数据缺失[5-7]. 若利用这类不完整数据预测设备剩余寿命, 将面临难以准确描述设备退化规律的现实问题, 进而将影响设备的健康管理和维修决策.因此, 针对缺失数据统计特性的多样性随机退化设备剩余寿命预测问题得到了大量学者的关注.

随着深度神经网络在计算机视觉、密度估计、自然语言和语音识别等领域的兴起[8], 深度生成模型[9]开始应用于时间序列的生成, 其基本思路是通过捕捉时间序列的分布特征, 对时序数据进行再生成, 从而填补数据. Yoon等[10] 首次提出了一种基于生成式对抗网络 (Generative adversarial network, GAN) 框架的缺失数据输入方法获得了较好的填充效果. 张晟斐等[11]基于柯尔莫可洛夫—斯米洛夫检验 (Kolmogorov-Smirnov test, K-S test) 检验的思想, 改进卷积生成对抗网络 (Deep convolutional generative adversarial network, DCGAN), 获得了更高精度的生成结果, 但是存在生成器和判别器模式崩溃、难以训练的风险. Nazabal等[12]融合基本的变分自编码器 (Variational autoencoder, VAE) 和高斯过程, 利用变分推断在多维时间序列填充问题上得到了更理想效果. 在基于深度学习的框架下, 现有研究集中在GAN和VAE的改进和优化方面. 根据处理极大似然函数方法的不同, GAN采用网络对抗和训练交替的方式, 避免优化似然函数, 虽然生成精度高但是训练过程困难, VAE采用似然函数的变分下界代替真实的数据分布, 只能得到真实数据的近似分布. 因此, 亟需研究一种既能保证模型精度又容易训练的深度生成模型.

近年来, 为了克服模型精度和训练速度方面的局限性, 可逆网络构造似然函数的流模型 (Flow-based model, Flow) 及改进模型[13-16]被应用于图像、音频生成领域效果显著. 其中,非线性独立成分估计 (Non-linear independent component estimation, NICE) 是首个基于Flow模型的变体[13]. 针对完整的一维时序数据生成问题, Ge等[17]提出了一种基于NICE框架的生成网络来模拟配电网络的一维日常负载曲线. 相比于GAN与VAE, NICE的生成效果能够更好地捕捉日常负载曲线的时空相关性. 薛阳等[18]提出了基于NICE框架的生成网络来增强分布式光伏窃电数据曲线, 通过对比GAN与VAE的生成效果, NICE具有准确的似然估计, 生成的样本更接近真实数据曲线. 尽管NICE面向完整时序数据时表现出良好的生成效果, 但应用于缺失时序数据情形下的数据生成则鲜见报道. 因此, 如何利用NICE挖掘出缺失数据的演变规律, 以克服传统GAN和VAE所面临的模型精度较低以及训练速度过慢的难题, 是有待进一步研究的重要问题. 同时, 训练过程中如何优化NICE模型参数是影响生成效果的关键因素, 需予以重点考虑.

本文依靠NICE网络的生成优势, 提出了一种改进NICE网络的缺失数据生成方法. 该方法充分利用NICE强大的分布学习能力, 通过粒子群优化 (Particle swarm optimization, PSO) 算法, 将生成序列与真实序列之间的分布偏差融入NICE采样生成样本的退火参数中, 在提升训练速度的同时保证生成序列与真实序列的一致性. 在此基础上, 本文利用融合注意力机制的双向长短期记忆网络 (Bi-directional long short term memory with attention, Bi-LSTM-Att), 建立了设备退化趋势预测模型进行剩余寿命预测. 最后, 通过锂电池的退化数据, 对所提方法生成数据和预测数据的可靠性进行实例验证.

图 1  PSO-NICE网络框架图

图 2  Bi-LSTM-Att网络框架图

图 3  缺失数据生成和RUL预测流程图

针对缺失数据生成模型精度低和训练速度慢的问题, 提出一种基于流模型框架的缺失数据生成方法, 可以获得较好的生成效果, 最后通过锂电池实例进行验证. 工作的主要创新如下:

1) 基于流模型框架, 将一维时序缺失数据输入NICE深度生成模型, 通过无监督方式学习缺失数据背后的真实分布, 进而对缺失数据进行充分填补, 得到完整意义下的时间序列数据.

2) 基于NICE深度生成模型, 在NICE反向生成阶段, 通过引入PSO算法, 迭代优化其退火参数, 将深度生成模型由无监督变成有监督, 能够更精准地学习缺失数据背后的真实分布, 提升对缺失数据填补的精度, 得到更完整意义下的时间序列数据.

本文基于流模型框架, 通过建立NICE模型和PSO-NICE模型, 实现了对一维时间监测序列完全随机缺失下系统缺失数据的生成及剩余寿命预测的应用. 在未来的研究中, 将进一步考虑现场实际环境的复杂关系, 对不同缺失机制、多维度时间监测序列的缺失数据生成和RUL预测问题进行更深层次的探索和研究.

作者简介

张博玮

火箭军工程大学导弹工程学院硕士研究生. 主要研究方向为预测与健康管理, 预测维护和深度神经网络. E-mail: zbw204@126.com

郑建飞

火箭军工程大学导弹工程学院副教授. 主要研究方向为预测与健康管理, 可靠性和预测维护. 本文通信作者. E-mail: zjf302@126.com

胡昌华

火箭军工程大学导弹工程学院教授. 主要研究方向包括故障诊断和预测, 寿命预测和容错控制. E-mail: hch666@163.com

裴洪

火箭军工程大学导弹工程学院讲师. 主要研究方向为预测与健康管理, 剩余寿命智能预测. E-mail: ph2010hph@sina.com

董青

火箭军工程大学导弹工程学院博士研究生. 主要研究方向为预测与健康管理, 预测维护. E-mail: 18756528162@163.com