引用本文

陈光捷, 张洪海, 刘毅, 周乐. 基于两阶段多教师知识蒸馏的工业过程故障检测方法. 自动化学报, 2026, 52(7): 1426−1437 doi: 10.16383/j.aas.c250617

Chen Guang-Jie, Zhang Hong-Hai, Liu Yi, Zhou Le. Two-stage multi-teacher knowledge distillation for industrial process fault detection. Acta Automatica Sinica, 2026, 52(7): 1426−1437 doi: 10.16383/j.aas.c250617

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250617

关键词

独立成分分析，核主成分分析，知识蒸馏，多教师知识蒸馏，故障检测

摘要

现代工业过程数据具有大容量、高维度及复杂相关性等特征, 单一多元统计监测方法难以兼顾不同类型特征的监测需求. 现有多模型融合方法与深度学习技术虽能提升故障检测性能, 但前者依赖模型库构建, 难以统一建模, 后者存在结构复杂与参数冗余问题. 针对上述问题, 提出一种基于两阶段多教师知识蒸馏的工业过程建模与故障检测方法. 该方法通过蒸馏框架将核主成分分析与独立成分分析提取的异构知识内化至学生自编码器模型中, 实现非线性与非高斯特征的统一建模, 并通过两阶段蒸馏协同优化特征空间与重构空间. 第一阶段在特征层蒸馏以引导学生模型学习教师模型的特征分布, 第二阶段在重构层蒸馏以提升模型对过程变化的表征与重构能力. 在田纳西−伊斯曼仿真过程及合成氨实际过程上的实验结果表明, 该方法能够有效提升故障检测的准确性与鲁棒性, 并通过离线知识蒸馏实现在线阶段的统一建模与高效监测.

文章导读

现代工业中, 物联网、云计算、大数据分析和人工智能等技术的进步正驱动着智能制造的发展. 随着生产需求日趋灵活多样、工业过程的复杂性不断提升, 对生产的安全性与可靠性也提出更高要求. 过程监控是保障工业系统稳定运行、安全生产和产品质量的关键技术, 尤其在庞大复杂的系统中, 微小故障也可能引发重大损失. 故障检测作为过程监控的核心环节, 旨在及时识别系统偏离正常运行状态的异常, 从而避免潜在的经济损失与安全事故.

然而, 在面对工业数据普遍存在的非线性、非高斯性及高维相关性特征时, 依赖单一原理或视角的传统监测模型往往难以提供完整且有效的特征表示. 例如, Wang等[1]为突破单一网络在时空特征提取上的局限性, 构建复杂的CNN与LSTM组合; Zhang等[2]则针对高维样本的特征提取难题, 采用多个差异化子网络协同工作的策略. 这些已有研究从侧面印证了单一模型在表征复杂工业数据特性方面存在固有局限, 凸显了发展更先进方法的必要性. 为使模型具备应对多种数据特性的综合建模能力, 知识蒸馏(knowledge distillation, KD)提供一种富有前景的途径, 其核心思想是让学生模型学习一个或多个更强大的教师模型所蕴含的知识.

知识蒸馏是一种高效的模型压缩技术, 旨在将大型教师模型的知识迁移至轻量级学生模型. 该概念最早由Buciluǎ 等[3]提出, 用于压缩集成模型; Hinton等[4]将其扩展至深度神经网络, 通过让学生模型模仿教师模型的输出分布, 即软标签, 实现知识迁移, 并正式确立“知识蒸馏”框架. 随着研究的深入, 可蒸馏的知识来源不断扩展. 最初的蒸馏使用软标签[4]作为教师输出, 目前已演变为包括中间层激活[5]、神经元与特征[6−7]、通道[8]、实例[9]及类别[10]之间的关系等多层次信息. 据此, 知识源可分为基于软标签、基于特征和基于相似性三类. 根据师生训练模式, 蒸馏方案主要分为离线、在线和自蒸馏. 为实现高效的知识传递, 研究者还提出多样化的蒸馏框架, 包括基于注意力的蒸馏、对抗蒸馏、多教师蒸馏、跨模态蒸馏、自适应蒸馏和对比蒸馏等[11].

知识蒸馏已在计算机视觉、自然语言处理和语音识别等领域取得显著成功[11]. 近年来, 该技术逐渐应用于工业过程监控领域. 例如, Zhang等[12]利用知识蒸馏技术将复杂教师网络压缩为高效学生模型以实现模型轻量化; Petrosian等[13]结合解耦蒸馏与LoRA (low-rank adaptation)微调, 构建参数量极低的轴承故障检测模型DKDL-Net; Ai等[14]通过蒸馏将基于手工特征的领域知识迁移至基于深度特征的网络; Liu等[15]构建基于蒸馏的零样本学习(zero-shot learning)框架, 实现未知故障的检测与诊断.

同时, 以自编码器(autoencoder, AE)为代表的深度学习方法, 因其模型结构简单、方法成熟且网络结构可根据不同需求灵活修改等优势, 已成为工业故障诊断领域的研究热点[16]. 然而, 尽管知识蒸馏为提升轻量级模型性能提供了新思路, 但在复杂工业过程监控场景中, 尤其是结合自编码器结构时, 仍面临若干挑战. 首先, 现有研究多基于单一教师框架, 难以通过单一视角全面捕捉工业过程数据的非线性与非高斯异构特性. 其次, 标准的端到端单阶段训练方式在AE蒸馏框架中存在局限. 传统的AE训练通过最小化重构误差同时优化编码器与解码器, 但这种联合优化策略容易导致特征学习与重构任务的耦合, 限制了模型的收敛性能. 正如Hinton等[17]在Deep Belief Nets的研究中指出, 逐层预训练能有效缓解复杂网络的优化难题; Romero等[18]提出的FitNets进一步证实, 在蒸馏框架下先约束中间层特征再进行整体训练, 能引导学生模型更好地逼近教师性能. 这表明, 缺乏解耦的单阶段策略难以在特征表示与重构能力之间取得最佳平衡.

为解决上述问题, 本文提出一种基于两阶段多教师知识蒸馏的工业过程故障检测方法. 不同于多模型统计融合(multi-model statistic fusion, MMSF)的在线集成策略, 本文旨在通过知识蒸馏将核主成分分析(kernel principal component analysis, KPCA)与独立成分分析(independent component analysis, ICA)提取的异构判别知识内化至单一学生模型中, 从而通过离线阶段的知识迁移实现在线阶段的单模型高效统一监测. 具体而言, 该方法利用异构教师体系提取非线性与非高斯特征, 并提出两阶段解耦蒸馏策略, 依次通过特征层与重构层蒸馏分别优化编码器与解码器. 该策略有效规避了联合优化的任务冲突, 实现特征学习与数据重构的协同提升.

综上所述, 本文的主要贡献与创新点如下:

1) 设计KPCA-ICA异构教师体系, 分别提取非线性结构特征与非高斯统计特征, 并通过多层蒸馏实现异构特征的有效融合;

2) 构建两阶段分离蒸馏机制, 分别针对编码器与解码器进行优化, 以提升学生模型的特征表达与重构能力;

3) 提出一种基于两阶段多教师知识蒸馏的工业过程故障检测方法, 突破传统多模型融合依赖多模型在线并行的局限, 实现非线性与非高斯特征的单模型统一监测.

图1  两阶段多教师知识蒸馏过程监测框架

图2  TE过程流程图

图3  TE过程故障F5的AE蒸馏前后监测结果 ((a) 学生AE模型; (b) MTDM)

本文针对工业过程数据特征复杂与单一监测模型表征能力不足的问题, 提出一种基于两阶段多教师知识蒸馏的故障检测方法. 该方法通过构建异构多教师模型与设计分阶段蒸馏策略, 成功将教师模型对非线性与非高斯特征的判别知识迁移至单一学生模型中, 实现了多源过程特性的协同表征.

在TE过程与合成氨生产过程上的实验结果表明, 所提方法显著提升了学生模型在复杂工况下的故障敏感性与监测鲁棒性. 该方法通过将多模型监测能力内化至单一模型, 使在线监测阶段无需依赖多模型并行运行与统计量融合即可刻画复杂过程特性, 为工业过程的高效在线监测提供了一种可行思路. 未来工作将进一步引入动态时序信息, 以增强模型对时变工业场景的适应能力.

作者简介

陈光捷

浙江科技大学自动化与电气工程学院讲师. 主要研究方向为工业过程监控, 数据驱动建模和故障检测与诊断. E-mail: chenguangjie@zust.edu.cn

张洪海

浙江科技大学自动化与电气工程学院硕士研究生. 主要研究方向为工业过程监控, 数据驱动建模, 知识蒸馏和故障检测与诊断. E-mail: zhanghonghai@zust.edu.cn

刘毅

浙江工业大学机械工程学院教授. 主要研究方向为数据智能及其在工业过程建模、控制、优化中的应用. E-mail: yliuzju@zjut.edu.cn

周乐

浙江科技大学自动化与电气工程学院教授. 主要研究方向为工业过程建模、监控与故障诊断, 软传感器建模和深度学习. 本文通信作者. E-mail: zhoule@zust.edu.cn

支持单位：