引用本文

黄建才, 蒋朝辉, 桂卫华, 潘冬, 许川, 周科. 基于状态识别的高炉料面视频关键帧提取方法. 自动化学报, 2023, 49(11): 2257−2271 doi: 10.16383/j.aas.c220969

Huang Jian-Cai, Jiang Zhao-Hui, Gui Wei-Hua, Pan Dong, Xu Chuan, Zhou Ke. Key frame extraction method of blast furnace burden surface video based on state recognition. Acta Automatica Sinica, 2023, 49(11): 2257−2271 doi: 10.16383/j.aas.c220969

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220969

关键词

高炉，料面现象，显著性区域，状态识别，关键帧提取 

摘要

高炉料面视频关键帧是视频中的中心气流稳定、清晰、无炉料及粉尘遮挡且特征明显的图像序列, 对于及时获取炉内运行状态、指导炉顶布料操作具有重要的意义. 然而, 由于高炉内部恶劣的冶炼环境及布料的周期性和间歇性等特征, 料面视频存在信息冗余、图像质量参差不齐、状态多变等问题, 无法直接用于分析处理. 为了从大量高炉冶炼过程料面视频中自动准确筛选清晰稳定的料面图像, 提出基于状态识别的高炉料面视频关键帧提取方法. 首先, 基于高温工业内窥镜采集高炉冶炼过程中的料面视频, 并清晰完整给出料面反应新现象和形貌变化情况; 然后, 提取能够表征料面运动状态的显著性区域的特征点密集程度和像素位移特征, 并提出基于局部密度极大值高斯混合模型(Local density maxima-based Gaussian mixture model, LDGMM)聚类的方法识别料面状态; 最后, 基于料面状态识别结果提取每个布料周期不同状态下的关键帧. 实验结果表明, 该方法能够准确识别料面状态并剔除料面视频冗余信息, 能提取出不同状态下的料面视频关键帧, 为优化炉顶布料操作提供指导.

文章导读

高炉炼铁是将含铁原料(烧结矿、球团矿等)在焦炭、石灰石以及从炉底鼓入的热风作用下还原成铁的复杂冶炼过程. 在高炉冶炼过程中, 炉料(烧结矿、球团矿、焦炭等)在热风浮力和自身重力的作用下会形成料面, 炉料在发生复杂物理化学反应后会形成熔融铁水并从铁口排出, 同时炉顶会周期性撒入炉料, 并维持料面在一定的高度范围内[1-2]. 炉内料面运动状态是高炉运行过程的关键参数之一, 对于指导炉顶布料操作、防止异常工况的发生具有重要的意义. 然而, 高炉是一个大型的黑箱子, 由于炉内高温高压、密闭弱光、强粉尘等恶劣的冶炼环境, 现场难以掌握炉内料面状态.

为了监测炉内反应状况, 现场会在高炉炉顶安装视频监测设备, 如红外热成像仪[3]、炉顶可见光摄像机以及高温工业内窥镜[4]. 红外热成像仪通过红外成像原理获取炉顶料面的温度信息, 能够在一定程度上获取料面反应状态, 但是容易受到高温煤气流的影响, 且损失了料面纹理信息; 为了监测炉内料面反应程度, 一般会在高炉炉顶安装可见光摄像机, 然而由于炉内粉尘和高温煤气流的遮挡, 只能拍摄到炉内的溜槽等极其有限的信息. 高温工业内窥镜是一种新型的料面视频采集设备, 其采用内窥式可见光成像技术近距离深入炉内实时获取料面视频. 考虑到高炉布料是周期性、间歇性的, 采集到的料面视频也呈现出周期性变化的规律. 此外, 料面视频存在信息冗余、图像质量参差不齐等问题, 现场人员需要花费较多的时间去检索视频中的关键信息, 如果在后期对所有视频帧都进行分析处理会大大降低效率并影响结果. 研究高炉料面视频关键帧自动提取方法能够从大量的料面视频中筛选出清晰的、稳定的视频帧, 提高后期视频处理的精度和效率.

视频关键帧的提取是减少视频冗余、剔除无效重复信息的重要手段, 在视频检索、视频压缩存储、视频摘要、视频分类、工业视频监测等领域具有广泛的应用[5]. 现有的视频关键帧提取方法可以分为基于图像特征的方法[6]、基于镜头检测的方法[7-8]、基于聚类的方法[9]、基于运动信息的方法[10]、基于学习的方法[11-13]等. 基于图像特征的方法通过图像的颜色、纹理、亮度等底层特征, 计算这些特征的差异并与设定的阈值做比较, 这种方法计算量比较大, 计算效率并不高; 基于镜头检测的方法先将其分成许多镜头, 并选取第一帧、最后一帧以及中间固定的几帧作为关键帧, 这种方法计算量小, 但提取的关键帧数目相对固定, 且没有考虑视频内容; 基于聚类的方法先根据聚类算法将相似的帧划分为同一类, 然后从不同类别中选取出具有代表性的视频帧, 在关键帧提取中应用比较广泛. Singh等[14]提出了一种对光照变化和运动鲁棒的镜头边界检测方法, 基于局部二值模式傅里叶直方图(Local binary pattern histogram Fourier, LBP-HF)特征和自适应阈值检测出视频关键帧. 为了提高轻轨视觉定位的精度, 一种基于像素显著性分数的关键帧提取方法被提出, 通过滑动窗口提取当前帧图像块的显著性分数, 从而筛选出关键帧, 为场景跟踪提供合适的检索窗口[15]. 文献[16]提出了一种基于时空分析的运动状态自适应视频关键帧提取方法, 通过分析目标运动状态并选择运动状态变化的视频帧作为关键帧. Gharbi等[17]提出一种基于兴趣点、可重复性网络和模块化的局部描述方法, 并引入图聚类提取关键帧, 以最小化视频的信息冗余. Lai等[18]提出一种时间约束聚类算法, 对内容相似的帧进行分组, 并选择了显著值最大的视频帧作为关键帧. Wu等[19]提出了一种基于高密度峰值搜索(Video representation based high density peaks search, VRHDPS)聚类算法的视频表示方法, 并将聚类中心判定为关键帧. Chu等[20]提出了一种共聚类方法, 通过识别视频中共享的相似镜头来同时总结相同主题的多个视频.

随着神经网络的发展, 越来越多文献研究基于深度学习的关键帧提取方法[21-22]. 为了解决视频关键帧提取存在的上下文注意力不足和分布不一致的问题, Ji等[23]将监督视频摘要表述为序列到序列的学习框架, 提出了一种注意力和分布一致性学习方法, 利用真实的带标注的视频训练并预测视频帧的重要性分数, 从而获得关键帧. Abed等[24]构建了带标签的人脸图像数据集, 采用卷积神经网络 (Convolutional neural network, CNN)有监督预测人脸图像质量, 并将其作为关键帧提取的依据. 为了更好地帮助运动员训练以及裁判打分, 一种用于运动视频的深度关键帧提取方法被提出, 该方法以标有运动员前景和背景区域的图像为数据集, 通过全卷积网络提取运动员的感兴趣区域, 并基于卷积神经网络估计每个帧的概率, 将概率最大的帧判别为关键帧[25]. Muhammad等[26]提出了一种基于深度学习的工业监控场景下的视频关键帧提取方法(Deep learning-based resource-constrained video summarization, DeepReS), 采用ORB (Oriented FAST and rotated BRIEF)特征和卷积神经网络获得候选关键帧, 并根据用户需求筛选出熵值高的视频帧. 针对以查询为中心的视频摘要任务, Xiao等[27]提出了一种由局部注意力机制和查询相关性计算模块构成的卷积分层注意力网络, 计算视频镜头与查询之间的相似性, 从而生成视频关键帧. Zhou等[28]将视频关键帧提取描述成顺序决策的过程, 提出了一种基于强化学习的深度摘要网络(Deep summarization network, DSN), 设计了一个无标签的多样性−代表性奖励函数, 获得具有多样性和代表性的视频关键帧. 尽管深度学习方法在视频关键帧的提取上表现出较好的性能, 但是一般依赖于充足的训练数据来学习视频帧中的重要帧的特征, 大多数方法需要对视频进行大量的人工标注, 模型的泛化性和可解释性不强, 并且缺乏对视频的全局理解. 考虑到高炉炉内恶劣的冶炼环境, 且料面形貌会受到高炉冶炼操作、高炉尺寸、工况、布料周期等因素的影响, 料面形貌具有多样性和不确定性, 很难构建完整的料面视频数据集, 标签数据也难以获得, 因此深度学习方法并不适用于高炉料面视频关键帧的提取. 此外, 与一般场景视频关键帧提取不同的是, 从周期性变化且质量不稳定的高炉料面视频获取关键帧更加复杂, 其对反映炉内运行状态、优化高炉炉顶布料操作具有重要的指导意义. 由于高炉料面视频的特殊性, 本文定义的高炉料面关键帧为视频中不同状态下的中心气流稳定、清晰、无炉料及粉尘遮挡且特征明显的图像序列.

为从大量视频中自动准确提取清晰稳定的高炉料面图像, 本文提出基于状态识别的高炉料面视频关键帧提取方法. 首先基于高温工业内窥镜采集高炉冶炼过程的料面视频, 并对料面视频进行分析, 将料面分为静止、缓慢下沉、快速下沉三个状态. 为剔除视频的冗余信息, 计算料面图像显著性区域的关键特征, 并提出基于局部密度极大值高斯混合模型(Local density maxima-based Gaussian mixture model, LDGMM)聚类的方法识别料面所处的状态, 根据料面所处的状态实现每个布料周期不同状态下中心气流稳定、清晰、无炉料及粉尘遮挡且图像特征明显的关键帧的自动判别.

图 1  料面视频采集系统

图 2  设备安装图

图 3  一个布料周期内的料面反应现象

针对高炉料面视频存在的冗余信息多、图像质量不稳定、状态多变等问题, 本文提出了基于状态识别的高炉料面视频关键帧提取方法. 基于显著性区域特征点光流聚类方法识别了料面所处的状态, 并依据料面状态从冗余、质量不一的料面视频中筛选出不同周期不同状态下形貌变化较大且清晰稳定的关键帧, 方便后期图像处理, 同时也有利于从大量的料面视频中快速准确地捕获到有效信息. 通过大量的对比实验表明本文所提方法能够准确识别料面所处的状态, 同时能够从视频中剔除细节模糊、不稳定的视频帧, 得到不同状态下中心气流稳定、清晰、无炉料及粉尘遮挡且特征明显的关键帧, 为现场操作人员认清炉内反应状况、指导炉顶布料操作提供重要反馈信息. 与其他现有的状态识别和视频关键帧提取方法相比, 所提方法结合了料面视频变化特征, 性能优越, 算法复杂度不高, 实用价值高, 能够为现场操作人员提供实时清晰的炉内反应过程图像信息, 并为炉顶布料提供反馈信息. 此外, 本文所提方法提供了一种复杂多变且周期性变化的工业视频关键帧提取的有效途径, 为其他复杂恶劣环境中视频图像处理提供了新思路.

作者简介

黄建才

中南大学自动化学院博士研究生. 2018年获重庆大学学士学位. 主要研究方向为图像处理, 计算机视觉和复杂工业过程参数检测. E-mail: huangjiancai@csu.edu.cn

蒋朝辉

中南大学自动化学院教授. 2011年获中南大学博士学位. 主要研究方向为智能传感与检测技术, 图像处理与智能识别和人工智能与机器学习. 本文通信作者. E-mail: jzh0903@csu.edu.cn

桂卫华

中南大学自动化学院教授. 1981年获得中南矿冶学院硕士学位. 主要研究方向为复杂工业过程建模, 优化与控制应用和故障诊断与分布式鲁棒控制. E-mail: gwh@csu.edu.cn

潘冬

中南大学自动化学院讲师. 分别于2015年和2021年获中南大学学士学位和博士学位. 主要研究方向为红外热成像, 视觉检测, 图像处理和深度学习. E-mail: pandong@csu.edu.cn

许川

中南大学自动化学院博士研究生. 2021年获中南大学硕士学位. 主要研究方向为数据分析, 机器学习和复杂工业过程建模. E-mail: csuxuchuan@csu.edu.cn

周科

中南大学自动化学院博士研究生. 2018年获重庆大学学士学位. 主要研究方向为复杂工业过程的数据挖掘、建模与优化控制. E-mail: zhouke95@csu.edu.cn