引用本文

王延舒, 余建波. 基于自适应全局定位算法的带钢表面缺陷检测. 自动化学报, 2024, 50(8): 1550−1564 doi: 10.16383/j.aas.c210467

Wang Yan-Shu, Yu Jian-Bo. Strip surface defect detection based on adaptive global localization algorithm. Acta Automatica Sinica, 2024, 50(8): 1550−1564 doi: 10.16383/j.aas.c210467

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210467

关键词

表面缺陷检测，深度学习，特征金字塔网络，自适应树型候选框提取，全局定位 

摘要

针对热轧带钢表面缺陷检测存在的智能化水平低、检测精度低和检测速度慢等问题, 提出了一种基于自适应全局定位网络(Adaptive global localization network, AGLNet)的深度学习缺陷检测算法. 首先, 引入一种残差网络(Residual network, ResNet)与特征金字塔网络(Feature pyramid network, FPN)集成的特征提取结构, 减少缺陷语义信息在层级传递间的消失; 其次, 提出基于TPE (Tree-structure Parzen estimation)的自适应树型候选框提取网络(Adaptive tree-structure region proposal extraction network, AT-RPN), 无需先验知识的积累, 避免了人为调参的训练模式; 最后, 引入全局定位回归算法, 以全局定位的模式在复杂的缺陷检测中实现缺陷更精确定位. 本文实现一种快速、准确、更智能化、更适用于实际应用的热轧带钢表面缺陷的算法. 实验结果表明, AGLNet在NEU-DET热轧带钢表面缺陷数据集上的检测速度保持在11.8帧/s, 平均精度达到79.90 %, 优于目前其他深度学习带钢表面缺陷检测算法. 另外, 该算法还具备较强的泛化能力.

文章导读

热轧带钢在制造业中得到广泛运用, 是制造业上游重要的原料之一. 但因其制作工艺复杂、制作环节较多, 在热轧带钢生产的过程中表面易于产生缺陷[1]. 在竞争激烈的钢铁制造行业, 高效的带钢缺陷检测可以帮助企业提高生产的效率, 进而提高企业的竞争力[2]. 传统的钢带表面检测方法主要是人工检测法和频闪光灯检测法[3], 均为非自动化检测方法, 检测速度较慢, 花费大量人力成本. 而计算机视觉检测方法是一种自动化的非接触的检测技术, 早期多基于激光扫描检测法, 后期发展出了基于摄像器件CCD (Charge coupled device)的检测方法[4]. 相对于传统方法, 计算机视觉检测具有分类能力强、检测精度高和检测成本低等优点. 而随着计算机技术、深度学习的发展, 基于卷积神经网络(Convolutional neural network, CNN)的深度学习模型广泛应用于各种缺陷检测场景之中, 展现出更加卓越的检测性能[5]. 其通过对底层特征的重组, 形成高维度的抽象特征和类别属性, 从而进行从局部特征到整体特征的图像精确识别[6]. 

基于深度学习的缺陷检测是目标检测算法在实际生产中的应用, 任务是找出图像中的缺陷目标, 并确定其位置、大小和类别信息. 目前, 深度学习的检测算法主要分为两类, 一类是以Faster R-CNN[7]、Mask R-CNN[8]为代表的双阶段(Two-stage)检测算法; 另一类以YOLO[9]、SSD (Single shot multibox detector)[10]为代表的单阶段(One-stage)检测算法. 双阶段检测算法将目标检测任务分成两个阶段来完成, 首先使用区域候选网络(Region proposal network, RPN)[11]将原图分解成多个可能产生目标的候选区域, 再通过回归损失函数(Regression loss function)确定目标的位置信息, 通过分类损失函数(Classification loss function)确定目标的类别信息, 这种方法准确率比较高, 但是检测速度较慢. 凭借其在检测精度上的优越性, 双阶段检测方法在缺陷检测领域已经进行了诸多研究. Tao等[12]将Faster R-CNN用于无人机电力巡检中绝缘子缺陷定位, 首先在自然环境下确定绝缘子区域, 再从绝缘子区域中实现缺陷检测. He等[13] 通过Faster R-CNN对带钢表面缺陷进行检测, 该网络的创新在于将Backbone中多级特征图组合为一个多尺度特征图, 在NEU-DET数据集上有较好的检测效果. 单阶段检测算法使用一个全卷积神经网络, 直接从整张图来预测包围框(Bounding box)的坐标, 以及包围框中包含物体的置信度和物体类别的概率, 是一个端到端的过程. 该方法速度较快但是精确度较低. Cheng等[14] 提出具有差异通道注意力机制和自适应性空间特征融合的DEA_RetinaNet深度学习网络. 该网络采用基于差分进化搜索的锚优化方法, 提高了网络的检测精度. 同时, 利用空间特征融合模块对卷积核提取的浅层和深层特征进行有效融合. 在检测带钢缺陷时达到78.25%的平均精度. Chen等[15]使用SSD网络对接触网支撑装置上的紧固件缺陷区域进行定位, 使用不同层的特征图进行目标检测, 得到了较好的效果. Zhang等[16]将YOLO-v3版本应用于桥梁表面缺陷定位, 其主要改进在于引入预训练权重、批再规范化(Batch renormalization)和Focal loss, 进一步提高了缺陷检测率. 

上述提到的双阶段深度学习方法均基于锚标定(Anchor-based)机制进行检测. 使用Anchor机制可以产生密集的锚框(Anchor box), 使网络可以直接在此基础上进行目标分类和回归, 这有效地提高了网络目标的召回能力, 对小目标检测来说提升非常明显. 同时, 在训练过程中加入了大量先验的参数, 让Anchor-based网络更容易训练且更加稳定, 使检测效果较为理想. 然而, Anchor-based在实际训练和测试中也有诸多不足: 1)在Anchor-based网络的训练过程中重复调节参数无疑浪费了时间; 2) Anchor-based网络容易生成大量完全不包含目标的背景框, 导致正负样本严重不平衡, 浪费计算资源, 且易造成过拟合. 

为提升检测的速度和灵活性, Anchor-free网络以其更灵活的机制, 摆脱了使用锚而带来的计算量过大、冗余框过多和人为介入过度等问题, 更加适用于实际的工业检测领域, 这也逐渐成为近些年来的研究热点. Anchor-free主要以两种不同的方式检测没有预设锚的目标[17]. 一种方法是将锚框转化为关键点描述, 然后将问题转为关键点的检测与匹配问题, 例如CornerNet[18]和CenterNet[19]. Jia等[20]提出了一种改进的CenterNet来完成卫生陶瓷的缺陷检测. 另一种方法利用语义分割的思想, 将图像分解成数个小格, 对小格进行分类和回归进行密集预测, 提升了目标检测性能. Zhu等[21]提出一种目标检测的特征选择无锚(Feature selective anchor-free, FSAF)模块. 该模块可以嵌入到具有特征金字塔结构的单点探测器中. Tian等[22]提出全卷积单阶段(Fully convolutional one-stage, FCOS)检测器, 该检测器以每像素预测的方式解决了目标检测问题. 它避免了所有与锚点相关的超参数的设置, 取得了比以往基于锚点的一级检测器更好的检测效果. Kong等[23]提出FoveaBox网络, 该网络增加了两个子网, 一个用于像素级分类, 另一个用于边界盒预测, 从而提高了检测性能. 但是, Anchor-free方法较为灵活的机制, 会导致检测效果不太稳定. 

在实际的工业生产中, 需要精确度和速度都维持较高水准的检测算法, 从而应对现实的检测问题. 所以, 为了保持Anchor-based网络的稳定性和精确性, 同时具有Anchor-free网络的灵活和高速的特点, 通过点或边定位思想来获取目标更精确定位的双阶段目标检测网络相继出现. Lu等[24]提出Grid R-CNN, 借助卷积层生成热力图的方式确定初始的网格点, 从而借助这些网格点确定定位框四条边的位置, 使网络对目标的位置信息更加敏感. Wang等[25]提出边侧感知边界定位(Side-aware boundary localization, SABL)的检测方法, 通过提取出每条边的特征, 利用Bucket机制对四条边进行精确定位, 取代了传统方法对整个锚框的位置回归. 然而, 上述方法虽然在目标的检测精度上取得了进步, 但仍然存在如下问题: 1)工业产品众多, 各类产品缺陷类型多种多样, 为保证多样化的缺陷检测, 上述方法需要经过多次实验获取先验知识, 获取最优化的网络参数设置, 才能保持高精度的缺陷检测, 花费了大量的人力资源和时间; 2)各类缺陷形状差异较大, 在单一产品上的缺陷模式众多, 空间布局密集, 上述方法对密集检测效果不佳. 

为解决上述提到的问题, 本文提出自适应全局定位网络(Adaptive global localization network, AGLNet), 在提高缺陷检测精度的同时, 提出自适应树型候选框提取算法(Adaptive tree-structure region proposal extraction network, AT-RPN), 提高了检测速度, 使检测更智能化, 更加适用于各种复杂的工业缺陷检测环境. 本文的主要贡献有如下几个方面: 1)提出一种集成残差网络(Residual network, ResNet)和特征金字塔网络(Feature pyramid network, FPN)的特征提取网络结构, 有效地利用CNN的各层级特征, 减少了层级传递中的语义缺失, 更适合于工业场景中小缺陷的检测, 缓解表面缺陷空间布局密集导致的检测率低下的问题; 2)提出AT-RPN算法, 在RPN[11]的基础上加入了基于TPE (Tree-structured Parzen estimator)的自适应Anchor调节模块, 以及RoIAlign (Region of interest align)[8]池化结构, 实现了训练和测试过程锚高宽比(Anchor-ratio)参数的自主调节, 减少了人为的介入, 提高了检测精度, 同时节约了运算成本; 3)采用全局定位回归(Global localization regression)算法, 该方法预测特征图中每个单元格与真实标定框(Ground-truth box)四个方向上的偏移量(Box offsets), 经过二项分类预测(Binomial classification prediction)和稀疏选择器模块(Sparse selection module), 获取筛选后的激活点参量加入回归运算, 从而获取目标更精确的定位信息, 同时保证检测的速度. 实验中, 使用NEU-DET数据集[13]进行验证. 结果表明, AGLNet实现了端到端的热轧带钢表面缺陷检测, 解决了Anchor-based网络需要大量先验知识的问题, 同时也缓解了Anchor-free网络中不稳定的问题, 在密集检测中效果更佳, 平均精度均值达到79.90%, 具有较高的准确度和较好的实时性, 适用于复杂的工业缺陷检测环境中.

图 1  AGLNet结构

图 2  TPE自适应Anchor-ratio调节模块流程图

图 3  AT-RPN整体结构图

针对热轧钢带表面缺陷检测精度低、速度慢、智能化低等问题, 本文提出了AGLNet, 采用结合后的残差网络和特征金字塔网络作为特征提取结构, 提取目标缺陷的高维度到低维度特征, 并使用本文创新提出的AT-RPN自适应候选框提取算法模块, 无需先验知识的测试积累, 抛弃人为调参的模式, 最后使用本文引入的全局定位回归算法改变过去包围框回归的传统思路, 采用全局定位回归的新模式获取复杂缺陷更精确的定位, 以及分类损失函数获取目标的类别信息, 从而实现一种快速、准确、更智能化、更适用于实际工业应用的带钢表面缺陷检测的算法. 

通过实验可以得到以下结论: 1)通过结合后的残差网络和特征金字塔网络的特征提取结构, 可以减少层级之间传递导致的语义缺失, 有效缓解缺陷形状差异较大、空间位置密集的问题; 2) AT-RPN自适应候选框提取模块, 在提高了检测精度的同时, 也大大提高了检测的速度; 3)全局定位回归算法抛弃传统对包围框进行回归的模式, 采用多点监督定位的方法实现了目标缺陷的更精确定位; 4) 与其他经典算法相比, AGLNet算法通过NEU-DET数据集进行验证, 平均精度均值达到对比实验中最优的79.90%, 同时FPS达到优异的11.8 帧/s; 5) AGLNet具有较强的泛化能力, 在PCB-Master印刷电路板缺陷数据集的检测中, 平均精度为各算法中最优的96.85%, FPS约为6.25 帧/s, 实现了快速、精确的智能化的缺陷检测. 

作者简介

王延舒

同济大学机械与能源工程学院硕士研究生. 2020年获四川大学学士学位. 主要研究方向为机器学习, 深度学习, 视觉检测与识别. E-mail: 2030211@tongji.edu.cn

余建波

同济大学机械与能源工程学院教授. 2009年获上海交通大学博士学位. 主要研究方向为机器学习, 深度学习, 智能质量管控, 过程控制, 视觉检测与识别. 本文通信作者. E-mail: jbyu@tongji.edu.cn