引用本文

许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报, 2023, 49(4): 857−871 doi: 10.16383/j.aas.c200148

Xu Yu-Ge, Zhong Ming, Wu Zong-Ze, Ren Zhi-Gang, Liu Wei-Sheng. Detection of detecting textured fabric defects based on deep learning. Acta Automatica Sinica, 2023, 49(4): 857−871 doi: 10.16383/j.aas.c200148

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200148

关键词

布匹瑕疵检测，深度学习，特征过滤，深度卷积神经网络，不平衡分类 

摘要

布匹瑕疵检测是纺织工业中产品质量评估的关键环节, 实现快速、准确、高效的布匹瑕疵检测对于提升纺织工业的产能具有重要意义. 在实际布匹生产过程中, 布匹瑕疵在形状、大小及数量分布上存在不平衡问题, 且纹理布匹复杂的纹理信息会掩盖瑕疵的特征, 加大布匹瑕疵检测难度. 本文提出基于深度卷积神经网络的分类不平衡纹理布匹瑕疵检测方法(Detecting defects in imbalanced texture fabric based on deep convolutional neural network, ITF-DCNN), 首先建立一种基于通道叠加的ResNet50卷积神经网络模型(ResNet50+)对布匹瑕疵特征进行优化提取; 其次提出一种冗余特征过滤的特征金字塔网络(Filter-feature pyramid network, F-FPN)对特征图中的背景特征进行过滤, 增强其中瑕疵特征的语义信息; 最后构造针对瑕疵数量进行加权的MFL (Multi focal loss)损失函数, 减轻数据集不平衡对模型的影响, 降低模型对于少数类瑕疵的不敏感性. 通过实验对比, 提出的方法能有效提升布匹瑕疵检测的准确率及定位精度, 同时降低了布匹瑕疵检测的误检率和漏检率, 明显优于当前主流的布匹瑕疵检测算法.

文章导读

随着人工智能的发展, 相关技术的不断成熟, 人工智能的应用领域不断扩展, 以深度卷积神经网络(Deep convolutional neural network, DCNN),为代表的深度学习方法在大量的工业界实际应用场景中展示了优于传统方法的性能[1]. 在布匹瑕疵检测领域中, 传统的瑕疵检测手段主要是采用人工检测的方式, 这种方式要求检测工人站在流水线旁边使用人眼检测布匹瑕疵, 该方法存在诸多缺陷, 如检测效率低下, 检测速度仅仅达到$0.18 \sim $0.36 m/s[2], 漏检率高, 瑕疵检出率只有70%左右[3], 检测效率随工作时长而下降等. 基于此, 研究自动化的检测系统取代人工检测在纺织工业中有着重要的意义.

目前的布匹瑕疵自动化检测的算法主要可分为三大类[4]: 基于统计的方法[5-6]、基于频谱的方法[3, 7-9] 和基于模型的方法[10-12]. 统计法通过对布匹瑕疵图片中的纹理特征进行统计分析, 判断输入图片有无瑕疵, 该方法目前只在分辨率较小的瑕疵图片中有所应用, 且其对瑕疵的位置计算不准确. 频谱法是在实际布匹瑕疵检测中使用较多的一类方法, 该方法将图片特征从空间域转换到频率域中, 在频率域中图片特征将得到增强, 由此完成布匹瑕疵的分类, 但是该方法目前只能实现对输入图片有无瑕疵的判断, 无法定位瑕疵的位置. 模型法通过假设布匹图片纹理由规则纹理和随机纹理组成, 使用随机过程建模方法对图片特征进行描述从而完成分类, 但是该方法只在少量样本中取得好效果, 对于实际工业生产中大量样本的情况, 尚未有研究表明其可行性. 基于上述方法进行的研究对布匹瑕疵缺陷检测问题有很好的借鉴作用, 但是其研究往往局限于小规模的小分辨率布匹瑕疵图片数据集, 因此参考价值有限. 综上所述, 传统方法存在着瑕疵分割性能差、错检率高、噪声敏感等问题, 随着深度学习的发展, 采用卷积神经网络解决布匹瑕疵检测问题是当前研究的热点之一.

基于深度卷积神经网络的方法在目前取得了极大的进展. 2012年Krizhevsky等[13]提出的AlexNet, 突破了大规模的视觉识别挑战赛(ImageNet large scale visual recognition challenge, ILSVRC)中的图片分类准确度记录. 2015年Simonyan等[14]提出VGG (Visual geometry group)系列模型, 该模型通过深层卷积神经网络对图片特征进行提取, 最后使用全连接层进行分类, 在当年的ILSVRC上取得了巨大成功. 随后Google提出InceptionNet[15-18] 系列模型, 该模型通过对网络结构的精心设计, 从而在减小模型参数量的同时提升了模型的表达能力. 2016年He等[19]提出ResNet, 通过引入残差模块, 解决了梯度消失的问题, 大大加深了网络的深度. 2017年Huang等[20]提出DenseNet, 其采用密集块(Dense block)对每层的特征图进行复用, 加强网络中特征的传递, 提高网络表现的同时减少网络的参数量. 在此之后, 对网络结构的改进算法大量涌现, 如特征金字塔网络(Feature pyramid networks, FPN), Cascade R-CNN, BiFPN等[21-23]. 对网络结构的不断改进, 使得DCNN在目标检测领域中的应用不断成熟, 已有大量算法实际应用于工业检测系统中[24-29]. 与此同时对于损失函数的改进, 如FL (Focal loss)[30]和IOU loss[31]等进一步增强了深度学习模型在检测任务中的表现.

基于以上工作基础, 本文提出一种基于深度卷积神经网络的分类不平衡纹理布匹瑕疵检测方法(Detecting defects in imbalanced texture fabric based on deep convolutional neural network, ITF-DCNN), 来解决布匹瑕疵检测中提取到的图片特征难以用于准确的瑕疵检测以及检测模型训练过程中瑕疵样本不平衡的问题. 本文的主要贡献在以下几方面: 1)针对原始的ResNet中残差模块会造成信息流失, 导致特征图对瑕疵特征表达能力不足的问题, 提出了使用特征通道叠加后采用卷积融合的方式对残差模块进行改进; 2)为充分利用数据集中已有的布匹模板图片, 构造特征过滤金字塔网络(Filter-feature pyramid network, F-FPN), 通过布匹模板图片对布匹瑕疵图片中的冗余背景特征进行过滤; 3)基于数据集中各类瑕疵样本分布存在着极度不平衡的问题, 提出改进的损失函数 MFL (Multi focal loss)来解决模型对于少数类瑕疵样本检测准确率不高的问题.

本文的组织架构如下: 第1节对布匹瑕疵检测的相关工作进行介绍. 第2节对布匹瑕疵检测中的问题进行描述, 阐明检测模型难以取得精确检测结果的原因. 在第3节中介绍本文采用的布匹瑕疵检测模型, 包括其中特征提取网络的构造, 特征过滤网络的建立, 以及数据集不平衡的解决方案. 第4节将基于构建的布匹数据集进行实验分析, 验证本文提出的模型在布匹瑕疵缺陷检测任务中的有效性, 同时为证明各改进结构对模型性能的提升, 将基于各改进结构进行单独的纵向对比实验. 第5节对全文的工作进行总结和展望.

图 1  纹理布匹瑕疵样本图片

图 2  纹理布匹瑕疵形状分布

图 3  ITF-DCNN模型的整体结构图

对于纺织工业中存在着的布匹瑕疵检测问题, 本文提出了一种基于深度学习的布匹瑕疵检测方法. 该方法使用改进后的ResNet50+ 进行瑕疵特征的提取, F-FPN网络结构通过在FPN层中使用模板布匹图片特征, 对瑕疵布匹图片特征中的冗余信息进行加性过滤或卷积过滤, 从而增强特征图对瑕疵信息的表达能力. 同时为解决布匹图片数据集中存在着的瑕疵样本类别不平衡问题, 提出基于FL改进的MFL损失函数. 该损失函数根据每类瑕疵的数量对其在模型中产生的损失进行加权, 从而增强模型对于少数类瑕疵样本的学习能力. 基于本文提出的方法在布匹瑕疵数据集上进行实验, 并和传统的缺陷检测算法以及目前主流的表面瑕疵检测算法进行对比, 实验结果验证了本文提出方法的有效性. 尽管本文提出的方法在布匹瑕疵检测中取得了良好的效果, 其仍然有很大的改进空间, 主要集中在两个方面: 1)瑕疵类别增多的问题, 在纺织工业中布匹的瑕疵种类超过70种, 虽然常见的瑕疵种类不多, 但是使模型能够对更多种类的瑕疵进行检测仍然是一个值得研究的方向; 2)检测速度的问题, 使用深度学习模型进行布匹瑕疵检测, 可取得很好的瑕疵定位精度和检测准确率, 但是因为模型复杂, 存在大量参数, 往往使得检测时间较长, 因此寻找合适的方法缩短检测时间也是亟需解决的问题.

作者简介

许玉格

华南理工大学自动化科学与工程学院副教授. 主要研究方向为机器学习与智能计算. E-mail: xuyuge@scut.edu.cn

钟铭

华南理工大学自动化科学与工程学院硕士研究生. 主要研究方向为深度学习, 计算机视觉. E-mail: tdlming@163.com

吴宗泽

深圳大学机电与控制工程学院教授. 主要研究方向为自动控制, 信号处理, 大数据, 知识自动化, 人工智能. 本文通信作者. E-mail: zzwu@szu.edu.cn

任志刚

2016年获得浙江大学控制理论与控制工程专业博士学位. 主要研究方向为最优控制, 知识自动化, 人工智能. E-mail: renzhigang@gdut.edu.cn

刘伟生

2019年获得西安交通大学电子与信息工程学院硕士学位. 主要研究方向为深度学习, 工业质检. E-mail: liuweisheng1992@outlook.com