引用本文

邓泽林, 刘行, 董云龙, 袁烨. 无纺布疵点实时检测技术与系统设计. 自动化学报, 2021, 47(3): 583−593 doi:  10.16383/j.aas.c200446

Deng Ze-Lin, Liu Xing, Dong Yun-Long, Yuan Ye. Non-woven fabric real-time defects detection method and framework design. Acta Automatica Sinica, 2021, 47(3): 583−593 doi:  10.16383/j.aas.c200446

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200446

关键词

疵点检测，卷积神经网络，实时处理，分布式架构 

摘要

无纺布生产过程中产生的疵点会严重影响产品质量并限制生产效率. 提高疵点检测的自动化程度对于无纺布的生产效率和质量管控至关重要. 传统疵点检测方法难以应对纹理、疵点类型以及环境变化等问题, 限制了其应用范围. 近年来基于卷积神经网络的方法在疵点检测领域得到了广泛应用, 具有泛化性强、准确度高的特点. 但是在无纺布生产过程中, 布匹宽度大、速度快的特点会产生大量图像数据, 基于卷积神经网络的方法难以实现实时检测. 针对上述难题, 本文提出了一种基于最大稳定极值区域分析与卷积神经网络协同的疵点实时检测方法, 并设计了分布式计算处理架构应对数据流过大的问题. 在实际生产部署应用中, 本文所设计的系统与算法无需使用专用计算硬件(GPU、FPGA等), 通过8台工控机与16路工业摄像头对复卷机上布宽2.8 m、速度30 m/min的无纺布进行分布式实时在线检测, 大幅度提高无纺布生产中疵点检测的自动化程度与效率. 本文所提出的系统能够实现对0.3 mm以上疵点召回率100%, 对0.1 mm丝状疵点召回率98.8%.

文章导读

无纺布具有强度高、透气性好、质地柔软等优点, 是生产口罩、干湿擦布等医用纺织品的重要原材料[1]. 在无纺布实际生产制造过程中, 质量检测至关重要. 现阶段国内主流的无纺布质量检测环节大量依赖人工来完成, 用工成本高且自动化程度低下, 导致效率难以提升. 无纺布的产量大, 实际铺网生产速度可高达几十米/min. 而无纺布的瑕疵尺度通常小于0.5 mm (如图1所示), 导致人工检测的难度大、检出率低. 根据李比希最低定律[2], 如果质量检测员的检测效率远低于生产效率, 则上游的无纺布生产设备难以发挥全部性能. 人工检测方式不仅制约了无纺布产能, 而且在长时间检测中质检员也易发生视觉疲劳, 给产品质量上引入了严重隐患. 因此开展对无纺布瑕疵自动检测的研究, 对提高无纺布的生产效率和质量管控具有深远意义.

图 1  无纺布生产过程中产生的瑕疵, 第1行为点状疵点, 第2行为丝状瑕疵

目前对布匹缺陷检测方法主要可分为4类[3]: 基于频谱、基于统计、基于模型和基于学习等方法. 基于频谱主要是通过傅里叶变换[4]、小波变换[5-6]和Gabor[7-8]变换等. 通过傅里叶变换的方法无法在空间上定位瑕疵位置. 而小波变换和Gabor变换的计算开销大, 难以用于生产过程中的实时检测. 基于统计学是通过直方图统计[9-10]、灰度共生矩阵和形态学方法对疵点进行特征描述, 这类方法[11]计算开销小, 但是对光照等噪声敏感, 其错检、漏检率较高. 基于模型的方法是通过自回归模型和马尔科夫随机场模型[12], 判断织物的纹理是否符合此模型. 但是基于模型的方法实用性不强, 近几年对其研究较少.

近年来随着深度学习技术的发展, 基于深度学习的方法在布匹疵点[13-14]以及其他各类缺陷[15-16]的检测中都取得了很好的效果. 同时也有大量的公开数据集[17-19], 为织物疵点检测技术的发展提供了数据上的支持. 基于学习的检测方法可分为候选区域的两阶段式和端到端的单阶段式, 其中候选区域的两阶段式检测方法有着很高的召回率, 广泛应用于包括布匹瑕疵在内的各类缺陷检测任务中. 基于区域卷积神经网络 (Region convolutional neural network, R-CNN)[20]的布匹瑕疵检测方法通过滑窗将高分辨的布匹图像裁剪成2000余个48×48像素的图像块, 并将图像块作为输入, 以神经网络作为一个二元分类器判断输入的图像块是否存在瑕疵. 但是这种方法的计算开销大, 难以用于实时检测中. 基于Fast R-CNN[21-22]的布匹瑕疵检测算法, 通过在高层的特征图中选取候选区域以提高效率. 但是无纺布的缺陷尺寸通常小于0.5 mm, 在经过卷积后的高层特征图中存在细节纹理信息丢失, 因此这种方法选取的候选区域容易遗漏缺陷区域.

目前对于无纺布疵点检测的研究较少, 主要使用边缘检测与动态阈值相结合的经典机器视觉方法[23]. 这种方法有较高的检测效率, 但是精度和召回率都较低. 研究人员对于织物的疵点检测展开了大量研究, 基于深度神经网络的方法有效地提升了检测的召回率和精度, 但检测效率依然低下. 对于256×256像素的织物图像平均检测耗时达198 ms[24], 无法满足无纺布的实时检测要求. 无纺布生产过程中, 布匹宽度大、传送速度快的特点会产生大量图像数据, 基于卷积神经网络的织物疵点检测方法难以满足无纺布检测的实时性. 因此, 目前已有的基于深度学习的织物检测方法无法直接应用于无纺布的实时检测中.

综上所述, 基于传统机器视觉的检测方法计算开销大或难以适应噪声的干扰. 对于无纺布中尺寸微小的疵点, 目前基于神经网络的布匹检测方法难以平衡检测的召回率和效率. 本文提出了一种基于最大稳定极值区域分析和深度学习协同的无纺布瑕疵检测方法, 能够同时兼顾检测的精度与效率. 本文主要贡献如下:

1) 提出了一种基于最大稳定极值区域和深度学习协同的无纺布瑕疵检测方法, 可用于无纺布生产过程的瑕疵实时检测.

2) 通过最大稳定极值区域 (Maximally stable extremal regions, MSER)[25]算法提取候选区域的锚点中心. 在不降低分辨率和检测精度的情况下, 有效地提高检测的效率.

3) 设计了一种分布式无纺布疵点实时检测系统, 降低对计算能力与通信带宽的需求, 提高了系统运行的可靠性.

图 3  本文采用的预检测模型结构图. 输入疵点图像经过三个不同尺度的卷积后得到三个特征图, 特征图拼接后作为稠密连接模块的输入. 稠密连接模块输出与全连接层和softmax层相连. 其中虚线矩形框出部分为展开稠密连接模块的具体形式

图 8  系统分布式设计结构

无纺布的质量检测问题直接关系到其生产效率与质量. 为了提高无纺布生产过程中疵点检测的自动化程度, 本文提出了一种基于最大稳定极值区域与卷积神经网络协同的疵点实时检测系统. 针对无纺布生产过程中, 布匹宽度大、速度快的特点. 系统通过预检测与精确检测两级检测机制, 两级检测分别使用不同结构的模型, 在不影响检测效率的情况下精确地检测无纺布中的疵点. 并通过分布式计算处理架构设计, 解决了高速工业摄像头产生视频流数据过大的问题. 实验证明本文提出的算法对疵点的检测精度高, 且可达到实时的检测效率. 本文提出的系统对于0.3 mm以上疵点召回率100%, 对0.1 mm丝状疵点召回率98.8%, 完全能够满足无纺布生产现场疵点检测的效率与精度要求, 可广泛地推广应用于无纺布生产的疵点实时监测中. 目前对于无纺布疵点的清除工作还依赖于人工, 下一步将在本文的基础上, 对检测出的疵点通过机械装置进行去除, 进一步提高无纺布生产的自动化水平.

作者简介

邓泽林

2018年获得华中科技大学数学与统计学院学士学位. 2020年获得中国香港城市大学商学院硕士学位. 主要研究方向为深度学习在智能制造中的应用. E-mail: dengzelinhust@gmail.com

刘行

华东理工大学信息科学与工程学院硕士研究生. 2020年获华东交通大学电气与自动化工程学院学士学位. 主要研究方向为深度学习, 智能控制与图像处理. E-mail: prevalent98@outlook.com

董云龙

华中科技大学人工智能与自动化学院博士. 2017年获华中科技大学自动化学院学士学位. 主要研究方向为深度学习, 控制理论和机器人. E-mail: dyl@hust.edu.cn

袁烨

2008年获得中国上海交通大学自动化系自动化学士学位. 分别于2009年10月和2012年2月在英国剑桥剑桥大学工程系控制科学与工程硕士学位与博士学位. 现任中国武汉华中科技大学教授. 曾担任加州大学伯克利分校博士后研究员, 剑桥大学达尔文学院的初级研究员. 主要研究方向为信息物理系统的系统识别和控制. 本文通信作者. E-mail: yye@hust.edu.cn