引用本文

陈文帅, 任志刚, 吴宗泽, 付敏跃. 基于深度学习的极性电子元器件目标检测与方向识别方法. 自动化学报, 2021, 47(7): 1701-1709 doi: 10.16383/j.aas.c190037

Chen Wen-Shuai, Ren Zhi-Gang, Wu Zong-Ze, Fu Min-Yue. Detecting object and direction for polar electronic components via deep learning. Acta Automatica Sinica, 2021, 47(7): 1701-1709 doi: 10.16383/j.aas.c190037

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190037

关键词

电子制造，深度学习，方向识别，目标检测，Faster RCNN 

摘要

极性电子元器件的类别、方向识别、定位在工业生产、焊接和检测等领域发挥着至关重要的作用. 本文首先将极性电子元器件的方向识别问题转化为一个分类问题, 然后, 采用Faster RCNN (Region convolutional neural network) 与YOLOv3方法实现了极性电子元器件的准确分类、方向识别和精准定位. 实验取得良好的效果, 两种算法的平均准确率(Mean average precision, mAP) 分别达到97.05 %、99.22 %. 此外, 我们通过数据集目标框的长宽分布, 利用K-means算法对Faster RCNN和YOLOv3的Anchor boxes进行了改进设计, 使准确率分别提高了1.16 %、0.1 %, 并提出针对大目标检测的网络结构: YOLOv3-BigObject, 在提高准确率的同时, 将检测单张图片的时间大幅缩减为原来检测时间的一半, 并最终用焊接有元器件的电路板进行检测, 得到了很好的实验结果.

文章导读

电子元器件是电子设备的重要基础组成部分, 在其生产、回收、焊接与检测中, 首先需要对元器件进行正确分类. 此外, 在焊接和检测元器件的过程中, 还需要对极性电子元器件的方向进行准确识别. 因此, 对电子元器件正确分类的同时能够对极性电子元器件的方向进行识别具有重要的研究意义[1]. 但随着电子元器件制造工艺的提高与需求的多样化, 电子元器件变得更加微型化、多样化, 这为电子元器件的分类与检测方向等问题带来了更严峻的挑战.

2012年之前, 图像分类和目标检测一度进入瓶颈期, 发展相对停滞. 随着计算机视觉的快速发展, 深度学习在目标检测方面也取得了巨大的成功. 得益于此, 深度学习在计算机视觉方向的算法不断更新迭代, 在文字识别[2]、医学图像识别[3-4]等方面得到了广泛运用. 2012年, Krizhevsky等[5]提出了一个称为AlexNet的深度卷积神经网络(Deep convolutional neural network, DCNN), 其在大规模的视觉识别挑战(ImageNet large-scale visual recognition challenge, ILSVRC) 中实现了破纪录的图像分类精度, 成为深度学习发展的一个重要里程碑. 从此, 深度学习进入高速发展阶段, 许多计算机视觉应用领域的研究也都集中在深度学习方法上[6], 其中包括目标检测及图片背景消减技术[7].

深度学习在目标检测领域的目标检测方法[8]可分为基于候选区域的目标检测方法和基于回归的目标检测算法. 基于候选区域的检测方法采用了卷积神经网络代替人工特征的提取[9], 常用的候选区域提取办法有Selective Search[10]和Edge Boxes[11]. 常用来提取特征图的网络结构有VGG (Visual geometry group)[12]、ResNet[13]等. Faster RCNN (Region convolutional neural network)[14]是最具有代表性的算法之一, Faster RCNN为了减少Selective Search和Edge Boxes提取候选区域的时间, 结合全卷积设计的候选区域思想[15], 提出了用区域侯选网络(Region proposal networks, RPN)计算候选框, 不仅提高了候选区域的质量与准确率, 还将检测时间减少为原来的1/10. 基于候选区域的目标检测方法需要分两步去分别训练两个复杂的卷积结构, 虽然检测精确, 但其有在训练与检测速度上缓慢的缺点. 基于回归的目标检测算法为了解决这个缺点, 不通过生成区域建议的方式, 直接将目标检测的相关问题转化为回归问题[16], 其结构相对简单, 实时性更好, 最具有代表性的算法有SSD (Single shot multibax dctector)[17]和YOLO (You only look once)系列算法[18-20]. YOLO算法简单地将图像均匀分为7×7个部分, 再利用卷积神经网络检测每一个部分是否有目标, 最后对目标类别与位置进行预测. YOLO就是通过节省生成区域建议的时间来大幅提高检测速度, 但这也会对其精度带来一定的影响.

目前对于电子元器件分类研究的算法, 主要分为两大类, 如图 1所示, 一类是基于传统的图像分类的方法, 首先输入图像、然后经过复杂的程序提取图像的特征, 再根据提取出来的特征进行分类. 如杜思思等采取将最小二乘法和Hough变换相结合[21], 得到一种改进的直线段精确检测算法. 另外一类是基于深度学习的分类方法, 首先输入图像、然后经过卷积神经网络自动提取特征生成特征图、再根据特征图进行目标的定位与分类. 如陈翔等[22]提出了一种基于卷积神经网络(AlexNet)的电子元器件分类方法, 其可以直接在输人图像上进行自动特征学习和分类, 弥补了传统元件分类方法存在部分缺陷, 但只能对图片进行分类, 不能运用到单幅有多目标的场景并对目标进行定位. 第1类传统的图像分类方法需要提取图像的多种特征, 要对每一种类别的元器件找出其表示的特征, 如蜂鸣器的特征用圆表示等. 其有以下缺点: 1) 传统图像分类方法对于图像的对比度要求很高, 模糊、灰度化不明显、灰度不均匀等情况都会增加识别的误差; 2) 对特征相似的目标识别效果不佳, 比如同样类别的不同型号的元器件分辨准确率低; 3) 需要人工提取特征, 无法对包含上百种海量数据进行分类, 每多一种分类, 计算复杂度就上升一个等级. 第2类基于深度学习的分类算法, 虽然有随着深度学习网络的加深计算量不断加大的缺点, 但融入了反向传播[23]、权值共享、稀疏连接、池化、Dropout[24]等思想, 简化了操作, 并且大大降低了神经网络参数的量级, 一定程度上减轻了计算量, 使其更易于训练, 而且深度学习算法能够自动的提取图像特征, 自动学习各种各样的表征特征纹理, 甚至能够表达完整的目标物, 比人工提取的特征更具有描述力, 其对于目标的理解的概念分布在神经网络不同的层中, 最后形成了对不通目标物体的整体感知, 并根据感知同时对目标进行分类与定位.

图 1  基于传统和深度学习图像分类方法模型

本文的主要贡献主要有以下三个方面: 1)首次提出基于深度学习极性电子元器件类别与方向识别方法. 通过把方向识别问题转化为分类问题, 利用先进的目标检测算法进行分类, 平均准确率(Mean average precision, mAP) 最优高达99.44 %. 2)提出一种基于数据集设计遍历框(Anchor boxes)的方法. 根据训练集目标框长宽的分布结合算法提供的框来选取Anchor boxes的个数与大小. 3)提出YOLOv3-BigObject算法模型. 对于大目标的数据集, 通过对Anchor boxes大小与个数的分析, 压缩YOLOv3的算法框架, 减少了训练复杂度与时间, 大幅减少对单张图片的检测时间.

本文组织架构如下: 首先, 在第1节对数据集的构建与内容进行了详细介绍. 在第2节利用K-means算法, 基于数据集和目标检测算法设计了Anchor boxes的大小与个数. 在第3节提出用于大目标检测的YOLOv3-BigObject网络模型. 在第4节, 我们通过进一步实验分析, 验证了深度学习在该场景下的极性元器件方向识别的效果, 分析了用K-means算法设计Anchor boxes的效果以及YOLOv3-BigObject模型在检测时间上的提升效果, 并用焊接有元器件电路板视频检测算法实际效果, 最后, 对全文工作进行了总结和展望.

图 2  数据集1图片示例

图 4  方向识别转化为分类

本文提出了一种基于深度学习的算法, 实现了极性电子元器件的类别与方向检测. 实验结果表明, 我们所改进的深度学习算法在电子元器件的类别分类上比传统算法和卷积网络上表现得更好, 而且还能进一步识别类别的方向. 通过K-means算法设计Anchor boxes的方式提高了深度学习算法检测的准确率和速度. 本文也对YOLOv3网络结构进行了压缩改进, 其在检测大目标提高准确率的同时, 将检测时间几乎缩小到一半, 进一步达到实时检测的效果, 最后将算法模型运用到焊接有元器件的电路板上检测, 得到很好的效果. 本文所提出的方法在极性电子元器件类别、方向识别、定位、焊接和检测等方面也同样有很大的应用潜力. 虽然本文在极性电子元器件目标检测与方向识别上能够得到很好的识别效果, 但其仍然有很大的改进空间, 主要有两个方面: 一是类别增多问题, 二是方向识别提升精度问题. 在第一个方面, 类别增多使分类更加复杂, 未来可以进行如下展望: 1)建立更加庞大规范的数据集; 2) 在达到算法模型能够高准确率分类的最大类别数时, 对电路板进行划区域或划种类对模型进行训练. 在第二个方面, 如何进一步将方向识别的精度提升到具体多少度, 可以考虑下面几个方面: 1) 与其他回归方法结合的方式得到具体角度; 2)借鉴文本检测的思想, 用带角度(如: 与水平线夹角每转30°为一个Anchor) 的Anchor加上回归方法得到具体的角度; 3) 用语义分割的方法识别出每个元器件的区域, 再对元器件区域用传统图像处理的方法进行边缘检测等操作得到具体角度.

作者简介

陈文帅

广东工业大学自动化学院硕士研究生. 主要研究方向为深度学习, 计算机视觉. E-mail: 2111704068@mail2.gdut.edu.cn

任志刚

广东工业大学自动化学院副教授. 主要研究方向为最优控制, 知识自动化, 人工智能. E-mail: renzhigang@gdut.edu.cn

付敏跃

广东工业大学自动化学院教授, 澳大利亚纽卡斯尔大学终身教授.主要研究方向为自动控制, 信号处理和通信. E-mail: minyue.fu@newcastle.edu.au

吴宗泽

广东工业大学自动化学院教授. 主要研究方向为自动控制, 信号处理, 大数据, 知识自动化, 人工智能. 本文通信作者. E-mail: zzwu@gdut.edu.cn