引用本文

余烨, 傅云翔, 杨昌东, 路强. 基于FR-ResNet的车辆型号精细识别研究.自动化学报, 2021, 47(5): 1125-1136 doi: 10.16383/j.aas.c180539

Yu Ye, Fu Yun-Xiang, Yang Chang-Dong, Lu Qiang. Fine-grained car model recognition based on FR-ResNet. Acta Automatica Sinica, 2021, 47(5): 1125-1136 doi: 10.16383/j.aas.c180539

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180539

关键词

车辆型号精细识别，卷积神经网络，残差结构，特征重用

摘要

车辆型号精细识别的关键是提取有区分性的细节特征. 以"特征重用"为核心, 以有效提取车辆图像细节特征并进行高效利用为目的, 提出了一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse). 该网络以ResNet残差结构为基础, 分别采用多尺度输入、低层特征在高层中重用和特征图权重学习策略来实现特征重用. 多尺度输入可以防止网络过深导致性能退化以及陷入局部最优; 对各层网络部分加以不同程度的特征重用, 可以加强特征传递, 高效利用特征并降低参数规模; 在中低层网络部分采用特征图权重学习策略, 可以有效抑制冗余特征的比重. 在公开车辆数据集CompCars和StanfordCars上进行实验, 并与其他的网络模型进行比较, 实验结果表明FR-ResNet在车辆型号精细识别任务中对车辆姿态变化和复杂背景干扰等具有鲁棒性, 获得了较高的识别准确率.

文章导读

随着车辆的普及、交通运输技术以及智能交通系统的发展, 车辆识别作为计算机视觉、图像处理技术应用方面的重要研究课题, 具有较大的学术价值和应用前景.无论是无人驾驶[1]、停车场自动收费还是公安部门对特定车辆的大范围检索[2], 在不断上升的需求以及相关硬件设备性能升级的刺激下, 车辆识别在效率和精度上的要求也在不断提高. 套牌车、车牌污损、车标改装和违规喷漆等情况的存在使得单独的车牌、车标[3]等识别技术难以奏效, 而车辆型号包含车辆品牌、车辆类型、所属系列和年代款式等信息, 其识别属于精细识别的范畴, 需要能识别出不同车辆之间的微小差异. 因此, 车辆型号精细识别将成为新一轮的研究聚焦点, 为智能交通部门及交管执法部门提供更好的解决方案.

目前, 车辆型号精细识别尚面临如下挑战:

1) 车型种类繁多.目前国内已登记的车辆型号种类多达上万种, 即使是在一个中等大小的城市, 路面上常见的车辆型号也有上千种[4].

2) 易受车辆姿态、拍摄环境的影响.真实环境中, 车辆的姿态是不固定的, 所在场景、环境光照也各不相同.车辆姿态和环境的变化给车型识别增加了难度.

3) 车辆型号之间区分难度大.不同于ImageNet[5]图像数据集中各分类对象种类间差异较大, 车辆型号识别对象均为四轮汽车, 即使目前数据集中的类别数量不足1 000, 对应分类任务的难度仍不低于ImageNet分类任务.此外, 部分车辆型号相互之间差别很小, 这种细微的差距不仅存在于同品牌不同型号之间, 不同品牌之间也有区分度很小的车型存在.如: 图 1 (a)中的2018款的奥迪A4L和奥迪A6L, 它们的区别仅在于大灯和雾灯; 图 1 (b)中的奇瑞QQ3和雪佛兰乐驰, 它们的外形极其相似, 区别仅在于散热格栅和雾灯部分.

图 1  相似车型的例子

传统采用尺度不变特征变换(Scale-invariant feature transform, SIFT)[6]、方向梯度直方图(Histogram of oriented gradients, HOG)[7]等手工特征描述子的方法来实现特征提取, 将提取到的特征利用分类器进行训练, 以实现分类识别.这类方法易受光照、车辆姿态、噪声和背景等影响, 鲁棒性不强.此外, 无论是利用车前脸、车后脸还是它们的部分来进行车型识别, 用手工特征描述子均难以描述, 这是因为识别对象需要综合车灯、车栅格等诸多细节特征来进行判断, 而手工描述子很难统一提取这些细节部位的特征.深度学习能够自动学习大量数据的特征[8], 借助于大数据, 可以大大提升识别效率与精度, 在人脸识别[9]、行人检测[10]、目标分类与发现[11]、图像精细分类[12]等领域已经取得了很大的成功.研究成果表明, 深度卷积神经网络在车辆型号识别领域的应用可以获得很好的识别效果.

虽然目前已有基于深度学习的商用车型识别系统投入实际使用, 但其针对的识别对象为卡口监控中获取的车辆正脸图像, 姿态变化很小. 实际智能交通应用中, 涉及的车辆图像包含从多个角度拍摄的图像, 因此, 如何基于多姿态车辆图像进行车辆精细型号的识别, 具有十分重要的研究价值和现实意义.

针对多姿态车辆型号的精细识别, 本文提出一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse), 该网络具有以下特点:

1) 网络采用残差结构作为基础, 在加深网络层数的同时, 不必担心梯度爆炸问题和随着层数增加发生准确率下降的网络退化问题.

2) 添加多尺度信息输入, 加强图像多尺度特征融合, 防止网络陷入局部最优.

3) 对不同层网络特征采取不同程度的特征重用, 将上一层特征与当前层特征进行融合, 以促进特征流动, 提高其利用率, 有效缩减所需参数数量.

4) 在底层网络中采用特征图权重学习策略, 在图像处理初期对特征通道的重要程度进行排序, 使有效特征得到更大激励并传递下去.

采用目前流行的大型车辆图像数据集CompCars和StanfordCars为测试数据, 在此之上进行一系列实验.实验结果表明FR-ResNet在车辆型号识别方面性能优于其他一些经典的卷积神经网络(Convolutional neural network, CNN)模型. 例如在CompCars数据集上, VGG16[13]获得了92.4%的准确率, ResNet[14]获得了93.7%的准确率, 而本文提出的FR-ResNet的准确率达到了95.1%.

图 2  残差函数拟合关系

图 6  特征重用过程

本文针对车辆型号精细识别问题进行研究, 提出了以残差结构为网络主体结构, 以特征重用为主要思想的方法, 并基于此设计了深度卷积神经网络模型FR-ResNet. FR-ResNet采用了多尺度数据输入、低层特征在高层中重用和特征图权重学习三大策略, 有效阻止了网络训练的退化以及陷入局部最优解, 提高了对网络中有效特征的利用率, 减轻了冗余信息的干扰. 在CompCars和StanfordCars两大公开数据集上的测试结果表明FR-ResNet在车辆型号精细识别上具有较高的识别精度, 高于其他的一些网络模型. 此外, FR-ResNet在车辆姿态变化、复杂背景干扰、训练样本减少时, 具有一定的鲁棒性.

本文中提出的三大改进策略也可以应用于其他精细识别任务, 针对类间差小、种类繁多的目标, 设计出具有针对性的卷积神经网络模型.

作者简介

傅云翔 

合肥工业大学计算机与信息学院硕士研究生. 2016年获得合肥工业大学计算机与信息学院学士学位. 主要研究方向为图像处理, 计算机视觉与深度学习.E-mail: yasinfu@mail.hfut.edu.cn

杨昌东

合肥工业大学计算机与信息学院硕士研究生. 2017年获得黄山学院信息工程学院学士学位. 主要研究方向为图像处理, 计算机视觉与深度学习.E-mail: 2017170766@mail.hfut.edu.cn

路强

合肥工业大学计算机与信息学院副教授. 2010年获合肥工业大学计算机科学与技术专业博士学位. 主要研究方向为可视化, 协同计算与图像处理.E-mail: luqiang@hfut.edu.cn

余烨

合肥工业大学计算机与信息学院副教授. 2010年获合肥工业大学计算机科学与技术专业博士学位. 主要研究方向为图像处理, 计算机视觉, 虚拟现实与可视化. 本文通信作者.E-mail: yuye@hfut.edu.cn