引用本文

余烨, 金强, 傅云翔, 路强. 基于Fg-CarNet的车辆型号精细分类研究. 自动化学报, 2018, 44(10): 1864-1875. doi: 10.16383/j.aas.2017.c170109

YU Ye, JIN Qiang, FU Yun-Xiang, LU Qiang. Fine-grained Classification of Car Models Using Fg-CarNet Convolutional Neural Network. ACTA AUTOMATICA SINICA, 2018, 44(10): 1864-1875. doi: 10.16383/j.aas.2017.c170109

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170109

关键词

车辆型号精细分类，卷积神经网络，多维度特征融合，分块并行 

摘要

车辆型号识别在智能交通系统、涉车刑侦案件侦破等方面具有十分重要的应用前景.针对车辆型号种类繁多、部分型号区分度小等带来的车辆型号精细分类困难的问题，采用车辆正脸图像为数据源，提出一种多分支多维度特征融合的卷积神经网络模型Fg-CarNet（Convolutional neural networks for car fine-grained classification，Fg-CarNet）.该模型根据车正脸图像特征分布特点，将其分为上下两部分并行进行特征提取，并对网络中间层产生的特征进行两个维度的融合，以提取有区分度的特征，提高特征表达能力，通过使用小卷积核以及全局均值池化，使在网络分类准确度提高的同时降低了网络模型参数大小.在CompCars数据集上进行验证，实验结果表明，Fg-CarNet提取的车辆特征在保证网络模型参数最小的同时，车辆型号识别率达到最高，实现了最好的分类效果.

文章导读

车牌、车标、车型等车辆特征识别是智能交通领域的重要研究分支, 在违法犯罪车辆跟踪[1]、交通流量统计[2]、收费站自动收费等方面发挥着重要的作用.由于盗牌、无牌、污损车牌车辆的存在, 使得车牌识别不能发挥应有的作用.车标所占比例过小, 用于描述车标特征的像素有限, 且实际卡口监控系统中的车标定位是一个尚无成熟解决方案的难题, 此外, 车标也容易被替换、污损, 因此, 车标可以作为车辆识别的辅助特征, 而不是唯一特征.目前, 车辆唯一不易被伪装的特征是``车型'', 其发挥的作用不可小觑.车型识别为事故逃逸、套牌、假牌车辆等的发现和追踪提供辅助手段, 为交通管理执法部门提供重要判断依据, 因此具有巨大的研究价值和应用前景.

对车型的理解有两种, 车辆类型和车辆型号, 车辆类型一般包含客车、卡车、轿车等分类, 车辆型号指车辆的具体款式, 例如, 轿车中的大众品牌, 里面有帕萨特、途观等型号.车辆型号识别是一个典型的精细分类问题, 其研究面临很大的挑战, 这是因为: 1)车辆型号种类繁多.当前路面上常见的车辆型号达1 000多种以上, 种类越多意味着分类难度越大. 2)部分车辆型号区分度小.同一品牌中不同子型号的车辆存在外观差异度极小的情况, 且不同品牌中两种子型号的车辆也存在外观极其相似的情况.差异度小意味着类间方差小, 需要提取更深层次、更抽象的特征才能实现其分类. 3)图像受环境干扰大.实际卡口监控系统中获取的车辆图像, 由于受周围环境、天气、光照等影响, 干扰较大, 增加了车辆型号识别的难度.

传统基于手工设计的特征提取方式往往由于关注点片面、抽象能力不足, 无法提取有区分度的特征对车辆型号进行描述.随着Hinton等[3]提出无监督逐层训练方法以来, 为训练深层神经网络提供了思路, 且随着近年来计算机硬件的发展, 运算能力大大增加, 使训练更深层次的神经网络成为可能, 从而掀起了一股深度学习的热潮.卷积神经网络作为一种多层前馈深度学习模型, 由于其可以直接以图像为输入, 自动学习特征, 从而避免了手工设计特征抽象能力、区分度不足的问题, 在计算机视觉、图像处理等众多领域得到了广泛应用, 如目标跟踪[4]、图像分类[5]、语义分割[6]和行为识别[7]等.

在车辆型号识别中, 考虑到实际智能交通系统中获取的监控图像大部分是车辆正脸的照片, 且车辆正脸部分是车辆最具有区分度的区域, 因此, 本文以车辆正脸照片为数据源, 对车辆型号进行精细分类研究.

针对车辆正脸图像的特点进行分析, 由于车辆正脸图像特征分布不均, 尤其体现在上下两部分上, 为避免相同卷积核操作对上下两部分特征提取粒度不同, 以造成有用特征损失的问题, 针对车辆型号的精细分类, 设计了一种多分支多维度特征融合的卷积神经网络模型Fg-CarNet (Convolutional neural networks for car fine-grained classification, Fg-CarNet). Fg-CarNet具有如下特点: 1)针对车辆正脸图像上下两部分设计不同的子网络, 并对上层子网络单独设置辅助损失函数, 使卷积神经网络能够在车脸图像不同区域提取不同的且具有区分度的特征. 2)利用上下子网络中提取的不同特征的组合, 以及多尺度卷积核特征的组合, 进一步提高了卷积神经网络的识别准确率. 3)网络中主要使用小尺寸卷积核来优化网络结构, 同时加入全局均值池化的方法, 使得网络在准确率提高的同时降低了网络参数的数量, 从而降低了网络过拟合的风险, 提高了网络的实用性.

图 1  车辆身份相关的识别工作

图 2  Fg-CarNet网络结构示意图

图 3  三类神经网络模型中层激活值可视化图

针对卡口图像中车辆型号精细分类问题进行研究, 提出了Fg-CarNet深度卷积神经网络模型, 以提取有区分度的特征, 提高车辆型号精细分类的准确性. Fg-CarNet的主要特点是: 1)采用分块并行的方式, 分别用UpNet和DownNet两个分支网络对车正脸图像的上下两部分进行特征提取, 提高特征提取的有效性; 2)对提取的车正脸图像的上下两部分特征进行了两个维度的融合, 提高了特征的表达能力; 3)网络使用小卷积核及全局均值池化代替了传统的全连接网络实现特征向结果的映射, 大大地降低了模型的参数规模.实验结果表明, 本文提出的Fg-CarNet能够以较少的参数提取具有区分度的车辆精细特征, 在分类性能上表现优异, 具有实用价值.此外, 本文提出的分区域特征提取和多维度特征融合的方法, 对其他不同区域间关联度低物体的精细分类问题也提供了思路.

作者简介

金强

合肥工业大学计算机与信息学院硕士研究生.2015年获得合肥工业大学学士学位.主要研究方向为图像处理, 计算机视觉与模式识别.E-mail:ksstrong@mail.hfut.edu.cn

傅云翔  

合肥工业大学计算机与信息学院硕士研究生.2016年获得合肥工业大学学士学位.主要研究方向为图像处理, 计算机视觉与深度学习.E-mail:yasinfu@mail.hfut.edu.cn

路强  

合肥工业大学计算机与信息学院副教授.2010年获合肥工业大学博士学位.主要研究方向为可视化, 协同计算与图像处理.E-mail:luqiang@hfut.edu.cn

余烨  

合肥工业大学计算机与信息学院副教授.2010年获得合肥工业大学博士学位.主要研究方向为图像处理, 计算机视觉, 虚拟现实与可视化.本文通信作者.E-mail:yuye@hfut.edu.cn