引用本文

刘进博, 朱新新, 伍越, 杨凯, 陈卫.基于神经网络和支持矢量机的多机动车车牌在线检测方法.自动化学报, 2021, 47(2): 316-326 doi: 10.16383/j.aas.c180753

Liu Jin-Bo, Zhu Xin-Xin, Wu Yue, Yang Kai, Chen Wei. An on-line method for multi-license plates recognition based on neural network and support vector machine. Acta Automatica Sinica, 2021, 47(2): 316-326 doi: 10.16383/j.aas.c180753

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180753

关键词

多车牌检测识别，BP神经网络，支持矢量机，颜色识别，字符分割 

摘要

针对道路交通多车牌识别问题, 提出了一种快速鲁棒的多车牌检测识别方法, 包括多车牌检测和车牌字符识别两部分:构造BP (Back-Propagation)神经网络模型用于颜色识别, 结合图像形态学运算方法, 筛选候选车牌目标, 基于支持矢量机从候选车牌目标中判别真正的车牌目标; 通过轮廓尺寸判断, 并结合车牌尺寸特征, 依次分割提取城市代码字符块、省份代码字符块及5位机动车编码字符块, 最后基于BP神经网络识别字符块内容.基于上述原理, 开发了鲁棒的多机动车车牌自动检测识别系统, 并在真实场景中进行了实验测试, 结果表明: 1)车辆在正常速度行驶条件下, 系统依然可以保证90%以上的车牌检测识别正确率; 2)系统可实现同时多车牌检测识别; 3)文中实验硬件配置下, 系统单幅图像检测识别平均时间低于130 ms, 处理频率约8 Hz.

文章导读

车牌自动检测识别, 即通过对视觉传感器采集到的车辆图像进行分析处理得到车辆车牌信息的过程, 作为现代智能交通的重要组成部分, 已被广泛应用于交通监控、车辆管理、电子收费等领域[1-5].

车牌的检测识别分为车牌检测和车牌识别两部分.车牌检测的任务是从图像中获取车牌目标图像, 现有的车牌检测方法可分为以下几类: 1)基于颜色信息的车牌检测方法, 准确率高、较为鲁棒, 但易受光照影响[6-10]; 2)基于边缘检测的车牌检测方法, 适用范围广, 但计算量较大且对车牌目标图像边框的连续性要求较高[11-15]; 3)基于形态学的车牌检测方法, 计算量非常大且易受噪声影响, 一般不单独使用[16-21]; 4)基于灰度图像纹理特征的车牌检测方法, 速度快, 但对噪声非常敏感, 且由于损失了颜色信息, 定位精度受到一定程度的影响[22-28]; 5)基于机器学习的车牌检测方法, 耗时长, 难以实现在线检测[29-32].车牌识别的任务是从检测到的车牌图像中获取车牌内容, 按处理过程可分为字符块分割提取和字符识别两部分.字符块分割提取是将字符块从车牌目标图像中逐一分割提取出来, 并按顺序排列, 最常见的字符块分割提取算法包括:垂直投影法[33]和连通域搜索法[34-35]; 字符识别是对已分割提取出的字符块进行内容解析的过程, 目前最为常用的是基于分类器的字符识别算法.

现有的车牌检测识别方法主要是针对停车场、住宅小区、高速收费站等场合的车辆自动注册及收费, 属于单机动车车牌检测识别, 而且背景相对简单, 易于识别.而对于大视场监控且背景复杂的场景, 单机动车车牌检测识别方法无法直接应用, 比如道路交通监控, 所监控的区域内一般存在多个机动车目标, 背景也相对复杂.针对上述问题, 本文提出了一种基于BP神经网络和支持矢量机的多机动车车牌在线检测识别算法, 主要贡献如下: 1)构造了用于颜色识别的神经网络模型, 相比基于色调经验值的颜色识别方法, 该方法在准确性、计算效率和鲁棒性方面均有提升; 2)融合了颜色二值化、图像滤波、形态学运算等多种行之有效的图像预处理算法, 并采用SVM对候选车牌目标进行判别, 使得车牌检测准确率有较大幅度的提升; 3)基于车牌尺寸特征提出了一种新的字符块分割提取策略, 相比垂直投影法和连通域搜索法, 该方法更为鲁棒; 4)构造了用于字符识别的神经网络模型, 以字符块图像灰度直方图作为输入特征, 保证了字符识别的准确性; 5)开发了多机动车车牌自动检测识别系统, 并在真实场景中进行了实验测试, 取得了预期效果.

图1 颜色二值化

图2 颜色识别原理

图3 中值滤波

针对道路交通中的多机动车车牌识别问题, 提出了一种基于BP神经网络和支持矢量机的多机动车车牌在线检测识别方法, 在此基础上开发了一套鲁棒的多机动车车牌在线检测识别系统, 对多机动车车牌识别准确率高于90%, 处理频率约8Hz, 并且可抵抗一定程度的环境干扰.该系统主要贡献如下:

1) 发挥了SVM在处理"true or false"问题中的优势, 相比人工神经网络, 在样本容量有限的情况下, 可提高车牌判别正确率, 缩短车牌判别时间;

2) 基于BP神经网络对像素颜色进行判别, 可在一定程度上弥补由于相机成像色差导致的颜色分类错误;

3) 提出了一种有效的图像预处理、车牌定位及筛选和字符分割策略.

当前系统在以下三个方面仍需要进一步完善:

1) 当车牌在图像中有较大旋转时, 系统无法准确定位车牌区域, 下一步考虑加入图像矫正技术, 削弱图像旋转对车牌定位的影响;

2) 仅使用图像颜色信息进行车牌检测, 当车牌区域色差严重时, 系统无法准确定位车牌区域, 下一步考虑融合图像灰度梯度信息, 提高车牌定位鲁棒性;

3) 将深度学习应用于车牌字符识别中, 以提高字符检测正确率.

作者简介

刘进博

中国空气动力研究与发展中心超高速空气动力研究所助理研究员. 2016年获得国防科技大学航空宇航科学与技术专业博士学位.主要研究方向为计算机视觉.E-mail: liujinbo2088@163.com

伍越

中国空气动力研究与发展中心超高速空气动力研究所助理研究员. 2015年获得国防科技大学硕士学位.主要研究方向为信号处理. E-mail: wuyue_cardc@163.com

杨凯

中国空气动力研究与发展中心超高速空气动力研究所助理研究员. 2014年获得哈尔滨工业大学博士学位.主要研究方向为振动信号处理和高频脉动热流测试. E-mail: yg.hit@hotmail.com

陈卫

中国空气动力研究与发展中心超高速空气动力研究所助理研究员. 2015年获得国防科技大学博士学位.主要研究方向为光学测量. E-mail: chenweikeeping@163.com

朱新新

中国空气动力研究与发展中心超高速空气动力研究所助理研究员. 2013年获得国防科技大学硕士学位, 主要研究方向为气动热与热防护试验测试技术.本文通信作者. E-mail: xinxincomplex@126.com