引用本文

孟琭, 孙霄宇, 赵滨, 李楠. 基于卷积神经网络的铁轨路牌识别方法. 自动化学报, 2020, 46(3): 518−530 doi: 10.16383/j.aas.c190182

Meng Lu, Sun Xiao-Yu, Zhao Bin, Li Nan. An identification method of high-speed railway sign based on convolutional neural network. Acta Automatica Sinica, 2020, 46(3): 518−530 doi: 10.16383/j.aas.c190182

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190182

关键词

智能轨道交通，高铁路牌识别，深度学习，图像处理，目标检测 

摘要

轨道交通在我国综合交通运输体系中占有重要的地位, 随着人工智能的发展, 智能感知轨道交通周围环境的信息也变得越来越引人注目. 本文结合深度学习与图像处理的方法, 设计并实现了一种基于卷积神经网络的高铁轨道周边路牌数字识别的智能系统, 该系统通过在高铁驾驶室内安装摄像头的方式采集运行前方的视频, 并通过目标识别、语义分割等深度学习算法自动定位并识别路牌内的数字, 从而解决了之前人工处理的繁琐和低效率.本算法整体系统由三个子模块构成, 分别为目标检测模块、语义分割模块以及数字识别模块, 其中目标检测模块基于SSD (Single shot MultiBox dector)模型, 并对其进行了改进, 使其更适用于轨道交通中的小目标识别; 语义分割模块使用了全卷积的方式, 对目标检测的结果进一步处理, 准确得到路牌中的数字区域; 数字识别模块的设计参考了著名的识别MNIST数据集的手写体识别系统, 并针对路牌中数字的特点做了相应的改进, 实现了对每个数字的准确识别. 实验结果表明, 本系统可适应白天、夜间情况下轨道交通的路况, 识别的综合准确率为80.45 %, 其中, 白天的平均识别准确率为87.98 %, 夜间的平均识别准确率为72.92 %.

文章导读

近些年来, 中国的轨道交通行业发展十分迅速, 城市内、城市间轨道交通建设速度逐年提高, 运营里程和路网密度大幅提高[1]. 轨道交通行业的快速发展对效率的要求越来越高, 因此人工智能在这一领域的重要性也不断体现出来[2].

本文中高铁路牌的智能识别, 就来自于某省铁路局的实际需求. 高速铁路两旁每隔几米远就会有架设的高压输电线路保障列车有足够的动力, 而对每个输电架进行编号可以方便铁路保障人员对输电线路进行检修, 保证列车每天的正常运行. 线路维护人员会在列车驾驶室内放置摄像机拍摄铁路两旁的路牌(如图1所示), 然后再通过人工的方式对每个路牌编号进行手工记录, 其工作效率十分低下. 而且由于两个输电架之间的距离比较近, 通常只有几米, 而列车的速度最低可达120 km/h. 这使得每个路牌出现在视频中的时间通常不足1 s, 大大增加了人工识别的困难. 在这样的背景下, 通过利用人工智能进行自动的路牌定位与识别, 输出路牌上的数字以及在视频中出现的时间, 通过输出可以知道某一个输电架的具体位置, 方便人员的维修与保障, 显著的提高工作效率, 降低人工成本.

图 1  高铁运行过程中, 驾驶室内摄像头所拍摄的视频图像路牌内包含数字, 其范围为000～999

目前, 卷积神经网络在图像检测与识别领域应用广泛. Faster R-CNN, YOLO, Mask R-CNN等目标检测、分割算法的提出使得识别的精度与速度不断提高[3-8]. 应用卷积神经网络设计出的手写体数字识别网络的准确性也超过了传统机器学习算法[9-11]. 然而以上算法并不是面向智能轨道交通来设计的, 而本系统所要实现的目标有着轨道交通所特有的性质, 包括: 1)路牌的尺寸相对于整张图像来说, 比例非常小, 一般小于1 %, 这使得一般的目标检测算法识别准确率较低; 2)语义分割需要在一个尺寸为20×50 左右的矩形区域内, 实现精准的数字区域分割, 而语义分割算法例如Deeplab, Mask R-CNN算法都是在256像素 × 256像素或128像素 × 128像素的这样量级的矩形区域内实现比较粗线条的分割[12]; 3) MNIST是面向手写体设计的, 而路牌中是印刷体, 因此需要重新制作数据集并且在训练时候使用小型数字识别网络来保证检测速度. 因此, 本文在实际需求的驱动下, 改进了传统的SSD(Single shot MultiBox dector)模型[13], 使得新模型在本文数据集中平均精度均值(Mean average precision, mAP)达到80 %以上, 检测速度0.07 s/幅, 设计了新的语义分割模型, 同时兼顾了分割准确性以及速度和数字识别模型, 从而使得本系统适用于智能轨道交通的路牌识别.

图 2  系统整体结构图

图 3  路牌检测模块算法流程图

本文基于卷积神经网络, 面向智能轨道交通, 提出一个针对高铁运行过程中铁路两侧的路牌识别模型. 该模型由路牌区域检测模块、语义分割模块、数字识别模块组成, 从而实现对视频中每一帧图片进行检测、分割、分类、识别, 并对传统SSD模型进行改进, 实现小目标的识别, 对传统语义分割模型进行改进, 实现对小尺寸图像的精确分割. 实验表明, 本文方法能够以白天11.8 帧/s、黑天14.7 帧/s的速度对铁路两侧的路牌数字进行识别, 白天条件下的平均识别准确率为87.98 %, 黑天条件下的平均识别准确率为72.92 %.

作者简介

孟琭

东北大学信息科学与工程学院副教授. 2010年获东北大学博士学位. 主要研究方向为人工智能, 图像处理. E-mail: menglu@ise.neu.edu.cn

孙霄宇

东北大学信息科学与工程学院硕士研究生. 2017年获武汉科技大学学士学位, 2020年获东北大学硕士学位. 主要研究方向为图像处理, 目标检测. E-mail: ovxex081@163.com

赵滨

友和利德科技有限公司创始人兼CEO. 2014年毕业于美国德克萨斯大学阿灵顿分校工商管理系.主要研究方向为数据分析. E-mail: zhaob@uuvalue.com

李楠

沈阳产品质量监督检验院高级工程师. 2015年获得东北大学检测技术与自动化装置博士学位. 主要研究方向为检测技术. E-mail: 875875@163.com