引用文本

王婷娴, 贾克斌, 姚萌. 面向轻轨的高精度实时视觉定位方法. 自动化学报, 2021, 47(9): 2194−2204 doi: 10.16383/j.aas.c200009

Wang Ting-Xian, Jia Ke-Bin, Yao Meng. Real-time visual localization method for light-rail with high accuracy. Acta Automatica Sinica, 2021, 47(9): 2194−2204 doi: 10.16383/j.aas.c200009

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200009

关键词

视觉定位，位置识别，关键帧检索，关键区域检测，序列匹配 

摘要

轻轨作为城市公共交通系统的重要组成部分, 对其实现智能化的管理势在必行. 针对城市轻轨定位系统要求精度高、实时强且易于安装等特点, 本文提出一种基于全局−局部场景特征与关键帧检索的定位方法. 该方法在语义信息的指导下, 从单目相机获取的参考帧中提取区别性高的区域作为关键区域. 并结合像素点位置线索利用无监督学习的方式筛选关键区域中描述力强的像素对生成二值化特征提取模式, 不仅能够提升匹配精度还显著提高了在线模块场景特征提取与匹配的速度. 其次, 以场景显著性分数为依据获取的关键帧避免了具有相似外观的场景给定位带来的干扰, 并能辅助提高场景在线匹配的精度与效率. 本文使用公开测试数据集以及具有挑战性的轻轨数据集进行测试. 实验结果表明, 本系统在满足实时性要求的同时, 其定位准确率均可达到90%以上.

文章导读

轻轨在城市公共交通系统中扮演着重要的角色. 其因运行环境复杂, 难以实现信息化和智能化管理, 在一定程度上影响行车安全. 因此, 开发针对轻轨的高级驾驶辅助系统(Advanced driver assistance system, ADAS)势在必行[1]. 列车定位技术作为自动驾驶系统的重要组成部分之一, 能否提供准确地轻轨定位信息, 直接影响行车安全和调度的有效性. 目前查询应答器、里程计以及全球定位系统等技术被普遍地应用于列车实时定位任务中[2]. 在城市环境中, 由于建筑群、隧道的普遍存在, 通常会因遮挡产生多路径效应导致小范围内定位出现偏差[3]; 目前广泛应用的地面查询应答器属于非连续定位且需要昂贵的运营维护成本; 基于里程计的定位技术依赖于特殊的传感器, 比如车轮测速传感器、惯性测量传感器, 这两种传感器都会受到列车本身的影响从而随列车的运行产生累计误差[4-5]. 在此情况下, 基于单目相机的定位方法由于其成本效益和信息的丰富性, 在轻轨定位系统中可以发挥关键作用[6]. 对于视觉定位系统而言, 其主要包含三个关键部分: 场景特征提取, 路径地图构建, 以及真实匹配生成三大模块[7-8]. 由此可见, 一个综合定位系统的复杂度会非常高, 想要使整个系统达到实时性, 更需要从整体考虑使各个模块算法的时间开销都尽可能地减少.

面对复杂的运行环境, 如何快速地从图像中提取鲁棒性好的特征描述符一直是视觉定位领域研究的热点. 近年来, 视觉定位任务中常用的特征提取方法主要有两类, 分别是手工制作特征[6, 9-12]和深度学习特征[13-19]. 目前基于局部特征的视觉定位方法通常在光照、季节等因素导致环境外观出现明显变化时表现不佳[9-10]. 主要是因为基于特征点的描述符缺少整体的结构信息易导致感知混淆, 从而降低局部描述符的辨别力. 此外, 基于全局特征的方法虽然相较于前者具有更好的条件不变性, 但对视点变化和遮挡的鲁棒性较差[11]. 为弥补两者各自的缺点, 将局部和全局特征有效融合在一起是目前研究的趋势[6, 12]. 然而, 这类算法虽能够有效提升定位准确率却因特征向量维数的激增与场景规模的扩大无法满足实时性的要求.

近年来, 深度卷积神经网络在特征提取方面取得突出的成绩[13-14, 16]. 相比于Gist、Fisher vector、VLAD等手工制作特征, 深度学习特征在光照变化的环境下具有更好的识别能力[14, 16]. 因此越来越多的研究者为获得更精确的定位结果, 将卷积神经网络作为一种特征提取手段应用于视觉定位任务中[17-19]. 目前许多方法结合目标检测先提取显著性高的区域作为地标候选者, 再利用卷积神经网络描述该区域稳定特征, 最后筛选出潜在地标并将其映射到低维空间从而生成特征描述符. 这类方法因融合了全局和局部特征描述方法的优势, 在视觉定位领域卓有成效[17-18]. 此外, 还有的方法通过人工标定方式构建丰富的场景识别数据库, 并利用这些数据反复学习到稳定的场景特征, 虽然深度学习特征具有更好的稳定性, 但仅靠全局描述符作为场景匹配的依据仍难以实现鲁棒性高的定位, 且昂贵的时间成本和巨大的人工成本根本无法满足实际应用的需求.

针对上述问题, 本文设计了一种高精度实时视觉轻轨定位系统, 该系统的创新之处主要体现在以下4个方面:

1) 提出一种衡量像素显著性的方法来识别参考序列中的关键帧, 为在线模块提供适合的检索窗口, 避免因列车经停站造成的离散相似场景的影响, 同时有效提升了大规模复杂环境下场景匹配过程的计算效率.

2) 为消除场景中掺杂的不稳定信息对定位结果产生的干扰, 本文提出一种融合语义特征的关键区域检测方法, 在减少特征提取运算量的同时有效地保留了场景中有助于列车定位的显著性信息.

3) 提出一种无监督学习结合像素点位置线索的二值化特征描述方法, 在降低场景匹配计算复杂度的同时因不受描述区域形状的限制具有更广的应用范围. 在场景跟踪中, 将该描述符与场景序列匹配算法相结合能够克服因高帧率造成的连续相似场景使定位精度降低的问题.

4) 本系统只需单目相机采集数据既可, 兼容性高且可移植性强, 并实现了视觉定位任务对实时性和高精度的要求.

本文结构如下: 第1节概述了所提轻轨定位系统的构成以及详细地描述了系统中各个模块所涉及的关键技术; 第2节展示了实验结果并对结果进行分析讨论. 最后是结论部分.

图 1  所提轻轨定位系统框架

图 2  计算像素显著性分数的示意图

图 3  关键帧在参考序列中的分布

本文以高精度轻轨实时定位系统为研究背景, 采用视觉定位技术, 针对场景变化繁杂的轻轨运行环境, 提出结合关键帧检索机制和全局−局部场景二值化特征的定位方法. 该方法中, 通过融合语义特征检测到的关键区域既能有效降低计算时间成本, 又能提升场景识别的准确度. 其次, 在聚类算法的基础上结合像素位置线索筛选出低相关性的像素对, 不仅使提取到的场景描述符包含丰富的空间和上下文信息, 还减少了其中的冗余信息. 最后, 设计并实现了一个基于单目视觉信息的高精度轻轨实时定位系统. 实验结果表明, 本系统不仅解决了因高帧率造成的连续相似场景使定位精度降低的问题, 同时在场景内在结构发生变化等极端情况的干扰下依旧保持了较高的匹配精度, 既满足了轻轨定位系统对精度的要求也保证了实时性.

作者简介

王婷娴

北京工业大学信息学部硕士研究生. 主要研究方向为图像处理与视觉信息定位.E-mail: wangtingxian@emails.bjut.edu.cn

贾克斌

博士, 北京工业大学信息学部教授. 主要研究方向为图像/视频信号与信息处理. 本文通信作者.E-mail: kebinj@bjut.edu.cn

姚萌

工程师. 2018年获得北京工业大学信息学部博士学位. 主要研究方向为图像处理与视觉信息定位.E-mail: yaomeng@emails.bjut.edu.cn