引用本文

于雅楠, 卫红, 陈静. 基于局部熵的 SLAM 视觉里程计优化算法. 自动化学报, 2021, 47(6): 1460-1466 doi: 10.16383/j.aas.c180278

Yu Ya-Nan, Wei Hong, Chen Jing. Optimization algorithm of visual odometry for SLAM based on local image entropy. Acta Automatica Sinica, 2021, 47(6): 1460-1466 doi: 10.16383/j.aas.c180278

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180278

关键词

同步定位与地图创建，视觉里程计，稀疏特征，信息熵，姿态图优化 

摘要

针对移动机器人视觉同步定位与地图创建中由于相机大角度转动造成的帧间匹配失败以及跟踪丢失等问题, 提出了一种基于局部图像熵的细节增强视觉里程计优化算法. 建立图像金字塔, 划分图像块进行均匀化特征提取, 根据图像块的信息熵判断其信息量大小, 将对比度低以及梯度变化小的图像块进行删除, 减小图像特征点计算量. 对保留的图像块进行亮度自适应调整, 增强局部图像细节, 尽可能多地提取能够表征图像信息的局部特征点作为相邻帧匹配以及关键帧匹配的关联依据. 结合姿态图优化方法对位姿累计误差进行局部和全局优化, 进一步提高移动机器人系统性能. 采用TUM数据集测试验证, 由于提取了更能反映物体纹理以及形状的特征属性, 本文算法的运动跟踪成功率最高可提升至60 % 以上, 并且测量的轨迹误差、平移误差以及转动误差都有所降低. 与目前ORB-SLAM2系统相比, 本文提出的算法不但提高了移动机器人视觉定位精度, 而且满足实时SLAM的应用需要.

文章导读

在移动机器人研究领域, 同步定位与地图创建(Simultaneous localization and mapping, SLAM)技术使机器人从未知环境的未知地点出发, 在运动过程中通过机器人搭载视觉、激光等传感器重复观测到的地图特征定位自身位置和姿态, 再根据自身位置增量式地构建地图, 从而达到同时定位和地图构建的目的, 为机器人自主定位、避障、导航、路径规划等任务提供必要的支持. 鉴于SLAM技术是使机器人真正实现完全自动化的关键技术之一, 其应用已广泛覆盖无人驾驶汽车、无人机、人机交互、虚拟现实、增强现实等人工智能领域[1-3], 并且结合深度学习的SLAM也成为近两年的研究热点[4-6]. 在SLAM应用中, 相比能够测试环境范围的激光传感器而言, 可直接获取图像信息的视觉传感器(包括单目、双目、深度相机)在环境的可视化上具备更多优势, 对移动机器人进行场景识别以及感知理解具有更广泛的应用前景.

在视觉SLAM中, 视觉里程计作为SLAM系统前端, 其意义在于依靠图像信息来增量式地估计相机运动. 视觉里程计根据其原理不同主要分为非直接方法与直接方法两类[7], 最本质区别在于, 传统的非直接方法借助于人工提取的图像特征信息, 通过优化特征的重投影误差来计算相机的姿态运动, 而直接方法借助于图像包含的全部像素信息, 即优化像素灰度误差来计算相机的姿态运动. 除此之外, 完整的SLAM系统还包括运动回环检测、精确地图创建、轨迹与地图的全局优化. SLAM系统框架如图 1所示.

图 1  SLAM系统框架

SLAM研究仍然存在诸多挑战, 在利用稀疏特征的非直接方法中, 存在如何设计一种最优表示图像信息的特征、如何使特征在光照变化、相机参数改变或纹理信息不足的环境中具有较高鲁棒性等问题. 在直接方法中, 虽然图像信息可以最大化被利用, 但如果存在遮挡、漫反射或光线变化等特殊情况, 以优化像素值为目标函数的前提假设则不成立.除上述讨论的关键技术外, SLAM研究对于应用环境也有特别的要求, 在复杂以及多动态目标运动环境中SLAM系统显得更为脆弱[8], 长时间或远距离的实时应用对系统的鲁棒性需求更高. 另外, SLAM位置及姿态跟踪结果对于突然的环境亮度变化极为敏感[9], 过曝光或欠曝光等情况使成像区域出现饱和现象, 从而影响特征提取以及深度估计.

本文提出一种基于局部图像熵的细节增强优化算法, 改善视觉里程计中由于特征不充分而造成的图像匹配失败以及跟踪丢失等问题, 提高移动机器人视觉定位精度和系统鲁棒性. 首先介绍了SLAM关键技术及可行性, 结合应用中面临的实际问题, 即图像纹理或结构特征不丰富、视觉传感器快速运动或大角度转动时出现跟踪丢失等问题, 提出基于信息熵的图像特征提取方法, 构建SLAM系统, 对比ORB-SLAM2系统进行了开源数据集验证及分析, 最后得出相关结论.

图 2  帧间相机大角度转动

图 3  视觉里程计优化算法

在移动机器人同步定位与地图构建中, 本文提出了一种基于局部信息熵的细节增强视觉里程计优化算法, 利用局部信息熵值判断图像信息大小, 剔除对比度低以及梯度变化小的图像区域, 对保留的区域进行亮度自适应调整, 增强局部图像细节, 将其作为相邻帧匹配以及关键帧匹配的关联依据, 提高机器人运动跟踪精度.

虽然本优化算法在处理时间上有所增加, 但能够实现移动机器人在视觉传感器发生大角度转动时的有效运动估计. 分别在TUM RGB-D数据集fr1_desk、fr1_360、fr1_floor、fr1_room上进行验证, 应用本文提出的优化算法使运动跟踪成功率最大可提升至60 %以上, 同时使预测轨迹误差值减小. 该算法对于环境的光照变化具有自适应性, 并且对于相机的运动具有较强鲁棒性, 当视觉传感器快速运动时, 可以解决移动机器人在纹理信息不足情况下的正常轨迹跟踪问题.

作者简介

卫红

英国雷丁大学计算机系副教授. 主要研究方向为计算机视觉技术, 模式识别, 遥感信息识别与处理. E-mail: h.wei@reading.ac.uk

陈静

天津职业技术师范大学信息技术工程学院讲师. 主要研究方向为认知机器人, 人工智能, 自主学习. E-mail: c_j_223@163.com

于雅楠

天津职业技术师范大学信息技术工程学院讲师. 主要研究方向为计算机视觉与图像分析, 光电传感与测试, 移动机器人SLAM技术.本文通信作者. E-mail: jesuisyyn@126.com