博文
基于拉普拉斯分布的双目视觉里程计
|
引用本文
范涵奇, 吴锦河. 基于拉普拉斯分布的双目视觉里程计. 自动化学报, 2022, 48(3): 865−876 doi: 10.16383/j.aas.c190860 Fan Han-Qi, Wu Jin-He. Stereo visual odometry based on Laplace distribution. Acta Automatica Sinica, 2022, 48(3): 865−876 doi: 10.16383/j.aas.c190860 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190860?viewType=HTML 文章简介 关键词 视觉里程计, 运动估计, 光流, 拉普拉斯分布 摘 要 针对相机在未知环境中定位及其周围环境地图重建的问题, 本文基于拉普拉斯分布提出了一种快速精确的双目视觉里程计算法. 在使用光流构建数据关联时结合使用三个策略: 平滑的运动约束、环形匹配以及视差一致性检测来剔除错误的关联以提高数据关联的精确性, 并在此基础上筛选稳定的特征点. 本文单独估计相机的旋转与平移. 假设相机旋转、三维空间点以及相机平移的误差都服从拉普拉斯分布, 在此 假设下优化得到最优的相机位姿估计与三维空间点位置. 在KITTI和New Tsukuba数据集上的实验结果表明, 本文算法能快速精确地估计相机位姿与三维空间点的位置. 引 言 视觉里程计(Visual odometry, VO)是在未知环境中只通过相机获得的图像信息来实现机器人定位的技术. 近些年来, VO广泛应用于机器人导航、无人机和虚拟现实/增强现实等领域. 视觉里程计使用单目或多目相机作为视觉传感器. 单目相机为主要传感器的VO系统虽然成本较低, 但面临的主要问题是单目尺度的不确定性, 在计算过程中会发生尺度漂移. 该问题通常使用多传感器来解决, 例如雷达和多目相机. 相比于单目相机, 双目相机可以直接测量三维空间点的位置, 避免了尺度的不确定性, 因此本文使用双目相机作为视觉传感器. VO系统分为前端和后端. 前端通过特征点匹配构造数据关联来为后端优化提供初始位姿. 数据关联(Data association)是指在帧与帧之间的特征点、特征点与地图点以及地图点与地图点之间构建 特征对应关系. 数据关联错误是VO系统失败的主要原因之一. 基于图像特征点的VO系统数据关联方式主要分为两种. 一种是通过计算特征点的描述子来构建数据关联. 采用描述子匹配特征点的准确性与鲁棒性较高, 但是特征描述子的计算非常耗时. Mur-Artal等测试尺度不变特征变换(Scale-invariant feature teansform, SIFT)和加速健壮特征(Speed-up robust feature, SURF)提取耗时约为300 ms, 像这类比较耗时的特征提取算法会影响VO系统的实时性. 为了提高实时性, Mur-Artal等在ORB (Oriented fast and rotated brief)-SLAM (Simultaneous localization and mapping)中选择计算速度较快的ORB 特征点作为图像特征, 帧与帧之间特征点通过特征描述子匹配. Cvišić 等在SOFT (Stereo odometry based on feature tracking)中提取Corner角点和Blob角点同时计算特征描述子, 并通过在连续帧中追踪同一特征点, 如果该特征能被追踪到则使用初始的描述子来提高数据关联的精确性. 由于相机帧率和图像分辨率越来越高, 导致特征提取的计算量越来越大, 即使使用ORB这类速度较快的特征描述子也可能会影响VO系统的实时性. 另一种方式只提取角点而不计算描述子, 角点之间的匹配关系通过稀疏的光流(Optical flow)跟踪来构建. 稀疏的光流算法计算速度快, 但光流容易导致特征点误匹配从而使得数据关联错误, 因此本文使用光流来构建数据关联的同时采用其他技术尽可能剔除错误的数据关联. VO系统的后端优化前端估计的相机初始位姿, 本文在后端只优化相机位姿而不维护一个全局地图. 在优化过程中目标函数的设计影响着系统鲁棒性. 在经典的Bundle adjustment (BA)和扩展的卡尔曼滤波(Extended Kalman filter, EKF)算法中都假设误差服从高斯分布, 优化过程中对噪声敏感, 因而导致位姿估计的误差较大. 与高斯分布相比, 拉普拉斯分布对大噪声不敏感. 同时, 对于长尾数据(Long tail data)来说, 拉普拉斯分布比高斯分布更适合对大幅噪音的似然描述, 从而对异常点数据更加鲁棒. 本文在VO后端假设误差服从拉普拉斯分布, 进而构造优化问题的目标函数. Casafranca等在此假设下构造因子图优化问题. Bustos等通过构造旋转的平均只优化相机朝向, 在相机朝向已知的情况下得到全局最优的相机位置和三维空间点. 该方法优化相机朝向时不受相机位置与三维空间点的影响因此更简单并且能够处理纯旋转的相机运动, 但是该方法运算速度慢, 并且在求解相机位置时由于同时优化三维空间点和相机位置, 误差较大的三维点会影响相机位置的求解. 与Casafranca等和Bustos等的方法不同, 本文在后端分开优化求解相机朝向、三维空间点以及相机平移, 在此过程中假设相机位姿与三维空间点的误差都服从拉普拉斯分布. SOFT等多个不同的算法证实分开估计相机的朝向与位置可以提高相机位姿估计的精确性. 近些年来, 基于直接法的双目视觉里程计越来越受研究者的欢迎, 例如, Stereo DSO (Stereo direct sparse odometry)、SVO2 (Semidirect visual odometry 2)和FMD stereo SLAM (Fusing MVG (multiple view geometry). Stereo DSO算法通过采用梯度较大的稀疏像素, 使用Bundle adjustment优化来得到精度较高的相机位姿. 该算法速度较快、鲁棒性好, 并且可以生成稠密的三维点云, 但是对于场景的光照变化比较敏感. SVO2扩展了半稠密直接法单目视觉里程计SVO, SVO2算法只对选择的关键帧提取特征点并且采用稀疏图像对齐算法匹配特征点, 因此SVO2速度快适用于计算平台受限场合的定位. SVO采用深度滤波器估计深度, 由于初始深度估计具有较大误差在优化时可能无法收敛到真实深度, 进而影响相机位姿估计. FMD stereo SLAM方法融合了多视角几何和直接法, 在前端采用直接法估计初始位姿而在后端采用多视角几何的方法来估计三维结构, 这种直接法和多视角几何法融合的方法同时兼顾了速度与精度. 与以上几种方法相比, 本文算法采用特征点法并且引入了误差服从拉普拉斯分布的假设来优化相机位姿. 本文的组织结构如下:第1节简要介绍本文算法的框架. 第 2节中详细阐述特征点的提取以及如何剔除错误的特征匹配并筛选稳定的特征点. 第3节为相机位姿的估计与优化. 第4节中通过实验验证了本文算法的有效性. 第5节为本文的结论. 1. 系统概述 本节主要从整体上概述本文提出的算法. 算法主要由数据关联和相机位姿优化估计两部分组成. 数据关联是相机位姿估计的预处理过程. 在构造数据关联时, 特征点的选择与数据关联的准确性影响着相机位姿估计的精度. 在兼顾速度与精度的情况下如何选择稳定的特征点并剔除错误的关联是VO算法重要的一步. 位姿估计部分接收筛选的稳定特征点来优化求解相机位姿并重建出稀疏的环境地图. 1.1 特征选择与数据关联 为了提高VO算法的实时性, 需要尽可能快地提取每帧图像的特征点, 因此本文选择FAST (Features from accelerated segment test)角点作为图像特征点. 数据关联主要通过稀疏光流算法来构建. 虽然稀疏的光流计算速度快, 但是往往会导致特征点的误匹配, 因此本文采用三个策略, 即平滑的运动约束、视差一致性检测以及环形匹配来尽可能剔除错误的关联, 进而提高算法的鲁棒性, 并在此基础上选择稳定的特征点. 1.2 相机位姿优化 本文算法的主要流程如图1所示. 其中, P表示三维空间点的位置, p表示三维空间点对应的在二维图像上的投影坐标,R,t分别表示相机的旋转和平移. 下标l,r,k为左右相机和图像帧的索引. 在相机位姿估计的过程中, 通常对于相机朝向的优化估计是比较困难的, 因此本文首先去优化估计相机的朝向以及三维空间点, 然后固定已经求得的相机朝向和三维空间点来优化求解相机平移. 在光流构建数据关联的过程中, 同一特征点可以连续地在多帧中被跟踪. 本文基于特征点能被连续跟踪的帧数选择不同的参考帧从而获得当前帧相机位姿的多个估计. 对于当前帧的多个相机位姿估计, 在相机位姿误差服从拉普拉斯分布的假设下构造优化问题的目标函数, 进而得到位姿的最优估计. 图 1 本文算法的流程图（算法主要由数据关联与位姿估计两部分组成） 作者简介 范涵奇 北方工业大学信息学院副教授. 于浙江大学CAD & CG国家重点实验室获得博士学位. 主要研究方向为计算机视觉与视觉SLAM. 本文通信作者. E-mail: fhq@ncut.edu.cn 吴锦河 北方工业大学信息学院硕士研究生. 主要研究方向为视觉SLAM. E-mail: jhe_wu@163.com 相关文章 [1] 冯诚, 张聪炫, 陈震, 李兵, 黎明. 基于光流与多尺度上下文的图像序列运动遮挡检测. 自动化学报. doi: 10.16383/j.aas.c210324 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210324?viewType=HTML [2] 孙沁璇, 苑晶, 张雪波, 高远兮. PLVO: 基于平面和直线融合的RGB-D视觉里程计. 自动化学报. doi: 10.16383/j.aas.c200878 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200878?viewType=HTML [3] 付婧祎, 余磊, 杨文, 卢昕. 基于事件相机的连续光流估计. 自动化学报. doi: 10.16383/j.aas.c210242 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210242?viewType=HTML [4] 于雅楠, 卫红, 陈静. 基于局部熵的SLAM视觉里程计优化算法. 自动化学报, 2021, 47(6): 1460-1466. doi: 10.16383/j.aas.c180278 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180278?viewType=HTML [5] 张峻宁, 苏群星, 刘鹏远, 朱庆, 张凯. 一种自适应特征地图匹配的改进VSLAM算法. 自动化学报, 2019, 45(3): 553-565. doi: 10.16383/j.aas.c170608 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170608?viewType=HTML [6] 张世辉, 何琦, 董利健, 杜雪哲. 基于遮挡区域建模和目标运动估计的动态遮挡规避方法. 自动化学报, 2019, 45(4): 771-786. doi: 10.16383/j.aas.2017.c170221 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170221?viewType=HTML [7] 丁文东, 徐德, 刘希龙, 张大朋, 陈天. 移动机器人视觉里程计综述. 自动化学报, 2018, 44(3): 385-400. doi: 10.16383/j.aas.2018.c170107 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170107?viewType=HTML [8] 李波, 卢春园, 冷成财, 金连宝. 基于局部图拉普拉斯约束的鲁棒低秩表示聚类方法. 自动化学报, 2015, 41(11): 1971-1980. doi: 10.16383/j.aas.2015.c150031 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c150031?viewType=HTML [9] 王诗言, 于慧敏. 基于全变分的运动分割模型及分裂 Bregman 算法. 自动化学报, 2015, 41(2): 396-404. doi: 10.16383/j.aas.2015.c140255 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140255?viewType=HTML [10] 潘超, 刘建国, 李峻林. 昆虫视觉启发的光流复合导航方法. 自动化学报, 2015, 41(6): 1102-1112. doi: 10.16383/j.aas.2015.c120936 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c120936?viewType=HTML [11] 杨绪魁, 屈丹, 张文林. 正交拉普拉斯语种识别方法. 自动化学报, 2014, 40(8): 1812-1818. doi: 10.3724/SP.J.1004.2014.01812 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01812?viewType=HTML [12] 王飞, 崔金强, 陈本美, 李崇兴. 一套完整的基于视觉光流和激光扫描测距的室内无人机导航系统. 自动化学报, 2013, 39(11): 1889-1900. doi: 10.3724/SP.J.1004.2013.01889 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.01889?viewType=HTML [13] 方明, 徐晶, 高氏秀则, 金子俊一, 徐洪华. 一种基于互补投票的高效光流计算方法. 自动化学报, 2013, 39(7): 1080-1092. doi: 10.3724/SP.J.1004.2013.01080 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.01080?viewType=HTML [14] 皋军, 王士同, 王晓明. 基于语境距离度量的拉普拉斯最大间距判别准则. 自动化学报, 2010, 36(12): 1661-1673. doi: 10.3724/SP.J.1004.2010.01661 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01661?viewType=HTML [15] 杨晶东, 杨敬辉, 洪炳熔. 一种有效的移动机器人里程计误差建模方法. 自动化学报, 2009, 35(2): 168-173. doi: 10.3724/SP.J.1004.2009.00168 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.00168?viewType=HTML [16] 熊静旖, 罗予频, 唐光荣. 一种应用于图像配准中大尺度位移估计的改进光流法. 自动化学报, 2008, 34(7): 760-764. doi: 10.3724/SP.J.1004.2008.00760 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00760?viewType=HTML [17] 禹晶, 苏开娜. 一种结合空间预测和CDS的快速块匹配算法. 自动化学报, 2007, 33(4): 355-360. doi: 10.1360/aas-007-0355 http://www.aas.net.cn/cn/article/doi/10.1360/aas-007-0355?viewType=HTML [18] 张鸿宾, 唐积尧. 多视点距离图像的对准算法. 自动化学报, 2001, 27(1): 39-46. http://www.aas.net.cn/cn/article/id/16518?viewType=HTML [19] 陈维强, 高文. 一种新的快速两级块匹配运动估计算法. 自动化学报, 1999, 25(3): 406-410. http://www.aas.net.cn/cn/article/id/16698?viewType=HTML [20] 陈维强, 高文. MPEG-2视频编码的运动估计与实现. 自动化学报, 1998, 24(5): 690-694. http://www.aas.net.cn/cn/article/id/16784?viewType=HTML 
https://blog.sciencenet.cn/blog-3291369-1328935.html
上一篇：直播回放分享 | 陈关荣教授：探索最优同步网络的拓扑结构
下一篇：基于可见光与红外热图像的行车环境复杂场景分割
