引用本文

王伟, 任国恒, 陈立勇, 张效尉. 基于结构先验与协同优化的城市场景分段平面重建. 自动化学报, 2019, 45(11): 2187-2198. doi: 10.16383/j.aas.2017.c170458

WANG Wei, REN Guo-Heng, CHEN Li-Yong, ZHANG Xiao-Wei. Piecewise Planar Urban Scene Reconstruction Using Structure Priors and Cooperative Optimization. ACTA AUTOMATICA SINICA, 2019, 45(11): 2187-2198. doi: 10.16383/j.aas.2017.c170458

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170458

关键词

城市场景，分段平面重建，图像过分割，先验知识 

摘要

在基于图像的城市场景三维重建中，场景分段平面重建算法可以克服场景中的弱纹理、光照变化等因素的影响而快速恢复场景完整的近似结构.然而，在初始空间点较为稀疏、候选平面集不完备、图像过分割质量较低等问题存在时，可靠性往往较低.为了解决此问题，本文根据城市场景的结构特征构造了一种新颖的融合场景结构先验、空间点可见性与颜色相似性的平面可靠性度量，然后采用图像区域与相应平面协同优化的方式对场景结构进行了推断.实验结果表明，本文算法利用稀疏空间点即可有效重建出完整的场景结构，整体上具有较高的精度与效率.

文章导读

在利用二维图像重建三维场景结构的过程中, 场景分段平面重建算法通常可有效解决像素级重建中的匹配多义性(如在弱纹理区域)问题而快速获取场景完整的近似结构, 这在城市规划、虚拟旅游、驾驶导航等领域有着广泛的应用.在实际中, 由于场景结构的复杂性以及诸多干扰因素(如光照变化、透视畸变等)的影响, 有效提高场景分段平面重建的可靠性与效率是一个具有挑战性的难题.

一般情况下, 场景分段平面重建过程包括三个步骤: 1)将图像分割为多个互不交叠的区域(即超像素). 2)利用初始空间点、线段等信息获取超像素对应的候选平面集. 3)利用全局优化方法推断超像素对应的最优平面, 进而获得场景完整的分段平面结构.在实际中, 此类算法通常存在以下问题导致可靠性与效率较低. 1)与场景面片相关联的超像素通常采用图像过分割算法获取, 而超像素的尺寸未得以合理的控制.事实上, 超像素尺寸较大时, 相应的场景面片往往由于深度变化较大而不能近似为平面; 而尺寸较小时, 则可能由于匹配多义性问题(如超像素仅包含单个像素的极端情况)而影响场景重建的可靠性. 2)利用初始稀疏甚至稠密空间点往往不易获得完备的候选平面集, 这将对后续环节场景结构的推断可靠性造成较大的影响(如当前超像素对应的真实平面并不包含候选平面集中而被分配了错误的平面). 3)利用全局优化方法对场景结构进行推断时, 正则项的构造通常基于具有相近特征的相邻超像素分配相同平面的假设.然而在许多情况下, 具有相近特征的相邻超像素对应的平面并不一定相同, 此硬性假设通常导致场景重建的可靠性较低. 4)在场景重建中, 不能有效地检测并滤除场景中非重建区域(如天空、地面), 整体效率因此受到较大的影响.

为了解决以上问题, 本文提出一种基于场景结构先验与协同优化的场景分段平面重建算法, 在场景结构先验、空间点可见性与颜色相似性的基础上构造平面可靠性度量, 采用图像区域与对应平面协同优化的方式对场景结构进行推断.实验结果表明, 本文算法仅利用稀疏空间点即可有效重建完整的场景结构, 整体上具有较高的性能.

本文结构安排如下:第1节对相关工作进行概述; 第2节给出本文算法流程与贡献; 第3节介绍本文算法的预处理步骤; 第4节介绍融合场景结构先验的平面可靠性度量以及基于协同优化的场景结构推断过程; 第5节进行实验分析; 第6节对全文进行总结.

图 1  本文算法流程图

图 2  超像素优化

图 3  初始可靠平面与候选平面

为了增强传统场景分段平面重建算法在初始空间点较为稀疏、图像过分割质量较低以及候选平面集不完备时的可靠性, 同时克服其在场景结构优化时过于依赖"具有相近特征的相邻超像素分配相同平面"假设的缺点, 本文在场景结构先验的基础上构建了有效的场景平面可靠性度量, 并通过图像区域与相应平面协同优化的方式对场景结构进行了推断.实验结果表明, 相对于传统算法, 本文算法具有较高的可靠性与精度.当前, 本文算法的主要缺点在于: 1)过于稀疏(如仅几个)的初始空间点可能导致初始可靠平面较少且平面度量的可靠性较低, 进而可能导致迭代过程提前结束; 2)场景中的弱纹理曲面结构不属于本文定义的场景结构先验范畴, 因而会导致场景平面度量可靠性及场景重建可靠性降低.针对以上问题: 1)采用空间点稠密扩散方法, 提高空间点的数量或融合空间直线信息, 提高初始可靠平面的数量及可靠性, 有望增强本文算法的可靠性; 2)利用深度学习获取场景更丰富的结构先验(包括特定物体或几何形体), 更有效地指导场景重建过程, 或采用MRF高阶能量优化的方式对场景结构进行更有效地优化, 可进一步提高本文算法的精度.

作者简介

任国恒

周口师范学院讲师.2011年获得西安工业大学硕士学位.主要研究方向为大数据分析.E-mail:rengguoheng@126.com

陈立勇  

周口师范学院讲师.2010年获辽宁科技大学硕士学位.主要研究方向为大数据分析.E-mail:chenliyongup@163.com

张效尉  

周口师范学院讲师.2009年获得郑州轻工业学院硕士学位.主要研究方向为大数据分析.E-mail:xwzhang286@163.com

王伟  

周口师范学院副教授.2015年获得中国科学院自动化研究所博士学位.主要研究方向为计算机视觉与模式识别.本文通信作者.E-mail:wangwei@zknu.cn