彩色三维扫描中纹理重建技术研究进展

曹良才

三维扫描技术对物体空间外形、结构及色彩进行扫描，以获得物体表面的空间坐标，是集光、机、电、计算机技术为一体的自动化、可视化高新技术。它能够将实物的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。例如，基于条纹结构光投影的三维成像技术能够以较高的速度与精度获取高密度的三维几何数据，并通过多节点传感网络拓扑有效拓展测量空间，可实现大空间尺寸（米级）、高速度（亚秒级至实时）、高精度（小于100微米）的三维数字成像测量。

三维数字成像技术可以生成记录物体形状的几何模型，但这还不足以精确表达真实物体。为了建立照片真实感的三维模型，还需要将物体的表面颜色和几何模型融合。因此在三维扫描技术基础上对物体表面纹理进行重建，可以实现三维数字彩色成像，这在许多领域有着广阔的应用前景。比如在文化遗产领域，三维数字彩色成像技术能得到高仿真度的三维文物模型。

图1 三维彩色模型的纹理重建广泛应用于文物研究与保护中

基本原理

三维数字成像系统通常包括投影和采集两部分。

投影部分通常采用高速数字光处理（DLP）技术，将载频条纹利用数字微镜器件（DMD）投射到被测物体表面；采集系统为高速工业相机，能够同步记录被测物体高度调制的形变条纹图像，然后从形变条纹中解算出的物体的深度数据，在应用中多采用双目结构，即两个工业相机和一个投影仪构成一个三维传感节点，采用多个三维传感节点，就能对被测物体进行全方位的测量和重建。

图 2 结构光投影和采集

在对物体进行三维数据采集之前，首先需要对相机进行标定，以获得相机内外参。在完成结构光投采后，对采集到的图像应用相位提取和相位展开算法，可得到被测物体不同角度的单面深度数据。单面的深度数据需要通过坐标变换匹配到世界坐标系或全局坐标系中进行深度数据匹配。然后通过删除冗余点数据，平滑边界数据，对深度数据进行融合，便可得到完整的三维几何模型。

由于工业相机的分辨率和色彩还原度不及单反相机，通过在传感器节点上附加彩色单反相机用来拍摄物体纹理。采集到纹理图像通过纹理映射投影到三维模型表面，建立二维图像像素到三维空间点的映射关系，最终生成具有真实感的三维彩色模型。

对于大尺寸目标，为了突破获取高密度、高精度三维彩色数据的局限，并避免移动拼接来提高效率，实现全自动三维成像，需要针对物体几何形状及表面反射属性，结合分辨率、工作空间、测量空间约束条件，构建多节点三维测量网络。发展基于多节点测量网络的三维彩色信息无人工干预融合方法，是保证三维数据的高精度与彩色数据的高保真度无缝融合前提。

图3 全方位多节点的三维彩色测量网络

关键技术

纹理映射虽然能够实现给模型上色的功能，但在实际应用中，这种映射关系往往受到模型精度、相机误差等因素的影响，无法获得准确的纹理映射关系。不同视角光照环境的差异，以及物体表面材质对光照反射的各向异性会造成纹理图像之间色彩差异较大，这些情况也会导致纹理重建的质量下降。如何生成过渡平滑、色彩清晰自然的三维模型，是纹理重建中的关键技术。

纹理重建方法一般分为两种策略：

（1）针对三维模型中每个面片确定各方向纹理坐标，选择最佳纹理图像；

（2）对多幅图像进行叠加混合与优化处理，形成最终纹理图像。

在纹理拼接方法中，早期的工作针对每个面片，使用贪心算法最小化相邻面片来自不同纹理图像的数量。然而贪心算法得到的是局部最优解，不能全局减少纹理接缝的产生。目前主流的方法是马尔可夫随机场（MRF）优化方法，能够在全局范围内最大程度地减少纹理接缝产生。同时辅以泊松图像编辑等色彩融合校正方法对纹理接缝做进一步消除。

纹理拼接方法需结合多种算法处理，执行效率上不能满足快速建模要求，基于复合权重的纹理融合方法能够实现全自动的纹理重建。纹理权重是对纹理质量的一种评价，权重越大，代表颜色可信度越高，对融合后的颜色贡献也越大。通过复合权重对纹理进行融合，能有效消除模糊和重影，实现平滑无缝的纹理重建。基于高精密传感标定、基于复合权重的高真实感纹理融合等一系列高效融合算法，实现了三维传感技术与计算机图形学技术无缝接轨，在保证精度的条件下，确保融合高效性和输出模型的可视性，为无人工干预的三维数字彩色成像实现提供了先进性支撑。

图 4 纹理融合软硬件平台，左图：桌面型三维数字彩色成像测量仪，右图：复合权重与平均权重纹理融合结果比较

发展历史

三维数字成像技术经历过几代的发展。

第一代为接触式扫描技术，通过机械探头探测工件，返回工件表面的点数据。接触式扫描测量速度慢，效率低，对物体表面特性有一定要求，如不能柔软、易碎等。

第二代则是以激光扫描技术为代表的非接触式三维扫描技术，与第一代技术相比具有非接触，无损伤，高精度等特点，由于是逐点或逐线扫描，速度仍然比较慢。其中最具代表性的应用是斯坦福大学的“数字化米开朗基罗”项目，该项目采用三角测量法获取并重建了米开朗基罗包括著名的大卫雕像在内的10座雕塑。

第三代扫描技术是基于面扫描的“照相式”扫描技术，在工业领域技术应用已经较为成熟，例如德国GOM公司的ATOS系列能够实现小于0.05mm的扫描精度。同时，由于面扫描的高速度和低成本特点，也在消费级市场得到普及。2010年，美国微软公司推出Kinect红外深度感应器，可实时采集物体的深度信息。2017年，美国苹果公司发布的iPhone X内置有点阵投影仪和红外镜头，将结构光三维扫描技术集成于手机之中。

而在国内，四川大学苏显渝教授较早开展基于相位测量轮廓术的三维形貌测量研究；中科院自动化所早在2007年使用全方位摄像系统与高分辨率照相机，开展对古代建筑的几何与纹理的采集；天津大学开展了结构光白车身检测工作；北京航空航天大学围绕特殊材质物体结构光测量开展了相关研究；南京理工大学在高速三维成像方面积累大量经验；河北工业大学在彩色编码、系统标定方面开展了深入研究；深圳大学彭翔教授的课题组致力于以相位辅助光学三维测量为核心的三维数字成像与造型技术的研究。此外，华中科技大学、西安交通大学、东南大学等多家单位在结构光三维成像与应用方面也做出较多贡献。2017年9月，我国科技部启动“三维数字彩色成像测量仪”国家重点研发计划，预示着三维数字成像技术朝着“范围更大、精度更高、速度更快、色彩更多，自动化、智能化”的方向发展。

问题和挑战

随着纹理分辨率和模型面片数量的提高，对纹理重建算法的执行效率提出了更高的要求。目前小型结构光三维扫描仪获得的面片数量可达百万量级，对于大尺度的三维场景面片数量甚至上亿。采用 GPU 计算或 FPGA 硬件进行算法加速，提升系统处理速度，是未来集成化三维扫描系统的趋势。

遮挡现象是纹理重建中普遍存在的问题，遮挡现象会对纹理图像的采集造成干扰,导致模型和纹理之间出现错误的纹理映射关系。因此，提高去遮挡算法的抗干扰能力和鲁棒性是未来纹理重建方法研究重点之一。

对光反射属性的重建是纹理重建技术发展中一项必然而迫切的需求。基于现有三维扫描仪，选取合适的光照模型，获得物体表面光反射属性参数，对于三维模型的真实感呈现，尤其是高反射率属性的材质（如玻璃、金属等）的纹理重建具有重要意义。

点击查看详细内容：http://www.opticsjournal.net/Articles/abstract?aid=OJ181121000037nTpWsY。

该文章被选为《激光与光电子学进展》2018年第11期封面文章，依据该文章设计的封面图如下：