实时三维成像：三千年太长，只争毫微

四川大学三维传感与机器视觉实验室张启灿教授课题组受邀撰写的“基于相移条纹分析的实时三维成像技术发展综述”文章，阐述了基于相移条纹分析的三维成像技术基本原理，分类讨论了实时三维成像的优化实现方向，回顾了该领域诸多的技术方案，也汇报了课题组目前的研究进展。

封面解读： “沉睡三千年，一醒惊天下”，三星堆文物通过结构光三维测量技术实现文物三维数字化，用科技穿越时空阻隔，三千年的岁月积淀，通过毫/微秒速度、毫/微米精度的实时三维成像技术更立体展现出古蜀文明的智慧。

封面文章链接|郭文博，张启灿, 吴周杰. 基于相移条纹分析的实时三维成像技术发展综述[J]. 激光与光电子学进展, 2021, 58(8): 0800001.

撰稿:郭文博，张启灿，吴周杰

1、背景

当下，人们享受着三维体感游戏的沉浸感，人脸支付的便捷性，甚至是无人驾驶的放飞自由度，这一切的背后都与结构光实时三维成像技术的密切支撑有关。即便如此，这些应用也仅仅是结构光三维成像技术众多推广应用的一小部分。

结构光三维成像技术通常是利用投影器件投影结构光场到被测场景物体表面，利用成像器件拍摄记录变形光场，通过解调光场信息，最终获取物体的三维形貌信息。实际上，结构光三维成像技术无论在工业检测、文物数字化、生物医学检测领域，或者在人机交互、虚拟现实、在线检测、远程手术等领域，一直在追求更高的成像测量精度和更快的时效性目标，广泛的应用需求催促着技术本身的更新进步。

2、技术介绍

结构光三维成像技术有精度高、灵活性好、非接触等特点。

以Kinect为代表的消费级三维传感设备出于功耗、体积及成本的考虑，采用了基于强度调制的散斑结构光投影技术。它能满足大众娱乐消费的生活需求，但不能满足工业级质量检测的高精度要求。因此，基于相位调制的条纹投影结构光技术获得了更多的关注。

基于相移条纹分析的三维成像技术基本原理如图1所示。系统一般由投影设备和成像设备组成。投影设备与成像设备存在固定的基线距离，满足三角测量原理，仿照人眼双目结构去感知立体世界，而且将双眼中的一只换成能对场景主动用条纹做标记的投影设备。条纹图通过投影仪依次投影到被测物体表面，充当另一只眼的相机同步拍摄受场景面形调制的变形条纹。分析计算变形条纹的相位信息，结合测量系统的结构参数即可完成被测场景面形的三维重建，用于后续三维渲染建模后的直接使用。

因此，基于相移条纹分析的三维成像技术可大致分为4个步骤：相移条纹的投影和获取、截断相位计算、相位展开、三维映射(系统标定)。

图1 基于相移条纹分析的三维成像技术原理

早期基于相移条纹分析的三维成像技术多是对静态场景进行三维测量。实时三维成像技术，作为适应实际需求发展出来的一个技术分支，为追求三维重建的实时性，需要优化测量整体流程中各步骤的算法复杂度和计算效率，从测量硬件端和计算重建端两方面共同完成实时三维成像重建：

1）为满足动态场景的测量条件，测量硬件端的主要改进方向为加快重建所需图片的获取速度，其途径主要包括使用更高帧率的硬件设备和减少投影图形数量；

2）为实现动态场景的实时三维重建，需要计算重建端满足计算快、重建精度高的要求，期望加速三维重建的计算过程（达到每秒25 Hz以上的三维重建速度）。

3）由于动态场景会引入运动误差，为满足高精度三维测量的要求，需要在测量结果中对动态运动误差进行修正。图2为研究人员在实时三维测量技术实现途径的主要优化思路。

图2 实时三维测量的主要优化途径

3、技术现状及相关应用

在提升三维测量效率和精度方面，众多研究人员开展了相关研究。

德国Heist教授课题组提出Goes Before Optics (GOBO)投影方法，并采用利用一种镂空条纹盘片的高旋转实现非周期条纹投影的方法[1]。

日本Fujigaki教授课题组开发了一种基于光源步进法(LSSM)的线性LED器件，实现快速条纹投影[2]。

美国Zhang song教授在二值离焦编码[3]、实时三维测量[4]等方面进行了广泛的研究。

南京理工大学左超教授课题组在二值离焦编码[5]，条纹复用[6]、高速三维测量[7]等方面开展了深入研究。

河北工业大学张宗华教授课题组在高动态范围三维测量[8]、系统标定[9]方面开展了深入研究。

深圳大学彭翔、刘晓利教授的课题组致力于以相位辅助光学三维测量为核心的三维数字成像的研究[10]。

此外，华中科技大学、西安交通大学、东南大学、合肥工业大学等多家单位在结构光三维成像与应用方面也做出较多贡献。

四川大学张启灿团队研制了实时结构光三维测量设备，采用结构光编码三维建模方法，构建并行处理结构，通过结构光编码实现高精度的三维数据并行计算。重点突破了三维数据精度，分辨率和处理实时性难以兼顾的问题。能够实现高精度三维数据的实时重建。在1280*800分辨率下，三维数据获取速度为60fps。相关设备受邀在南昌2020年世界VR产业大会中做了应用展示，如图3所示。

图3实时结构光三维成像

为解决运动误差对于实时三维成像的影响，该团队基于双频复合光栅获取的高低频截断相位，提出了一种实时运动误差消除方法[11]。该方法在保证系统能延续静态物体重建精度的同时，消除运动误差，实时重建动态物体的三维形貌。实时三维重建结果如图4所示。

                             （a）

                              (b)

图4 (a)实时结构光运动误差纠正 (b)与传统相移方法对比

此外，课题组以格雷码结合相移技术为基础，充分利用格雷码图案良好的抗噪能力，针对该技术在动态测量中易出现级次跳变错误、编码效率低以及无法完成位移和形变分析的三个技术难点，研究提出有效的对应解决方案，最终解决了复杂孤立场景的三维数字化测量难题[12-13]，如图5所示。

图5 复杂动态场景的高速三维面形重建结果

该课题组还自行设计研制了基于自制旋转机械投影仪的单目高速三维测量系统，如图6所示。以1600fps的重建帧率实现了对复杂动态物体的三维形貌测量重建[14]，结果如图7所示。

图6 采用旋转机械投影仪的三维测量系统

图7  三维面形重建结果

4、总结和展望

基于相移条纹分析的实时三维成像技术能够快速、高精度地重建动态场景的三维形貌信息，在工业零部件检测、虚拟现实、增材制造、医学监测等关键检测领域有广泛的应用前景。

实时三维测量的发展趋势是将其技术特点和应用领域的相应检测需求融合，促使实时三维测量的结果为这些应用提供后续加工、显示及时有效的数据，真正实现闭环的检测控制和实时的交互显示。

且随着新需求的不断提出和技术的持续发展，要适应不确定噪声干扰、测量表面反射率不均匀或具有高光区域等复杂应用环境，实现高抗噪性、高适应性、高效率的实时三维形貌测量具有较大的研究价值。

参考文献

[1] Heist S, Zhang C, Reichwald K, et al. 5D hyperspectral imaging: fast and accurate measurement of surface shape and spectral characteristics using structured light[J]. Optics Express, 2018, 26(18): 23366-23379.

[2] Fujigaki M, Sakaguchi T, Murata Y. Development of a compact 3D shape measurement unit using the light-source-stepping method[J]. Optics and Lasers in Engineering, 2016, 85: 9-17.

[3] Zhang S. Flexible 3D shape measurement using projector defocusing: extended measurement range[J]. Optics Letters, 2010, 35(7): 934-936.

[4] Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering, 2010, 48(2): 149-158.

[5] Zuo C, Chen Q, Feng S, et al. Optimized pulse width modulation pattern strategy for three-dimensional profilometry with projector defocusing[J]. Applied Optics, 2012, 51(19): 4477-4490.

[6] Zuo C, Chen Q, Gu G H, et al. High-speed three-dimensional profilometry for multiple objects with complex shapes[J]. Optics Express, 2012, 20(17): 19493-19510.

[7] Zuo C, Tao T , Feng S , et al. Micro Fourier Transform Profilometry ( μ FTP): 3D shape measurement at 10,000 frames per second[J]. Optics and Lasers in Engineering, 2018, 102:70-91.

[8] Liu X H, Zhang Z H, Gao N, et al. 3D shape measurement of diffused/specular surface by combining fringe projection and direct phase measuring deflectometry[J]. Optics Express, 2020, 28(19).

[9] Yu J, Gao N, Meng Z Z, Zhang Z H. A three-dimensional measurement system calibration method based on red/blue orthogonal fringe projection [J]. Optics and Lasers in Engineering, 2021, 139(6):106506.

[10] Yang Y, Hou Q Y, Li Y, et al. Phase error compensation based on Tree-Net using deep learning[J]. Optics and Lasers in Engineering, 2021, 143(1):106628.

[11] Guo W B, Wu Z J, Li Y Y, et al. Real-time 3D shape measurement with dual-frequency composite grating and motion-induced error reduction[J]. Optics Express, 2020, 28(18): 26882-26897.

[12] Wu Z J, Guo W B, Li Y Y, et al. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light[J]. Photonics Research, 2020, 8(6): 819-829.

[13]张启灿, 吴周杰. 基于格雷码图案投影的结构光三维成像技术. 红外与激光工程, 2020, 49(3): 0303004-0303004-13.

[14] Liu Y, Zhang Q, Liu Y , et al. High-speed 3D shape measurement using a rotary mechanical projector[J]. Optics Express, 2021, 29(5): 7885-7903.

课题组介绍

四川大学三维传感与机器视觉实验室由苏显渝教授发起和成立于1988年，在国内率先开展并一直从事基于结构光照明的三维面形测量(形貌检测)、摄像机标定和位姿测量研究工作。实验室从事三维测量、光学信号处理等领域的研究工作三十余年，在三维测量方面长期研究，积累了丰富的经验和学术成果，获准国家发明专利20余项，发表SCI 收录500余篇，SCI他引6000余次。三十余年来，在多个国家自然科学基金等项目的资助下，在三维测量理论、方法及其实用技术的研究中取得长足进展，拥有自主知识产权的技术成果，所研制的多种静态物体三维测量系统已在国内推广使用，并获2004年国家技术发明二等奖、2003年教育部自然科学一等奖，以及多次四川省科技成果奖。

张启灿，教授，博导，教育部新世纪优秀人才，四川省学术和技术带头人。从事三维光学测量研究二十余年，主攻基于结构光投影的动态过程三维面形测量研究，主持过国家自然科学基金项目、教育部新世纪优秀人才支撑计划项目、国际合作项目和多个横向合作项目的研究，以任务负责人身份参与国家科技部重大仪器专项研究项目一项。作为特邀高访学者到芬兰国家技术研究中心(Finland VTT)和新加坡南洋理工大学进行访问、合作研究。现任亚洲实验力学学会(ASEM)指导委员会委员、SCI期刊Optics and Laser in Engineering编委。以动态三维测量研究成果为主要内容，在国内外刊物上发表论文180余篇，含ESI高被引论文1篇，SCI收录80篇，SCI他引1300余次。在国际学术会议上做了4次邀请报告和10余次分会场报告，2次大会主席，4次技术委员会委员，多次分会场主席。研究成果被SPIE Newsroom和OSA Image of the Week作为科技亮点报道。获2007年教育部“全国百篇优秀博士学位论文”提名,获国家技术发明二等奖一项，教育部自然科学奖一等奖一项。作为共同发明人有15项技术发明专利获得授权。参与编写教材和专著3本。