高速三维传感：给运动的世界按下暂停键，见所未见

《激光与光电子学进展》于2022年第14期（7月）推出“机器视觉技术及应用”专题，本封面为四川大学三维传感与机器视觉实验室张启灿课题组的特邀论文“基于分段阶梯相位编码的三维形貌测量方法”。

论文介绍了一种基于相位编码的三维形貌测量方法，使用分段阶梯和错位格雷码编码辅助，实现复杂场景的高效而可靠的三维形貌测量。

封面解读：

黑白分明态可掬，二值入境彩貌聚。“成就梦想，助力大运”，结构光三维传感技术助力体育数字化。利用黑白条纹照明运动对象，完成对运动状态的三维捕捉与重建，该项技术有望辅助完成实时运动交互、运动数据分析、可视运动报告，提升运动表现，恰逢成都体育盛事，共享科技智慧大运。

文章链接：

汪俊霖, 张启灿, 吴周杰. 基于分段阶梯相位编码的三维形貌测量方法[J]. 激光与光电子学进展, 2022, 59(14): 1415012

1. 背景

在虚拟现实和增强现实、智能制造检测、人机交互、无人驾驶、运动数据分析等场景中，需要对动态场景进行三维建模、对动态过程进行深入分析，如图1所示。基于条纹结构光投影的三维面形测量技术由于其精度高、灵活性强以及全场测量等特点，已经被尝试运用到这些动态场景的三维测量当中。

在虚拟现实和增强现实、智能制造检测、人机交互、无人驾驶、运动数据分析等场景中，需要对动态场景进行三维建模、对动态过程进行深入分析，如图1所示。基于条纹结构光投影的三维面形测量技术由于其精度高、灵活性强以及全场测量等特点，已经被尝试运用到这些动态场景的三维测量当中。

但是，目前基于结构光的动态三维测量多种方法由于采用各自不同的技术方案，在测量精度、稳定性、效率等方面仍存在诸多矛盾，很难同时满足动态三维形貌测量中高速、高效率以及高鲁棒性的要求。本内封面论文使用分段阶梯和错位格雷码编码进行辅助，可实现复杂场景高效、可靠的三维形貌测量。

论文回顾了动态三维测量领域的诸多技术方案，主要包括基本的技术原理及关键问题、技术发展及相关应用，最后对目前的研究进展进行了总结。

图1 结构光三维传感技术的典型应用场景

2. 技术原理及关键问题

三维测量的技术原理如图2所示。图2左半部分展示了基于正弦条纹结构光投影的三维测量典型系统——利用数字投影仪，投影正弦条纹到被测场景表面，同时相机从另一角度拍摄受物体高度信息调制的变形条纹图；随后利用条纹分析手段去提取和还原相位信息，经系统标定参数映射转换成高度分布，最终得到场景物体的三维面形分布。图2右半部分展示了实际测量时的条纹获取和三维重建过程。

图2 基于条纹结构光投影的三维形貌测量技术的基本原理与测量实例

三维测量的技术原理如图2所示。图2左半部分展示了基于正弦条纹结构光投影的三维测量典型系统——利用数字投影仪，投影正弦条纹到被测场景表面，同时相机从另一角度拍摄受物体高度信息调制的变形条纹图；随后利用条纹分析手段去提取和还原相位信息，经系统标定参数映射转换成高度分布，最终得到场景物体的三维面形分布。图2右半部分展示了实际测量时的条纹获取和三维重建过程。

相比于静态场景，动态场景具有运动速度快、过程随机不可控、被测场景复杂多变等特性。因此，需要从硬件和算法两方面对测量系统进行优化，其间涉及到的主要关键问题有：

①提升硬件速度。提升硬件速度是实现高速动态测量的先决条件，直接决定了能够记录和重建多快的运动场景。

②提高编码效率。提高编码效率是解决多帧投影带来的成像速度降低、引入帧间相移误差等问题的重要手段。

③提高测量鲁棒性。提高测量的鲁棒性以适应复杂多变的环境噪声，是实现高适应性动态测量的前提保障。

3. 技术发展

为了解决这三个关键问题，提升结构光投影技术在动态场景中的表现，众多研究人员开展了相关研究。

3.1 硬件发展

在提升硬件速度方面，Zhang在2009年提出了二值离焦投影技术[1]，如图3(a)所示。利用DLP投影仪投影二值的伪正弦图案，通过适当地离焦投影镜头在物体表面产生高质量的正弦条纹，可实现最高22 kHz的投影速度。

除此之外，机械旋转光栅投影[2]和LED阵列投影[3]也先后被德国学者Wissmann以及日本学者Fujigaki提出并被应用到高速动态测量当中，如图3(b)-(c)所示，实现了50 kHz(旋转光栅)[4]和250 kHz(阵列投影)[5]的投影速度。

近年来，学者们又提出了基于光子时间伸缩的超快时间编码照明图像生成方法[6]，如图3(d)所示。此类技术将激光脉冲在时间域上进行重新整形以生成投影图案，照明投影的速度取决于脉冲的重复频率，其值可达到50 MHz[6]。

图3典型超快结构光投影系统。(a) 二值离焦投影系统[1]； (b) 旋转光栅投影系统[2]；(c) 阵列投影系统[5]；(d) 时间编码投影系统[6]

3.2 单帧重建

傅里叶变换轮廓术作为最具代表性的单帧条纹投影测量方法，非常适用于对快速动态场景的测量。

四川大学苏显渝、张启灿教授课题组率先将此方法应用到了动态场景中，从2002年起，陆续完成了对液体漩涡、振动鼓膜、旋转扇叶以及高速扇动的微飞行器扑翼的动态三维形貌测量[7]。

为了进一步实现对瞬态孤立场景的重建，2017年，Zuo提出了微频移傅里叶变换法[8]，利用两幅相近频率的高频条纹在时间轴上进行相位展开，以高达10000 fps的重建速率完成了对气球破裂等瞬态场景的三维重构，相应成果如图4所示。

图4 基于FTP方法的高速动态三维测量结果。(a) 液体漩涡[7]；(b) 鼓膜振动[7]；(c) 旋转扇叶[7]；(d) 扇动翅膀[7]；(e) 破裂气球[8]

然而，FTP方法由于需要在频域上进行滤波操作，会平滑掉物体表面高频陡变信息。因此，此类方法更适用于变化较快但表面平缓的动态场景三维重建。

3.3 多频相移

DMD投影仪的发展以及二值离焦技术的产生使相移条纹的快速切换投影成为了可能，引发了学者们新一轮的研究。Wang等人以5000 Hz的投影速率投影二值条纹，使用三频外差方法(外差法，需要3×3共9幅图案)实现了每秒667 Hz的三维重建[9]。为了提高效率，他们又应用双频方法(分级法，3+3)完成了对跳动的离体兔子心脏的测量[10]，如图5(a)所示。随后，Zuo等人在数论方法基础上提出Bi-frequency方法，将投影图案减少为5幅(数论法，3+2)，实现了每秒1250 fps的重建帧率[11]，如图5(b)所示。

图5 基于多频相移技术的高速动态场景测量结果。(a) 兔子心脏跳动[10]； (b) 动、静孤立物体测量[11]

3.4 格雷码辅助相移

同行们很好地解决了投影硬件速度和编码效率的问题，但在测量鲁棒性上仍有难题遗留。已有方法多采用多频相移方法进行相位展开，噪声被按比例放大，不适用于高噪声环境的测量。为了解决此问题，四川大学三维传感与机器视觉实验室课题组以吴周杰博士为主的研究人员选择抗噪性能更好、鲁棒性更高的格雷码辅助相移技术进行研究，从性能评价模型，到相位展开方法，再到编码方式进行了深入、系统的研究。

其实早在1999年，Sansoni就已经率先将格雷码结合相移技术运用到了测量当中[12]，格雷码的编码方式决定了编码16周期条纹至少需要投影3幅相移条纹4幅格雷码以及2幅全黑全白图（3+4+2, f=16），编码效率较低。此外由于被测物体表面反射率和背景光强度的不均匀，再加上噪声以及镜头离焦的影响，解码后会出现级次跳变误差。因此为了将此类方法应用到高速动态测量过程中，级次跳变错误和编码效率低是两个急需解决的关键问题。

四川大学三维传感与机器视觉实验室课题组对上述两个关键问题进行了持续、深入研究，取得了一些重要成果：

在2012年提出了互补格雷码[13]，通过多投影一幅格雷码（3+4+2+1, f=16），构建出两组相互错位半个周期的条纹级次，巧妙地从源头避免了级次跳变错误的产生，使得此方法在静态场景的适应性大大增强。

为了将此技术更好地应用到高速动态测量中，2019年，利用相移条纹均值作为全场阈值，省去黑白图案投影，同时将格雷码在时序上构建循环黑白翻转，提出循环互补格雷码[14]，不额外投影条纹，在时序上解算互补格雷码（3+4, f=16）；将偶数格雷码序列在空间上整体移动半个周期，提出移动格雷码[15]，直接解码构建出错位级次（3+4, f=16）。

2020年，提出分区间相位展开方法[16]，通过移动截断相位来避免级次跳变错误产生，此方法只需要获取当前序列的截断相位和相位级次即可使用，可直接推广到其他编码方法，具有很强的通用性。在此方法基础上，利用冗余的时序信息，提出格雷码复用编码策略[16]，将传统格雷码间插投影到相移条纹中间，解码时，每幅格雷码被复用4次，从而大大提升了重建效率（3+1, f=16）。

2022年，进一步提出结构光复用编码策略，将相移条纹图和格雷码同时在时间轴上进行复用，最终每个序列只投影3幅图案实现了对32周期条纹的绝对标记（2+1, f=32），完成了以3174 fps的重建速率对复杂、高噪声动态场景的三维形貌重建[17]。

围绕最常用的格雷码辅助相位展开和多频率时间相位展开两类方法，该课题组针对动态测量中的抗噪性和抗运动模糊能力两个关键指标进行了理论建模和性能比较[18]。研究结果表明格雷码辅助方法的抗噪性能远优于多频相移方法，如图6所示；其抗运动模糊能力仅次于多频率相移方法中的分层方法，如图7所示。

图6 双频相移方法和格雷码辅助相移方法抗噪声模型推导[18]

图7 双频相移方法和格雷码辅助相移方法抗运动模糊能力比较[18]

该课题组在格雷码辅助相移条纹三维测量技术的整体发展历程如图8所示。

图8 格雷码辅助相移技术发展历程图

4. 典型应用成果

利用课题组提出的动态三维成像技术，典型的测量结果如图9~12所示：

图9 动态场景三维形貌重建。（a）单摆撞击（b）扇叶旋转

图10 弩箭射击积木动态场景三维形貌重建

图11 雪花飘落动态场景三维形貌重建

图12 水球撞击挡网动态场景三维形貌重建

此外，为了进一步分析高速运动场景的运动状态与结构受力情况，四川大学三维传感与机器视觉实验室课题组吴周杰博士引入数字图像相关技术（Digital Image Correlation, DIC），建立了前后时刻对应三维空间点的精准匹配关系，完成了对复杂动态过程的三维形变和应变分析[19,20]。此技术充分利用了条纹投影测量技术的点对点形貌重建能力以及数字图像相关技术的亚像素形变追踪能力，解决了传统条纹投影技术无法进行准确形变分析以及传统双目DIC方法难于对复杂结构进行完整形貌重建的问题。利用此技术完成的复杂动态场景测量结果如图13、图14所示。

图13 蜂窝结构件受力过程三维形貌、形变重建

图14 水球撞击挡网形变、应变分析

5. 总结与展望

从目前蓬勃发展的新兴产业——虚拟现实和增强现实领域中的三维数字建模，到关乎国家重大战略的领域——智能制造加工检测中的试件三维形貌及形变检测，都存在对高速高鲁棒性动态三维形貌测量和形变、应变分析技术的应用需求，结构光三维传感技术可以为其提供良好的解决方案。高速结构光传感技术能够为我们运动的世界按下暂停键，让我们以更慢的速度和更多的维度去感知不停变化的世界，使我们能拍得更快、看得更真、分析得更透。但同时仍面临着以下挑战，它们将是该领域今后研究工作的方向和重点：

如何进一步解决测量精度、速度以及深度之间的矛盾性，实现高速高精度大景深三维形貌测量。

如何进一步扩展测量表面类型，解决测量效率和表面类型多样之间的不兼容性，实现高效高动态范围三维形貌测量。

如何进一步提升测量维度，解决单台套测量系统在时间维、空间维（二维纹理、三维形貌）、光谱维度以及分析维度（位移、形变、应变）的获取问题，实现多模态高维度信息传感。

参考文献

[1] Lei S, Zhang S. Flexible 3-D shape measurement using projector defocusing[J]. Optics letters, 2009, 34(20): 3080-3082.

[2] Wissmann P, Forster F, Schmitt R. Fast and low-cost structured light pattern sequence projection[J]. Optics Express, 2011, 19(24): 24657-24671.

[3] Fujigaki M, Oura Y, Asai D, et al. High-speed height measurement by a light-source-stepping method using a linear LED array[J]. Optics Express, 2013, 21(20): 23169-23180.

[4] Heist S, Lutzke P, Schmidt I, et al. High-speed three-dimensional shape measurement using GOBO projection[J]. Optics and Lasers in Engineering, 2016, 87: 90-96.

[5] Heist S, Mann A, Kühmstedt P, et al. Array projection of aperiodic sinusoidal fringes for high-speed three-dimensional shape measurement[J]. Optical Engineering, 2014, 53(11): 112208.

[6] Teng J, Guo Q, Chen M, et al. Time-encoded single-pixel 3D imaging[J]. APL Photonics, 2020, 5(2): 020801.

[7] Su X, Zhang Q. Dynamic 3-D shape measurement method: a review[J]. Optics and Lasers in Engineering, 2010, 48(2): 191-204.

[8] Zuo C, Tao T, Feng S, et al. Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10,000 frames per second[J]. Optics and Lasers in Engineering, 2018, 102: 70-91.

[9] Wang Y, Zhang S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation[J]. Optics Express, 2011, 19(6): 5149-5155.

[10] Wang Y, Laughner J I, Efimov I R, et al. 3D absolute shape measurement of live rabbit hearts with a superfast two-frequency phase-shifting technique[J]. Optics express, 2013, 21(5): 5822-5832.

[11] Zuo C, Chen Q, Gu G, et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection[J]. Optics and Lasers in Engineering, 2013, 51(8): 953-960.

[12] Sansoni G, Carocci M, Rodella R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of the systematic errors[J]. Applied optics, 1999, 38(31): 6565-6573.

[13] Zhang Q, Su X, Xiang L, et al. 3-D shape measurement based on complementary Gray-code light[J]. Optics and Lasers in Engineering, 2012, 50(4): 574-579.

[14] Wu Z, Zuo C, Guo W, et al. High-speed three-dimensional shape measurement based on cyclic complementary Gray-code light[J]. Optics express, 2019, 27(2): 1283-1297.

[15] Wu Z, Guo W, Zhang Q. High-speed three-dimensional shape measurement based on shifting Gray-code light[J]. Optics express, 2019, 27(16): 22631-22644.

[16] Wu Z, Guo W, Li Y, et al. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light[J]. Photonics Research, 2020, 8(6): 819-829.

[17] Wu Z, Guo W, Zhang Q, et al. Time-overlapping structured-light projection: high performance on 3D shape measurement for complex dynamic scenes[J]. Optics Express, 2022, 30(13): 22467-22486.

[18] Wu Z, Guo W, Zhang Q. Two-frequency phase-shifting method vs. Gray-coded-based method in dynamic fringe projection profilometry: A comparative review[J]. Optics and Lasers in Engineering, 2022, 153: 106995.

[19] Wu Z, Guo W, Pan B, et al. A DIC-assisted fringe projection profilometry for high-speed 3D shape, displacement and deformation measurement of textured surfaces[J]. Optics and Lasers in Engineering, 2021, 142: 106614.

[20] Wu Z, Guo W, Chen Z, et al. Three-dimensional shape and deformation measurement on complex structure parts[J]. Scientific Reports, 2022, 12(1): 1-14.

作者介绍

张启灿，教授，博导，教育部新世纪优秀人才，四川省学术和技术带头人。从事三维光学测量研究二十余年，主攻基于结构光投影的动态过程三维面形测量研究，主持过国家自然科学基金项目、教育部新世纪优秀人才支撑计划项目、国际合作项目和多个横向合作项目的研究，以任务负责人身份参与国家科技部重大仪器专项研究项目一项。作为特邀高访学者到芬兰国家技术研究中心(Finland VTT)和新加坡南洋理工大学进行访问、合作研究。现任亚洲实验力学学会(ASEM)指导委员会委员、Optics Express编辑(Associate Editor)、Optics and Lasers in Engineering编委(Editorial Board member)。在国内外刊物上发表论文180余篇，含ESI高被引论文1篇，SCI收录80篇，SCI他引1600余次。在国际学术会议上做了8次邀请报告和10余次分会场报告，2次大会主席，4次技术委员会委员，多次分会场主席。研究成果被SPIE Newsroom和OSA Image of the Week作为科技亮点报道各一次，被光学期刊Optics Express选作封面文章3次、入选Editors’ Pick 1次。获2007年教育部“全国百篇优秀博士学位论文”提名，获国家技术发明二等奖一项，教育部自然科学奖一等奖一项。作为共同发明人有15项技术发明专利获得授权。

吴周杰，副研究员，硕导。从事便携式三维测量、高速三维形貌和形变测量以及应变分析等方面的研究工作，已发表SCI检索论文16篇（中科院一区1篇，二区11篇）、EI检索论文8篇，被引299次。其中以一作身份在Photonics Research (1篇), Optics Express (4篇), Optics and Lasers in Engineering (2篇), Scientific Reports (1篇), Optical Engineering (1篇)上发表论文9篇，一作成果3次入选Optics Express封面论文，1次被美国光学学会以“Image of the Week”形式进行报道。申请国家发明专利8项，其中4项获得授权。参加学术会议并做报告6次，获国际学术会议icOPEN 2019最佳学生口头报告（第一名）、国际学术研讨会IFOSA 2020最佳报告（第一名）。获2020年度“王大珩光学奖”，并入选2021年度博士后创新人才支持计划。