高速三维测量，让稍纵不再即逝

《激光与光电子学进展》于2023年第8期（4月）推出“三维成像技术及应用”专题，四川大学三维传感与机器视觉实验室张启灿课题组受邀撰写文章“基于条纹投影的高速三维形貌测量技术发展综述”，该论文被选为本期的封面文章。

论文以测量任务需求为主线，综述了基于条纹投影的高速三维测量技术在硬件和算法上的研究进展，分析了研究人员面对瞬态场景和复杂对象的测量需求；回顾了如何实现速度更快、维度更高以及适应性更强的高速三维测量；分类比较了已有技术各自的优缺点；总结了基于条纹投影的高速三维形貌测量技术所面临的挑战和潜在发展动向。为从事动态三维测量领域相关的研究和应用人员提供了不同测量任务下的技术方法选择建议。

封面解读

流光瞬息物过隙，纹影重建形不逝。条纹投影测量技术通过高速切换二值调制图案照明运动对象，完成对瞬态运动场景的定格与重建，还原其彩色形貌，让任意瞬态时刻都不再稍纵即逝，可全方位重现。

文章链接

吴周杰, 张启灿. 基于条纹投影的高速三维形貌测量技术发展综述[J]. 激光与光电子学进展, 2023, 60(8): 0811001. 

1 光学三维测量：感知真实三维世界的有力手段

人类对三维空间的精准感知，很大程度上反映了我们对客观世界的把控能力。随着科技水平的发展，使机器具有与人类相似的三维视觉感知能力，协助甚至替代人类进行各类工作，是我们长期追求的梦想。光学三维测量技术为人类感知真实三维世界提供了有力手段。

随着应用需求的不断增长，目前三维测量对象不再局限于静态物体。一方面，在如图1(a)所示的高速瞬态场景中，亟需更快的测量手段来获取物体的瞬态三维形貌；另一方面，在如图1(b)所示的装备性能测试以及智能制造中，也存在着大量需要对复杂动态过程进行三维重建的场景。与此同时，进一步获取如图1(c)所示复杂结构件在受力过程下的全场动态三维形变和应变信息后，可以满足其材料及力学特性分析的需求。因此，如何实现测量速度更快、测量适应性更强以及测量维度更高的高速三维测量是学者们不懈追求的目标。

图1 复杂动态场景测量需求。(a) 测量速度更快；(b) 测量适应性更强；(c) 测量维度更高

2 技术原理及关键问题

基于条纹投影的三维测量技术的灵感来源于传统的干涉计量，借用干涉计量中条纹调制解调物体高度的思想，利用数字投影仪直接产生并投影周期已知的正弦条纹到被测物体表面，然后相机从垂直于条纹方向上的另一角度拍摄受物体高度信息调制的变形条纹图。随后利用条纹分析手段提取截断相位，再经过相位展开、相位-高度映射以及系统标定便可得到物体最终的三维面形分布，如图2所示。

图2 基于条纹投影的动态三维测量技术原理及进展^[1-11]

相比于静态场景，动态场景具有运动速度快、过程随机不可控、被测场景复杂多变等特性。因此，为了进一步实现动态场景的高速三维形貌测量，研究人员主要从如何开发具有更高探测和投影性能的测量器件以及如何提升条纹分析算法的测量性能两个方面进行了探究。

3 技术发展及相关应用

为了提升结构光投影技术在动态场景中的表现，研究人员首先在硬件性能的提升上开展了相关研究。在拍摄成像端，基于电荷耦合器件以及互补金属氧化物半导体的数字成像传感器极大地推动了高速摄影的发展，使得高速相机可以实现高达10⁷帧每秒的探测速度。

近年来，单帧超快光学成像又将瞬态二维图像探测的记录速度提升到了一个新的量级(>10¹¹fps)^[12]。在如何提升投影速度上，学者们先后提出了二值离焦投影技术^[13]、机械旋转结构投影^[14]、基于LED阵列投影^[1]以及基于光子时间伸缩的超快时间编码照明^[15]图像生成方法，如图3(a)-(d)所示，最高实现了50MHz的投影速率。

除了追求更快的测量速度，在高速三维测量技术中如何减少海量的存储数据以及提升测量系统在极弱光照条件下的表现也是将此技术应用到更多极端、瞬态测量环境下必须要解决的问题。学者们引入非成像式探测器件引入到条纹投影三维测量技术当中，包括事件相机^[16]（Event camera）、单光子雪崩二极管^[17]（Single Photon Avalanche Diode, SPAD）阵列以及单像素探测器件^[18]（Single pixel detector, SPD）等，分别用于实现对动态场景的低数据量、高动态范围以及非可见光波段下的三维测量。

图3 典型动态场景条纹投影测量系统：(a) 二值离焦投影系统^[13]；(b) 旋转光栅投影系统^[14]；(c) 阵列投影系统^[1]；(d) 时间编码投影系统^[15]；(e) 基于事件相机的三维测量系统^[16]；(f) 基于单光子雪崩二极管的三维测量系统^[17]；(g) 基于单像素探测器件的三维测量系统^[18]

学者们在这些硬件的基础上，针对不同的应用需求，研究发展了一系列的测量算法来实现对动态场景的三维重建。这些算法被大致分为三类：以傅里叶变换轮廓术为典型代表的单帧条纹分析方法、以相移测量轮廓术为代表的多帧图案投影技术以及基于数据驱动的深度学习辅助方法。

4 傅里叶变换轮廓术

作为最具代表性的单帧条纹投影测量方法，傅里叶变换轮廓术(Fourier transform profilometry, FTP)非常适用于对快速动态场景的测量。学者们利用此技术完成了对液体漩涡^[4]、鼓膜振动^[19]、旋转扇叶^[20]、微飞行器翅膀扇动^[3]等动态场景的测量，如图4(a)-(d)所示。此方法只需投影一帧图案即可完成重建，对投影设备要求低，同时不存在帧间运动模糊问题，但由于空域滤波的存在，无法重建物体细节信息，因此FTP方法适用于变化快速的平缓、连续表面的三维测量。因此发展出了时间傅里叶变换方法^[21] (Temporal Fourier transform Profilometry, TFTP)以及微频移傅里叶变换轮廓术^[5] (micro Fourier Transform Profilometry, μFTP)等方法来实现具有多个孤立物体的瞬态场景的高速测量，如图4(e)和(f)所示。

图4 基于FTP方法的典型高速动态三维测量结果。(a) 液体漩涡^[4]；(b) 鼓膜振动^[19]；(c) 旋转扇叶^[20]；(d) 扇动翅膀^[3]；(e) 汽缸做功^[21]；(f) 破裂气球^[5]

5 相移测量轮廓术

DMD投影仪的发展以及二值离焦技术的产生使相移条纹的快速切换投影成为了可能，因此学者们逐渐将研究兴趣转向基于相移方法（点对点处理）的高速高精度三维面形测量技术。其中的双目立体匹配算法，不需要额外投影条纹即可进行相位展开，因此在相移方法中具有最高的测量效率以及最优的抗运动模糊能力，学者们利用此技术原理搭建了基于物理光栅投影的高速测量系统^{[1, 22]}，如图5(a)和(b)所示，完成了对砖块倒塌^[1]、安全气囊弹出^[22]以及玻璃杯共振破碎^[23]等高速瞬态场景的三维形貌重建，如图5(c)-(e)所示。但额外高速相机的引入会大大增加测量系统的成本，同时双目匹配搜所算法相比于单目系统下点对点的代数运算也会大大增加算法的计算开销。因此，此类方法适用于运动硬件设备速度相比于测量场景速度冗余量不大的复杂场景的快速三维测量。

图5 基于双目立体匹配重建算法的典型测量系统及重建结果。(a) 阵列投影系统^[1]；(b) 旋转光栅投影系统^[22]；(c) 砖块倒塌^[1]；(d) 安全气囊弹出^[22]；(e) 玻璃杯共振破碎^[23]

为了不额外增加硬件成本，学者们也尝试从算法端进行优化来消除相位歧义。其中最常用的是通过投影额外频率的相移条纹去实现时间轴上相位展开的多频相移方法，学者们基于此类方法，通过优化条纹编码方式，不断提升测量效率，完成了对单摆摆动^[24]、离体兔子心脏跳动^[6]、动静态物体测量^[25]以及人体姿态测量^[26]等动态场景的重建，如图6所示。此类方法仅需一台投影仪和一台高速相机即可完成测量，可显著降低测量设备成本，同时相比于双目立体匹配方法具有更高的条纹周期标记能力，可以获得更高的测量精度。但由于其在展开相位时会将噪声等干扰信号等比例放大，因此对环境噪声非常敏感。所以，此方法适用于测量环境噪声较小但对测量精度要求较高时的动态场景测量。

图6 基于多频相移方法的典型测量结果。(a) 单摆摆动^[24]；(b) 离体兔子心脏跳动^[6]；(c) 动、静孤立物体^[25]；(d) 人体运动姿态测量^[26]

为了进一步实现高噪声动态场景下的高速高鲁棒性三维面形测量，学者们选择抗噪性能更好、鲁棒性更高的格雷码辅助相移技术进行研究，从性能评价模型的建立、到鲁棒的相位展开方法再到高效的结构光编码方式进行了深入、系统的研究，解决了此类方法中存在级次跳变错误和编码效率低的两大关键问题，将其运用到了牛顿摆撞击^[27]、积木坍塌^[28]、扇叶旋转^[28]、雪花飘落^[29]以及水球撞击铁网^[29]等复杂、高噪声动态场景的三维形貌测量中，如图7所示。此类方法具有很强的抗噪声能力，但由于在动态场景测量中使用的时间复用优化策略会人为增加解码序列长度，因此会降低其抗运动模糊能力。所以，此方法最适用的场景为测量设备速度相比于被测场景速度有一定冗余量，但测量场景噪声较大的复杂动态场景测量。

图7 基于多频相移方法的典型测量结果。(a) 单摆摆动^[24]；(b) 离体兔子心脏跳动^[6]；(c) 动、静孤立物体^[25]；(d) 人体运动姿态测量^[26]

为了进一步完成对物体运动状态、光谱成分、以及材料结构特性的分析，学者们发展了一系列新的测量方法和系统，扩展了传统条纹投影方法的测量维度，完成了基于条纹投影系统的三维热成像^[30]、三维多光谱成像^[31]以及三维形变和应变测量^[32.33]，如图8所示。

图8 基于条纹投影系统的多维度测量。(a) 三维热成像^[30]；(b) 三维多光谱成像^[31]；(c) 三维形变和应变测量^[32,33]

6 深度学习辅助

近年来深度学习方法的持续突破同样也为条纹投影三维测量领域的发展带来了新的生长。学者们将基于数据驱动的深度学习方法引入到结构光投影测量领域中，在提升相位计算精度^[34]、重建鲁棒性^[35]以及编码效率^[36]等方面取得了一系列的进展，如图9(a)-(c)所示。大量数据集的学习使得网络具备了超越传统方法的编解码能力，可以帮助传统方法打破其在测量效率、精度、鲁棒性等方面的相互制约^[9]，如图9(d)所示，为高速三维测量取得进一步突破提供了新的思路。在目前的研究当中，获取大量的实验训练数据集仍然是网络取得良好结果的先决条件，所以，此方法更适用于测量任务明确，算力充足情况下的超高速瞬态场景的测量。

图9 基于深度学习的条纹投影测量方法。(a) 单帧相位重建^[34]；(b) 一步相位展开^[35]；(c) 端对端三维重建^[36]；(d) 与传统方法动态重建结果比较^[9]

7 总结与展望

经过多年的发展，基于条纹投影的高速三维测量技术，已经在如何提升三维成像速度、如何适应复杂测量环境以及如何提升测量感知维度三方面取得了重要进展，发展出了一系列具备明显的高速高鲁棒性特性，能用于复杂动态场景的高速度、高效率、高适应性三维重建手段和方法，有力拓展了三维测量的应用领域和对象，能迎合制造业变革和**装备性能测试中对复杂面形动态形变检测的应用需求。未来，新技术的出现和引入将会进一步拓展测量方法的边界，使得这项技术得到进一步的发展和运用。

参考文献

[1] Heist S, Mann A, Kühmstedt P, et al. Array projection of aperiodic sinusoidal fringes for high-speed three-dimensional shape measurement [J]. Optical Engineering, 2014, 53(11): 112208.

[2] Wissmann P, Schmitt R. Hand guided 3-D scanning [R]: Lehrstuhl für Fertigungsmesstechnik und Qualitätsmanagement, 2014.

[3] Zhang Q C, Huang L, Chin Y W, et al. 4D metrology of flapping-wing micro air vehicle based on fringe projection [J]. International Conference on Optics in Precision Engineering and Nanotechnology (Icopen2013), 2013, 8769.

[4] Zhang Q, Su X. High-speed optical measurement for the drumhead vibration [J]. Optics Express, 2005, 13(8): 3110-6.

[5] Zuo C, Tao T, Feng S, et al. Micro Fourier Transform Profilometry (μFTP): 3D shape measurement at 10,000 frames per second [J]. Optics and Lasers in Engineering, 2018, 102: 70-91.

[6] Wang Y, Laughner J I, Efimov I R, et al. 3D absolute shape measurement of live rabbit hearts with a superfast two-frequency phase-shifting technique [J]. Optics Express, 2013, 21(5): 5822-32.

[7] Heist S, Lutzke P, Schmidt I, et al. High-speed three-dimensional shape measurement using GOBO projection [J]. Optics and Lasers in Engineering, 2016, 87: 90-6.

[8] Wu Z, Guo W, Zhang Q. High-speed three-dimensional shape measurement based on shifting Gray-code light [J]. Optics Express, 2019, 27(16): 22631-44.

[9] Feng S, Zuo C, Yin W, et al. Micro deep learning profilometry for high-speed 3D surface imaging [J]. Optics and Lasers in Engineering, 2019, 121: 416-27.

[10] Nguyen H, Dunne N, Li H, et al. Real-time 3D shape measurement using 3LCD projection and deep machine learning [J]. Applied Optics, 2019, 58(26): 7100-9.

[11] Qian J, Feng S, Li Y, et al. Single-shot absolute 3D shape measurement with deep-learning-based color fringe projection profilometry [J]. Optics Letters, 2020, 45(7): 1842-5.

[12] Gao L, Liang J, Li C, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second [J]. Nature, 2014, 516(7529): 74-7.

[13] Lei S Y, Zhang S. Flexible 3-D shape measurement using projector defocusing [J]. Optics Letters, 2009, 34(20): 3080-2.

[14] Wissmann P, Forster F, Schmitt R. Fast and low-cost structured light pattern sequence projection [J]. Optics Express, 2011, 19(24): 24657-71.

[15] Teng J, Guo Q, Chen M, et al. Time-encoded single-pixel 3D imaging [J]. APL Photonics, 2020, 5(2): 020801.

[16] Fujimoto Y, Sawabe T, Kanbara M, et al. Structured Light of Flickering Patterns Having Different Frequencies for a Projector-Event-Camera System; proceedings of the 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), F, 2022 [C]. IEEE.

[17] Sundar V, Ma S, Sankaranarayanan A C, et al. Single-Photon Structured Light; proceedings of the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, F, 2022 [C].

[18] Jiang W, Yin Y, Jiao J, et al. 2,000,000 fps 2D and 3D imaging of periodic or reproducible scenes with single-pixel detectors [J]. Photonics Research, 2022, 10(9): 2157-64.

[19] Zhang Q, Su X. High-speed optical measurement for the drumhead vibration [J]. Optics Express, 2005, 13(8): 3110-6.

[20] Zhang Q, Su X, Cao Y, et al. Optical 3-D shape and deformation measurement of rotating blades using stroboscopic structured illumination [J]. Optical Engineering, 2005, 44(11): 113601.

[21] 张海花, 李勇, 张启灿. 基于旋转光栅投影的动态三维面形测量方法 [J]. 光学学报, 2021, 41(23): 2312005.

[22] Heist S, Lutzke P, Schmidt I, et al. High-speed three-dimensional shape measurement using GOBO projection [J]. Optics and Lasers in Engineering, 2016, 87: 90-6.

[23] Jiang C, Kilcullen P, Lai Y, et al. High-speed dual-view band-limited illumination profilometry using temporally interlaced acquisition [J]. Photonics Research, 2020, 8(11): 1808-17.

[24] Wang Y, Zhang S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation [J]. Optics Express, 2011, 19(6): 5149-55.

[25] Zuo C, Chen Q, Gu G, et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection [J]. Optics and Lasers in Engineering, 2013, 51(8): 953-60.

[26] Jiang C, Kilcullen P, Lai Y, et al. Multi-scale band-limited illumination profilometry for robust three-dimensional surface imaging at video rate [J]. Optics Express, 2022, 30(11): 19824-38.

[27] Wu Z, Zuo C, Guo W, et al. High-speed three-dimensional shape measurement based on cyclic complementary Gray-code light [J]. Optics Express, 2019, 27(2): 1283-97.

[28] Wu Z, Guo W, Li Y, et al. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light [J]. Photonics Research, 2020, 8(6): 819-29.

[29] Wu Z, Guo W, Zhang Q, et al. Time-overlapping structured-light projection: high performance on 3D shape measurement for complex dynamic scenes [J]. Optics Express, 2022, 30(13): 22467-86.

[30] Landmann M, Heist S, Dietrich P, et al. High-speed 3D thermography[J]. Optics and Lasers in Engineering, 2019, 121: 448-455.

[31] Luo J, Li S, Forsberg E, et al. 4D surface shape measurement system with high spectral resolution and great depth accuracy[J]. Optics Express, 2021, 29(9): 13048-13070.

[32] Wu Z, Guo W, Pan B, et al. A DIC-assisted fringe projection profilometry for high-speed 3D shape, displacement and deformation measurement of textured surfaces[J]. Optics and Lasers in Engineering, 2021, 142: 106614.

[33] Wu Z, Guo W, Chen Z, et al. Three-dimensional shape and deformation measurement on complex structure parts[J]. Scientific Reports, 2022, 12(1): 7760.

[34] Feng S, Chen Q, Gu G, et al. Fringe pattern analysis using deep learning [J]. Advanced Photonics, 2019, 1(02): 025001.

[35] Wang K, Li Y, Kemao Q, et al. One-step robust deep learning phase unwrapping [J]. Optics Express, 2019, 27(10): 15100-15.

[36] Nguyen H, Wang Y, Wang Z. Single-shot 3d shape reconstruction using structured light and deep convolutional neural networks [J]. Sensors, 2020, 20(13): 3718.

课题组及作者介绍

四川大学三维传感与机器视觉实验室由苏显渝教授发起和成立于1988年，目前负责人为张启灿教授，在国内率先开展并一直从事基于结构光照明的三维面形测量(形貌检测)、摄像机标定和位姿测量研究工作。实验室从事三维测量、光学信号处理等领域的研究工作三十余年，在三维测量方面长期研究，积累了丰富的经验和学术成果，获准国家发明专利40余项，发表SCI 收录600余篇，SCI他引6000余次。三十余年来，在多个国家自然科学基金等项目的资助下，在三维测量理论、方法及其实用技术的研究中取得长足进展，拥有自主知识产权的技术成果，所研制的多种静态物体三维测量系统已在国内推广使用，并获2004年国家技术发明二等奖、2003年教育部自然科学一等奖，以及多次四川省科技成果奖。

吴周杰，副研究员，硕导。从事计算光学成像、光测力学等方面的研究工作，先后主持了包括国家自然科学基金青年基金项目、博士后创新人才支持计划项目、江西省重大科技研发专项“揭榜挂帅”项目课题在内的5项国家或省部级项目，参与了多套三维测量仪器的研制和推广。发表高水平SCI论文20余篇，EI检索论文10篇，被引500余次。论文3篇入选Optics Express封面论文，1篇被美国光学学会以“Image of the Week”形式进行报道，4篇入选中文光学期刊封面。申请国家发明专利8项，其中4项获得授权。受邀担任SCI期刊 Electronics的特约专题编辑(Guest Editor)1次，参与组织国际计算成像会议（CITA2022, CITA2023）以及国际3D视觉感知与应用研讨会（IS3DVPA2021）3次，参加学术会议并做邀请报告6次，获国际学术会议icOPEN 2019最佳学生口头报告、国际学术研讨会IFOSA 2020最佳报告，获2020年度中国光学学会“王大珩光学奖”，并入选2021年度博士后创新人才支持计划。

张启灿，教授，博导，教育部新世纪优秀人才，四川省学术和技术带头人。从事三维光学测量研究二十余年，主攻基于结构光投影的动态过程三维面形测量研究，主持过国家自然科学基金项目、教育部新世纪优秀人才支撑计划项目、国际合作项目和多个横向合作项目的研究，以任务负责人身份参与国家科技部重大仪器专项研究项目一项。作为特邀高访学者到芬兰国家技术研究中心(Finland VTT)和新加坡南洋理工大学进行访问、合作研究。现任亚洲实验力学学会(ASEM)指导委员会委员、Optics Express编辑(Associate Editor)、Optics and Lasers in Engineering编委(Editorial Board member)。以动态三维测量研究成果为主要内容，在国内外刊物上发表论文180余篇，含ESI高被引论文1篇，SCI收录80篇，SCI他引1600余次。在国际学术会议上做了8次邀请报告和10余次分会场报告，2次大会主席，4次技术委员会委员，多次分会场主席。研究成果被SPIE Newsroom和OSA Image of the Week作为科技亮点报道各一次，被光学工程类顶级期刊Optics Express选作封面文章3次、入选Editors’ Pick 1次。获2007年教育部“全国百篇优秀博士学位论文”提名，获国家技术发明二等奖一项，教育部自然科学奖一等奖一项。作为共同发明人有29项技术发明专利获得授权。