期刊基本信息
23年第8期内封面：基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计
“工业视觉之眼”：VCSEL散斑投影阵列三维成像
《激光与光电子学进展》于2023年第8期（4月）推出“三维成像技术及应用”专题，特邀南京理工大学陈钱教授、左超教授团队撰写研究论文“基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计”，该论文被选为本期封面文章。
论文提出了一种基于垂直腔面发射激光器（VCSEL）投影阵列的散斑结构光三维成像技术及其传感器设计方法，所研制的三维传感器集成了3个小型化散斑投影模组投影一组空间位置不同的散斑图案，对被测场景的深度信息进行高效时空编码。提出了一种由粗到精的时空散斑相关算法以提升测量精度、重建复杂物体的精细轮廓。实验证明所提出的三维结构光传感器实现了远距离、大视场的高精度三维测量，有望在零件分拣、工件装配和焊接加工等方面得以广泛应用。
封面解读
本封面揭示了基于垂直腔面发射激光器（VCSEL）投影阵列的散斑结构光三维成像技术作为“工业视觉之眼”可应用于工业智能检测领域的用途。所研制的小型化三维结构光传感器通过集成3个散斑投影模组投影一组空间位置不同的散斑图案，实现对汽车表面的快速“数字化”，有望在零件分拣、工件装配和焊接加工等方面得以广泛应用。
文章链接
1 背景介绍
三维成像技术作为感知真实三维世界的重要信息获取手段，为重构物体真实几何形貌及后续建模、检测、识别提供了数据基础。在工业4.0时代下，“分布式”工业机器人与“移动式”服务机器人的蓬勃式发展对三维成像技术的小型化、低成本和可靠性等提出了更高的要求。然而，现有面向移动终端的三维成像技术（散斑结构光与飞行时间法）仅用于人脸识别、室内建模等对成像精度不敏感的领域。条纹结构光技术可实现高精度测量，但其测量效率较低、难以实现动态测量。因此，上述三维成像技术无法满足在线工业检测的低功耗、远距离、高精度、高分辨率和快速三维成像的迫切需求。
图1 三维成像技术的不同工业应用场景
2 光学三维成像技术分类
三维成像技术从感知方式上可以分为接触式测量和非接触式测量。接触式测量主要依靠标定的被动机械臂直接接触物体表面，逐点对物体轮廓数据进行釆集，对其形态信息进行三维测量。这种方法的优点是测量精度高，可达到微米级别，但是其对测量环境的要求较高，无法测量具有复杂形貌、柔性材质的物体。非接触式测量主要指依靠声、光与电磁学等方式接触物体表面以获取物体三维信息的方法。而其中基于光学的三维测量技术是目前最典型也是应用最广泛的三维成像技术。如图2所示，典型的光学三维成像技术主要包括光度立体视觉、双（多）目立体视觉、飞行时间法（Time of flight, ToF）、激光线扫法、散焦恢复形状法和结构光投影法等[1]。
图2 典型的光学三维成像技术
针对工业机器人高精度、高分辨率和快速测量应用而言，目前主流的光学三维成像技术是飞行时间法和结构光投影法[2]，如表1所示。飞行时间法[3-5]分为直接飞行时间（direct ToF, dToF）和间接飞行时间（indirect ToF, iToF）。dToF具有低功耗、抗干扰性强、高精度、远距离测量等优势，但是其对单光子雪崩器件（Single Photon Avalanche Diode, SPAD）的制作工艺、检测精度有很高要求，导致系统集成困难、分辨率低。iToF采用图像传感器接受光信号克服了分辨率低这一缺陷，但是由于不同反射路径的干扰问题，随着测量距离的不断增大将导致相位测量的信噪比显著降低，深度误差随之增大。
表1 飞行时间法和结构光投影法的性能指标对比
图3 飞行时间法的三维成像原理
结构光投影法分为条纹投影法[6-11]和散斑投影法[12-14]。条纹投影法相关技术已经较为成熟，产品有德国GOM公司的ATOS系列，国内先临三维的EinScan系列。然而，条纹投影法一般需要投影多组正弦条纹图案以实现高精度测量，其测量效率较低、难以实现动态三维成像，数字光处理（Digital Light Processing, DLP）投影系统中的核心部件数字微镜器件（Digital Mirror Device, DMD）被美国TI公司垄断，相关设备存在成本高昂、系统小型化难度大等问题。散斑投影法极大简化了结构光投影器件的制作工艺，采用的红外散斑投射器件分为基于垂直腔面发射激光器（Vertical-Cavity Surface-Emitting Laser, VCSEL）的投影器件和基于边发射激光器（Edge Emitting Laser, EEL）的投影器件，具有高测量效率、系统小型化等优势。
图4 条纹投影法和散斑投影法的三维成像原理
目前，影响散斑投影法的关键技术分为散斑图案设计方法与高性能立体匹配算法。散斑图案设计方法的关键思想是如何保证局部散斑相对于整个投影散斑图案是全局唯一的。然而，由于被测物体表面的复杂反射特性以及双相机间存在的视角差异，仅投影单幅散斑图案仍难以保证整个测量空间中每个像素的全局唯一性，在实际测量时存在因误匹配而导致其测量精度较差问题。
针对上述问题，南京理工大学与苏州亚博汉智能科技有限公司联合研制了基于VCSEL投影阵列的散斑结构光三维传感系统，利用水平方向上间隔分布的3个小型化散斑投影模组形成散斑投影阵列，向被测场景连续投影3幅不同的散斑图案，实现了远距离、大视场的高精度三维测量。
3 基于VCSEL投影阵列的散斑结构光三维成像技术原理
1）三维结构光传感器的硬件系统
团队所研制的基于VCSEL投影阵列的散斑结构光三维传感器主要由2个红外相机模组和3个小型化散斑投影模组构成，如图5所示。小型化散斑投影模组采用VCSEL投射器作为红外投影光源，通过在VCSEL顶层的特定位置开孔以形成大量散斑点。由VCSEL发射的红外光线经过准直透镜，根据光的折射原理将衍射光束准直并汇聚成平行光束，以形成散斑状结构光图案。
通过引入具有光束复制功能的衍射光学元件（Diffractive optical elements, DOE），定制的DOE表面结构可以衍射出多个与入射图案相同的子图案，以实现几十甚至数百倍的图案复制效果。小型化散斑投影模组的视场角为58°×45°，焦距为8 mm，可以向被测场景投影总计3万多个清晰、均匀的散斑点。水平方向上间隔分布的三个散斑投影模组形成散斑投影阵列，向被测场景连续投影三幅不同的散斑图案，实现对场景深度信息的高效时空编码。
图5 基于VCSEL投影阵列的散斑结构光三维传感器 (a) 硬件结构示意图；(b) 实物图
2）三维结构光传感器的时空散斑相关算法
团队所提出的时空散斑相关方法主要包含三个步骤：时空匹配、成本聚合和视差优化，如图6所示。首先执行一种由粗到精的时空立体匹配算法，在粗匹配阶段使用基于ZNCC的局部时空匹配算法，获得被测场景的一个可靠但平滑的初始视差先验。在精匹配阶段，将基于归一化互信息的单像素匹配方法与时域匹配相结合，有效缓解因局部匹配而引起的视差平滑问题，同时提升匹配精度。然后将引导滤波应用于基于三帧散斑图的时空成本聚合[15]，使用融合抛物线与线性的加权插值函数实现亚像素视差优化。
图6 一种由粗到精的时空散斑相关算法的示意图，包含三个步骤：时空匹配、成本聚合和视差优化
4 实验结果与分析
1) 三维模型扫描重构实验
为了验证团队所研制的三维结构光传感器对复杂物体的测量性能，扫描了两个具有不同复杂形貌的物体——人头模型和大卫模型，测量距离为65 cm。此外，选用了市面上两款常见的散斑投影三维传感器（Astra Pro设备和RealSense D455设备）作为对比实验，对应的三维测量结果如图7所示。可以发现，Astra Pro设备提供的测量数据出现了明显的深度阶梯状分层现象，存在严重的数据缺失问题。由于严重的点云平滑问题，RealSense设备的数据表面起伏较大，无法分辨人头模型和大卫模型的五官轮廓，其重构结果略差于Astra Pro设备。而本文所研制的设备可以较高质量地重建出完整的五官轮廓，在细节处有着更好表现，提供了高精度、高完整度的三维重构结果。
图7 人头模型和大卫模型的三维重构结果 (a)-(b) 不同三维传感器的测量结果，包括Astra Pro设备、RealSense D455设备和基于VCSEL投影阵列的散斑结构光三维传感器
2) 小目标金属零件的远距离测量实验
为了验证三维结构光传感器在工业智能制造场景下的应用潜力，开展小目标金属零件的远距离测量实验，以满足零件分拣的应用需求。图8提供了1 m距离处以不同姿态堆叠放置的金属螺丝钉（直径约为3-7 mm）的散斑图与测量结果。由于小目标金属零件占据的像素区域较少，因此设置的局部匹配窗口应尽可能小，但是小匹配窗口将降低匹配的准确率，产生更多的误匹配，这对于散斑结构光三维传感器十分具有挑战性。从图8 (d)-(f)可以看出，本文所研制的设备成功地重构出金属零件末端部位的精准细节，且对三种不同姿态均提供了完整的零件三维轮廓，这证明本文方法对工业检测应用提供了良好的数据支撑。
图8 小目标金属零件的远距离测量实验 (a)-(c) 为不同姿态堆叠放置的金属螺丝钉的散斑图；(d)-(f) 为与(a)-(c)对应的三维点云结果
图9 小目标金属零件的点云结果
3 复杂场景测量实验
对于三维测量系统而言，测量具有复杂结构或不连续空间分布的远距离场景是一项挑战性任务。为此，构建了一个大空间范围的复杂场景，使用各种形状不同、大小不一的物体，有表面平滑连续的物体，也有复杂纹理特征的物体，待测场景的三维空间为0.7m×0.6m×1m（宽度×高度×深度）。如图10所示，实验结果证明所研制的三维结构光传感器实现了鲁棒、高精度的复杂场景重构。
图10 复杂场景的三维测量结果图
5 总结
综上所述，本文提出了一种基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计方法，通过使用3个小型化散斑投影模组形成散斑投影阵列，向被测场景连续投影三幅空间位置不同的散斑图案，实现了对场景深度信息的高效时空编码。同时，提出了一种由粗到精的时空散斑相关算法，成功恢复了复杂目标表面的精细轮廓。三维模型扫描重构实验、小目标金属零件的远距离测量实验和复杂场景测量实验共同证明，所研制的三维结构光传感器实现了远距离、大视场、高精度三维测量，有望在零件分拣、工件装配和焊接加工等工业场景得以广泛应用。
参考文献
[1] Zuo C, Zhang X, Hu Y, et al. Has 3D finally come of age? —an introduction to 3D structured-light sensor[J]. Infrared and Laser Engineering, 2020, 49(3): 303001.
[2] Marrugo A G, Gao F, Zhang S. State-of-the-art active optical techniques for three-dimensional surface metrology: a review[J]. JOSA A, 2020, 37(9): B60-B77.
[3] Ganapathi V, Plagemann C, Koller D, et al. Real-time motion capture using a single time-of-flight camera[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010, 755–762.
[4] Kolb A, Barth E, Koch R, et al. Time-of-flight cameras in computer graphics[C]. Computer Graphics Forum, 2010, 141–159.
[5] Ding P, Yao Y, Qi D, et al. Single-shot spectral-volumetric compressed ultrafast photography[J]. Advanced Photonics, 2021, 3(4): 045001.
[6] Gorthi S S, Rastogi P. Fringe projection techniques: whither we are?[J]. Optics and Lasers in Engineering, 2010, 48(2): 133–140.
[7] Zhang S. Absolute phase retrieval methods for digital fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 107: 28-37.
[8] Wu Z, Guo W, Zhang Q. High-speed three-dimensional shape measurement based on shifting gray-code light[J]. Optics Express, 2019, 27(16): 22631–22644.
[9] Zuo C, Feng S, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: A review[J]. Optics and Lasers in Engineering, 2018, 109, 23–59.
[10] Feng S, Chen Q, Gu G, et al. Fringe pattern analysis using deep learning[J]. Advanced Photonics, 2019, 1(2): 025001.
[11] Zuo C, Qian J, Feng S, et al. Deep learning in optical metrology: a review[J]. Light: Science & Applications, 2022, 11(1): 1–54.
[12] Zhou P, Zhu J, Jing H. Optical 3-D surface reconstruction with color binary speckle pattern encoding[J]. Optics Express, 2018, 26(3): 3452–3465.[13] Schaffer M, Grosse M, Arendt B, et al. High-speed three-dimensional shape measurements of objects with laser speckles and acousto-optical deflection[J]. Optics Letters, 2011, 36(16): 3097–3099.
[14] Yin W, Cao L, Zhao H, et al. Real-time and accurate monocular 3D sensor using the reference plane calibration and an optimized SGM based on opencl acceleration[J]. Optics and Lasers in Engineering, 2023, 165: 107536.
[15] Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(2): 504-511.
研究团队简介
南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学副校长、长江学者陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国家“优青”、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光学显微、光学计量、生命科学、生物医药、智能制造、遥感监测以及****领域的前沿应用。研究成果已在SCI源刊上发表论文180余篇，其中28篇论文被选作《激光与光电子学进展》、Advanced Photonics等期刊封面论文，19篇论文入选ESI高被引/热点论文，Google Scholar引用超过11000次。获中国光学工程学会技术发明一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等奖项。实验室研究生4人次获全国光学工程优秀博士论文/提名，4人次获得中国光学学会王大珩光学奖，5人次入围Light全国光学博士生学术竞赛全国百强，获全国“挑战杯”、“互联网+”、“创青春”、“研电赛”特等奖/金奖十余次。
南京理工大学智能计算成像实验室首页：www.scilaboratory.com