基于双频率解包裹的高反光运动物体三维重构
1 引言
相移轮廓术(PSP)因其精度高、速度快、鲁棒性强等优点被广泛应用于逆向工程、工业产品检测等领域[1-5]。典型的相移轮廓术测量系统包括1个工业相机和1个投影仪。投影仪向被测物体投射多幅(至少3幅)包含相移的正弦波条纹图像,相机则从另一角度拍摄经物体高度调制的条纹图像。物体的高度变化将使条纹图像发生不同程度的扭曲。基于相位提取算法获得正弦波条纹的相位分布,并利用相位信息和系统标定参数完成三维重构。相移轮廓术基于相位而不直接使用条纹强度进行三维重构,由于在相位提取过程中消除了背景光和物体表面反射率变化的影响,可实现高精度和高鲁棒性的三维重构[6-9]。然而,相位提取仍然依赖条纹图像强度值,当测量具有高反光表面的被测物体时,拍摄的条纹图像将出现过曝光,导致相位提取错误,最终引起测量失败。
近年来,高反光物体三维重构引起了广泛关注[10-11]。多重曝光技术和调整投影图案强度技术是目前应用较广的解决方案。Waddington等[12]通过投射不同强度的条纹图来解决过曝光问题。针对物体上每个点,选取拍摄到的投射图像强度最大且不过曝光的条纹图像,并融合为一幅完整的物体条纹图像进行三维重构。Zhang等[13]通过调整相机曝光时间实现了相同的功能。当测量物体发生过曝光时,可基于不同的相机曝光时间拍摄物体条纹图像并进行三维重构。然而,如何确定合适的投射强度和曝光时间是上述两种方法要解决的关键问题。Zhang等[14]提出了确定最优相机曝光时间的方法,可由单次拍摄的图像确定最优过曝光时间。Feng等[15]通过直方图分布分析物体表面反射率,自适应地预测不同反射率需要的最佳曝光时间。Rao等[16]分析了每个像素的条纹调制系数和最大条纹强度之间的关系,最终计算出所需的最佳曝光时间。Wei等[17]提出了一种利用拍摄到的所有非过曝图像来提高三维重构信噪比的方法。不同强度的条纹图像被赋予不同权重,并基于最大信噪比准则进行融合,有效抑制了噪声。
上述方法通过获取不同强度条纹图像实现了高反光物体三维重构。然而,多重曝光技术和调整投影图案强度技术增加了条纹图拍摄数量,无法实现运动物体三维重构。高反光运动物体不仅引入了运动误差,其过曝光位置也将随着运动而发生变化,这对传统测量方法提出了挑战。
本文提出了一种基于双频率解包裹的高反光运动物体三维重构算法。物体运动会引起过曝光位置变化,增加了问题的复杂性,但同时也意味着运动物体上同一点不会在所有拍摄图像中都存在过曝光,因此可利用拍摄图像中非过曝光的条纹图像进行相位提取。首先,投射双频率条纹图到物体表面,并遍历物体上所有点,在所有拍摄条纹图中选取其非过曝光的条纹图像;其次,基于非等间隔相移的非过曝光条纹图像,分别提取两个频率对应的包裹相位;再次,分析物体运动在不同频率相位分布中引起的相位变化,并补偿因运动引起的高低频率相位和位置不匹配问题,实现正确解包裹;最后,完成高反光运动物体三维重构。
2 基本原理
2.1 传统相移轮廓术
N步相移轮廓术投射到物体表面上的条纹图[18]可表示为
式中:
相位分布
式中:
由
式中:
从式(
2.2 高反光运动物体三维重构
由于相移轮廓术系统中相机和投影仪存在夹角,因此物体运动将引起过曝光区域变化。所使用的正弦波条纹图像也存在周期性的亮暗变化。过曝光区域穿过暗条纹时等同于投射了低强度的条纹图像。基于以上分析可知,由于过曝光位置会随着运动而变化,因此对于运动物体上一点,并非拍摄到的全部条纹图像都发生过曝光。提取的非过曝光条纹图既包含物体运动信息,又包含非等间间隔相移。通过分析运动和过曝光区域变化影响,可正确提取相位信息,完成高反光运动物体三维重构。
运动物体条纹图像[22]可表示为
式中:
由于并非所有的
式中:非过曝条纹图的序号
将
式中:
记真实拍摄的条纹图为
基于最小二乘准则,当
将
参数
当被测物体存在跳变或同时测量多个不连续物体时,需使用双频率解包裹算法进行相位解包裹。然而,因为物体发生了运动,
物体运动导致的相位变化可转化为相同运动在参考平面上引起的相位变化[23]。参考平面相位为已知参数,因此,根据物体运动信息,可将相同位置变化转化到参考平面相位分布中。
物体运动后的相位分布可表示为
通过
3 实验
采用工业相机(OPT-CC1-048A-RM-G,分辨率1800 pixel×1600 pixel)、投影仪(TJ-S50,分辨率1280 pixel×720 pixel)和电动位移台搭建的实验系统如
图 1. 实验系统和被测物体。(a)实验系统;(b)被测物体
Fig. 1. Experimental system and measured objects. (a) Experimental system; (b) measured objects
为了拍摄到足够多的非过曝光条纹图,使用了6步相移轮廓术。双频率条纹图被投射到物体表面,物体在电动平台上做同方向非匀速运动。捕获的双频率条纹图如
表 1. 计算效率和精度评估结果
Table 1. Computing time and accuracy
|
图 2. 捕获到的条纹图。(L1)~(L6)6步PSP捕捉到的低频运动物体条纹图案;(H1)~(H6)捕捉到的高频运动物体条纹图案
Fig. 2. Captured fringe patterns. (L1)‒(L6) Low frequency moving object stripe patterns captured by 6-step PSP; (H1)‒(H6) high frequency moving object stripe patterns captured
基于阈值对获得的条纹图进行过曝光区域识别,大于阈值的标记为过曝光像素,设置的阈值为250。
图 3. 曝光区域的条纹图识别。(a)~(c)低频运动物体过曝光条纹图;(d)~(f)高频运动物体过曝光条纹图
Fig. 3. Stripe pattern recognition of exposure area. (a)‒(c) Overexposure stripe patterns of low-frequency moving objects; (d)‒(f) overexposure stripe patterns of high-frequency moving objects
针对物体上一点,基于非过曝区域条纹图和所提算法分别提取两个频率对应的相位,其结果如
图 4. 双频率包裹相位。(a)低频包裹相位;(b)高频包裹相位
Fig. 4. Dual-frequency wrapping phase. (a) Low frequency wrapping phase; (b) high frequency wrapping phase
为使用双频率解包裹算法,使用空间相位解包裹算法对低频包裹相位进行解包裹,基于物体运动信息将低频解包裹相位分布中的物体移动到和高频条纹相位分布中一致的位置,并利用
图 5. 运动相位补偿。(a)补偿前低频解包裹相位;(b)补偿后低频解包裹相位;(c)高频解包裹相位
Fig. 5. Motion phase compensation. (a) The unwrapped phase map of low frequency before compensation; (b) the unwrapped phase map of low frequency after compensation; (c) the unwrapped phase map of high frequency
基于相位信息和系统标定参数进行三维重构,结果如
图 6. 重构结果图。(a)所提方法重构点云;(b)图6(a)中虚线轮廓;(c)传统方法重构点云;(d)图6(c)中虚线轮廓
Fig. 6. Reconstruction result diagrams. (a) Reconstruction of point cloud with proposed method; (b) contour of dotted line in Fig. 6(a); (c) reconstruction of point cloud with traditional method; (d) contour of dotted line in Fig. 6(c)
本实验基于C++编程,计算机配置如下:Intel i7-12700 CPU、16 GB内存、NVIDIA GeForce GT 730显卡。所提方法所需的计算时间为235 ms,而传统方法的计算时间为154 ms。为评估所提方法的精度,基于多重曝光技术对静止物体进行了重构,并以此结果为真值。计算效率和精度评估结果如
4 结论
提出一种基于双频率解包裹的高反光运动物体三维重构算法。在运动物体三维测量中,物体运动不仅引起额外相移,还会导致过曝光区域位置变化。由于高反光运动物体测量过程中并非所有条纹图都过曝光,基于非等间隔相移的非过曝光条纹图进行相位提取,并补偿双频率条纹图中因物体运动引起的相位变化,实现了基于双频率的高反光运动物体三维测量。
[1] Lu L, Suresh V, Zheng Y, et al. Motion induced error reduction methods for phase shifting profilometry: a review[J]. Optics and Lasers in Engineering, 2021, 141: 106573.
[2] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.
[4] 曾欣怡, 伍世虔, 陈彬. 基于混合编码结构光的相移轮廓测量法[J]. 激光与光电子学进展, 2022, 59(13): 1312002.
[5] 肖毅鹏, 石朝侠, 达飞鹏. 相移轮廓术周期性光源干扰[J]. 光学学报, 2020, 40(15): 1512002.
[7] Xu J, Zhang S. Status, challenges, and future perspectives of fringe projection profilometry[J]. Optics and Lasers in Engineering, 2020, 135: 106193.
[10] Zhang P, Kai Z, Li Z W, et al. High dynamic range 3D measurement based on structured light: a review[J]. Journal of Advanced Manufacturing Science and Technology, 2021, 1(2): 2021004.
[11] Feng S J, Zhang L, Zuo C, et al. High dynamic range 3D measurements with fringe projection profilometry: a review[J]. Measurement Science and Technology, 2018, 29(12): 122001.
[12] Waddington C, Kofman J. Camera-independent saturation avoidance in measuring high-reflectivity-variation surfaces using pixel-wise composed images from projected patterns of different maximum gray level[J]. Optics Communications, 2014, 333: 32-37.
[13] Zhang S, Yau S T. High dynamic range scanning technique[J]. Optical Engineering, 2009, 48(3): 033604.
[14] Zhang S. Rapid and automatic optimal exposure control for digital fringe projection technique[J]. Optics and Lasers in Engineering, 2020, 128: 106029.
[15] Feng S J, Zhang Y Z, Chen Q, et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique[J]. Optics and Lasers in Engineering, 2014, 59: 56-71.
[16] Rao L, Da F P. High dynamic range 3D shape determination based on automatic exposure selection[J]. Journal of Visual Communication and Image Representation, 2018, 50: 217-226.
[17] Wei Y F, Lu L, Xi J T, et al. 3D shape measurement of shiny surfaces based on optimized combination of fringe patterns of different intensity[J]. Measurement Science and Technology, 2021, 32(3): 035203.
[18] 李杰, 陈彬, 曾欣怡, 等. 基于条纹级次编码与调制的结构光相位展开算法[J]. 光学学报, 2022, 42(9): 0912005.
[19] Lu L, Xi J T, Yu Y G, et al. New approach to improve the accuracy of 3-D shape measurement of moving object using phase shifting profilometry[J]. Optics Express, 2013, 21(25): 30610-30622.
[20] 程磊, 潘艳娟, 奚冬冬, 等. 双频相移条纹相位展开校正算法[J]. 激光与光电子学进展, 2021, 58(12): 1210017.
[21] Dai M L, Yang F J, Liu C, et al. A dual-frequency fringe projection three-dimensional shape measurement system using a DLP 3D projector[J]. Optics Communications, 2017, 382: 294-301.
[22] Lu L, Jia Z Y, Pan W, et al. Automated reconstruction of multiple objects with individual movement based on PSP[J]. Optics Express, 2020, 28(19): 28600-28611.
[23] Lu L, Jia Z Y, Luan Y S, et al. Reconstruction of isolated moving objects with high 3D frame rate based on phase shifting profilometry[J]. Optics Communications, 2019, 438: 61-66.
[24] Duan M H, Jin Y, Chen H A, et al. Automatic 3-D measurement method for nonuniform moving objects[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5015011.
Article Outline
吕磊, 刘浩然, 张庆辉, 张梦雅, 吕鹏涛. 基于双频率解包裹的高反光运动物体三维重构[J]. 激光与光电子学进展, 2024, 61(4): 0412005. Lü Lei, Haoran Liu, Qinghui Zhang, Mengya Zhang, Lü Pengtao. Three-Dimensional Reconstruction of Moving Objects with High Reflectivity Based on Dual-Frequency Unwrapping[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0412005.