激光与光电子学进展, 2024, 61 (4): 0412005, 网络出版: 2024-02-22   

基于双频率解包裹的高反光运动物体三维重构

Three-Dimensional Reconstruction of Moving Objects with High Reflectivity Based on Dual-Frequency Unwrapping
作者单位
河南工业大学信息科学与工程学院,河南 郑州 450001
摘要
相移轮廓术由于其高测量精度和高鲁棒性已广泛应用于各个领域。然而,由于需投射多幅条纹图到物体表面,因此要求物体在测量过程中保持静止。另一方面,当重建高反光运动物体时,不仅出现过曝光现象,过曝光位置还将随着物体运动而变化,对测量提出了挑战。基于此,提出一种测量高反光运动物体的算法。过曝光位置随着物体运动变化意味着并非所有条纹图都存在过曝光。首先,投射双频率条纹图到运动物体表面并拍摄。其次,识别所有条纹图中的过曝光区域,并记录物体上每一点的非过曝光条纹图。再次,基于非等间隔相移的非过曝光条纹图进行相位提取,获得双频率相位分布。最后,对双频率相位分布进行运动补偿,并基于双频率解包裹算法实现正确解包裹,完成高反光运动物体三维重构。实验结果表明,该算法能有效减小高反光运动物体引起的测量误差,具有较高的工业应用价值。
Abstract
Phase-shifting profilometry is widely applied in various fields because of its high measurement accuracy and robustness. However, the necessity to project multiple fringe patterns onto the object's surface requires the object to remain stationary during the measurement process. Conversely, overexposure occurs and its position changes with the object's motion during the reconstruction of the highly reflective moving objects, which poses a measurement challenge. Hence, this study proposes an algorithm for measuring highly reflective moving objects. The change in the overexposure position with the object's motion means that not all stripe patterns have overexposure. First, a dual-frequency fringe pattern is projected onto a moving object's surface, and photos are taken. Second, the overexposed areas in all fringe patterns are identified, and the nonoverexposed fringe patterns at each point on the object are recorded. Phase extraction is again performed based on the nonoverexposed fringe patterns with nonequidistant phase shifts to achieve a dual-frequency phase distribution. Finally, motion compensation is applied to the dual-frequency phase distribution, and correct unwrapping is achieved based on the dual-frequency unwrapping algorithm, thereby completing the three-dimensional reconstruction of highly reflective moving objects. The experimental results show that the algorithm effectively reduces measurement errors due to highly reflective moving objects and has a high industrial application value.

1 引言

相移轮廓术(PSP)因其精度高、速度快、鲁棒性强等优点被广泛应用于逆向工程、工业产品检测等领域1-5。典型的相移轮廓术测量系统包括1个工业相机和1个投影仪。投影仪向被测物体投射多幅(至少3幅)包含相移的正弦波条纹图像,相机则从另一角度拍摄经物体高度调制的条纹图像。物体的高度变化将使条纹图像发生不同程度的扭曲。基于相位提取算法获得正弦波条纹的相位分布,并利用相位信息和系统标定参数完成三维重构。相移轮廓术基于相位而不直接使用条纹强度进行三维重构,由于在相位提取过程中消除了背景光和物体表面反射率变化的影响,可实现高精度和高鲁棒性的三维重构6-9。然而,相位提取仍然依赖条纹图像强度值,当测量具有高反光表面的被测物体时,拍摄的条纹图像将出现过曝光,导致相位提取错误,最终引起测量失败。

近年来,高反光物体三维重构引起了广泛关注10-11。多重曝光技术和调整投影图案强度技术是目前应用较广的解决方案。Waddington等12通过投射不同强度的条纹图来解决过曝光问题。针对物体上每个点,选取拍摄到的投射图像强度最大且不过曝光的条纹图像,并融合为一幅完整的物体条纹图像进行三维重构。Zhang等13通过调整相机曝光时间实现了相同的功能。当测量物体发生过曝光时,可基于不同的相机曝光时间拍摄物体条纹图像并进行三维重构。然而,如何确定合适的投射强度和曝光时间是上述两种方法要解决的关键问题。Zhang等14提出了确定最优相机曝光时间的方法,可由单次拍摄的图像确定最优过曝光时间。Feng等15通过直方图分布分析物体表面反射率,自适应地预测不同反射率需要的最佳曝光时间。Rao等16分析了每个像素的条纹调制系数和最大条纹强度之间的关系,最终计算出所需的最佳曝光时间。Wei等17提出了一种利用拍摄到的所有非过曝图像来提高三维重构信噪比的方法。不同强度的条纹图像被赋予不同权重,并基于最大信噪比准则进行融合,有效抑制了噪声。

上述方法通过获取不同强度条纹图像实现了高反光物体三维重构。然而,多重曝光技术和调整投影图案强度技术增加了条纹图拍摄数量,无法实现运动物体三维重构。高反光运动物体不仅引入了运动误差,其过曝光位置也将随着运动而发生变化,这对传统测量方法提出了挑战。

本文提出了一种基于双频率解包裹的高反光运动物体三维重构算法。物体运动会引起过曝光位置变化,增加了问题的复杂性,但同时也意味着运动物体上同一点不会在所有拍摄图像中都存在过曝光,因此可利用拍摄图像中非过曝光的条纹图像进行相位提取。首先,投射双频率条纹图到物体表面,并遍历物体上所有点,在所有拍摄条纹图中选取其非过曝光的条纹图像;其次,基于非等间隔相移的非过曝光条纹图像,分别提取两个频率对应的包裹相位;再次,分析物体运动在不同频率相位分布中引起的相位变化,并补偿因运动引起的高低频率相位和位置不匹配问题,实现正确解包裹;最后,完成高反光运动物体三维重构。

2 基本原理

2.1 传统相移轮廓术

N步相移轮廓术投射到物体表面上的条纹图18可表示为

In(x,y)=A+Bcosϕo(x,y)+2π(n-1)N,

式中:n=1,2,3,,NIn(x,y)是条纹图强度分布;A表示环境光强,B是正弦条纹图的振幅;ϕo(x,y)是物体表面相位分布。

相位分布ϕo(x,y)可通过式(2)获得:

ϕo(x,y)=ϕr(x,y)+Φ(x,y)=arctan-n=1NIn(x,y)sin2π(n-1)/Nn=1NIn(x,y)cos2π(n-1)/N

式中:ϕr(x,y)为参考平面上的相位值;Φ(x,y)为物体高度引起的相位变化。

式(2)可知,由于使用了arctan函数,ϕo(x,y)具有跳变且被包裹在(-π,π]范围内,相位解包裹可将不连续的相位分布变换为单调递增的连续相位19。所提算法基于双频率解包裹方法实现相位解包裹20-21

ϕunwrap(x,y)=2πn(x,y)+ϕo(x,y),n(x,y)=INTkϕlunwrap(x,y)-ϕho(x,y)2π,

式中:ϕunwrap(x,y)为解包裹相位;n(x,y)为条纹周期序号;ϕlunwrap(x,y)为低频率条纹对应的解包裹相位;ϕho(x,y)为高频率条纹对应的包裹相位;k为高低频率之间的比值;INT[]表示取整操作。

从式(2)、(3)可以看出,相位提取基于条纹图强度值,图像过曝光将引起相位提取错误。另外,传统相移轮廓术由于需要投射多幅图像到物体表面,因此要求物体在测量过程中保持静止。一旦物体发生运动,则不仅会导致包裹相位计算过程中物体条纹强度位置不匹配,还引入了额外的相移量,物体表面过曝光位置也将随着物体运动而改变,引起相位计算误差。

2.2 高反光运动物体三维重构

由于相移轮廓术系统中相机和投影仪存在夹角,因此物体运动将引起过曝光区域变化。所使用的正弦波条纹图像也存在周期性的亮暗变化。过曝光区域穿过暗条纹时等同于投射了低强度的条纹图像。基于以上分析可知,由于过曝光位置会随着运动而变化,因此对于运动物体上一点,并非拍摄到的全部条纹图像都发生过曝光。提取的非过曝光条纹图既包含物体运动信息,又包含非等间间隔相移。通过分析运动和过曝光区域变化影响,可正确提取相位信息,完成高反光运动物体三维重构。

运动物体条纹图像22可表示为

I˜n(x,y)=A+Bcosϕr[fn(x,y),gn(x,y)]+Φ(x,y)+2π(n-1)N

式中:I˜n(x,y)是包含运动信息的条纹图像;[fn(x,y),gn(x,y)]为物体运动后的坐标,其由描述物体运动的旋转平移矩阵表示。

由于并非所有的I˜n(x,y)都过曝光,假设M幅非过曝光条纹图被捕获:

I˜m(x,y)=A+Bcosϕr[fm(x,y),gm(x,y)]+Φ(x,y)+αm,

式中:非过曝条纹图的序号m=1,2,,MM3αm是条纹相移。需要注意的是,由于I˜m(x,y)是从I˜n(x,y)之中提取出来的,因此其条纹相移不是等间隔的。

式(6)中,I˜m(x,y)ϕr[fm(x,y),gm(x,y)]αm为已知参数,ABΦ(x,y)为未知参数。因此当M3时,可通过求解式(6)得出相位值。

式(6)重写为

I˜m(x,y)=A+P(x,y)cosσ+Q(x,y)sinσ

式中:P(x,y)=BcosΦ(x,y)Q(x,y)=-BsinΦ(x,y)σ=ϕr[fm(x,y),gm(x,y)]+αm

记真实拍摄的条纹图为I˜mT(x,y),则其误差可表示为

E(x,y)=m=1M[I˜mT(x,y)-A-P(x,y)cosσ-Q(x,y)sinσ]2

基于最小二乘准则,当式(8)最小时,有EA=0EP=0EQ=0,即

m=1M[I˜mT(x,y)-A-P(x,y)cosσ-Q(x,y)sinσ]=0m=1Mcos(σ)[I˜mT(x,y)-A-P(x,y)cosσ-Q(x,y)sinσ]=0m=1Msin(σ)[I˜mT(x,y)-A-P(x,y)cosσ-Q(x,y)sinσ]=0

式(9)改写为

X(x,y)=A-1(x,y)Y(x,y)A(x,y)=Mm=1Mcosσm=1Msinσm=1Mcosσm=1Mcos2σ12m=1Msin2σm=1Msinσ12m=1Msin2σm=1Msin2σX(x,y)=AP(x,y)Q(x,y)TY(x,y)=m=1MI˜mT(x,y)m=1McosσI˜mT(x,y)m=1MsinσI˜mT(x,y)T

参数AP(x,y)Q(x,y)可由式(10)~(13)得出,进而可由式(14)得到相位分布Φ(x,y)

Φ(x,y)=arctan[-Q(x,y)/P(x,y)]

当被测物体存在跳变或同时测量多个不连续物体时,需使用双频率解包裹算法进行相位解包裹。然而,因为物体发生了运动,式(4)中使用的高频包裹相位和低频解包裹相位之间不仅存在物体位置不匹配,也存在物体运动引起的相移。基于物体的运动信息,首先应将高低频率相位分布中的物体位置移动到一致,再对因物体移动引起的相位变化进行补偿,进而实现高频率相位正确解包裹。

物体运动导致的相位变化可转化为相同运动在参考平面上引起的相位变化23。参考平面相位为已知参数,因此,根据物体运动信息,可将相同位置变化转化到参考平面相位分布中。ϕlunwrap(x,y)为物体低频解包裹相位,ϕr(x,y)为参考平面相位分布,则物体从位置(x,y)运动到f(x,y),g(x,y)时,其相位变化关系为

ϕlunwrap(x,y)-ϕlunwrapf(x,y),g(x,y)=ϕr(x,y)-ϕrf(x,y),g(x,y)

物体运动后的相位分布可表示为

ϕlunwrapf(x,y),g(x,y)=ϕlunwrap(x,y)+ϕrf(x,y),g(x,y)-ϕr(x,y)

通过式(16)得到物体运动后的低频解包裹相位后,物体位置与高频包裹相位分布中的位置已一致,此时可基于双频率解包裹算法进行解包裹,最终完成高反光运动物体三维重构。

式(16)需获得物体的运动信息,本研究基于图像处理方法实现物体运动跟踪24。基于相位相关算法处理拍摄到的运动物体条纹图,利用物体运动在条纹图傅里叶变换中引起的偏移特性精确获得物体运动信息。

3 实验

采用工业相机(OPT-CC1-048A-RM-G,分辨率1800 pixel×1600 pixel)、投影仪(TJ-S50,分辨率1280 pixel×720 pixel)和电动位移台搭建的实验系统如图1(a)所示。被测物体为高度分布不连续的陶瓷玩具和耳机,如图1(b)所示,可明显看出被测物体存在过曝光现象。

图 1. 实验系统和被测物体。(a)实验系统;(b)被测物体

Fig. 1. Experimental system and measured objects. (a) Experimental system; (b) measured objects

下载图片 查看所有图片

为了拍摄到足够多的非过曝光条纹图,使用了6步相移轮廓术。双频率条纹图被投射到物体表面,物体在电动平台上做同方向非匀速运动。捕获的双频率条纹图如图2所示。可明显看出,并非所有的条纹图都发生过曝光现象。

表 1. 计算效率和精度评估结果

Table 1. Computing time and accuracy

MethodRoot mean square error /mmComputing time /ms
Traditional method0.0852154
Proposed method0.0037235

查看所有表

图 2. 捕获到的条纹图。(L1)~(L6)6步PSP捕捉到的低频运动物体条纹图案;(H1)~(H6)捕捉到的高频运动物体条纹图案

Fig. 2. Captured fringe patterns. (L1)‒(L6) Low frequency moving object stripe patterns captured by 6-step PSP; (H1)‒(H6) high frequency moving object stripe patterns captured

下载图片 查看所有图片

基于阈值对获得的条纹图进行过曝光区域识别,大于阈值的标记为过曝光像素,设置的阈值为250。图3显示了筛选出来的过曝光条纹图。可以看出,随着物体的运动,其过曝光区域的位置也随着变化,跟第一幅图像相比,最后一幅条纹图中的过曝光位置向右侧移动。

图 3. 曝光区域的条纹图识别。(a)~(c)低频运动物体过曝光条纹图;(d)~(f)高频运动物体过曝光条纹图

Fig. 3. Stripe pattern recognition of exposure area. (a)‒(c) Overexposure stripe patterns of low-frequency moving objects; (d)‒(f) overexposure stripe patterns of high-frequency moving objects

下载图片 查看所有图片

针对物体上一点,基于非过曝区域条纹图和所提算法分别提取两个频率对应的相位,其结果如图4(a)~(b)所示。图4中两个频率相位分布中物体位置不一致。

图 4. 双频率包裹相位。(a)低频包裹相位;(b)高频包裹相位

Fig. 4. Dual-frequency wrapping phase. (a) Low frequency wrapping phase; (b) high frequency wrapping phase

下载图片 查看所有图片

为使用双频率解包裹算法,使用空间相位解包裹算法对低频包裹相位进行解包裹,基于物体运动信息将低频解包裹相位分布中的物体移动到和高频条纹相位分布中一致的位置,并利用式(16)进行相位运动补偿,然后基于双频率解包裹算法完成高频相位解包裹。其结果如图5所示,图5中方框展示了物体的位置。

图 5. 运动相位补偿。(a)补偿前低频解包裹相位;(b)补偿后低频解包裹相位;(c)高频解包裹相位

Fig. 5. Motion phase compensation. (a) The unwrapped phase map of low frequency before compensation; (b) the unwrapped phase map of low frequency after compensation; (c) the unwrapped phase map of high frequency

下载图片 查看所有图片

基于相位信息和系统标定参数进行三维重构,结果如图6(a)~(b)所示。可以明显看出,过曝光区域被成功重构。为了对比实验效果,传统运动物体三维测量方法也应用到了上述条纹图中,其结果如图6(c)~(d)所示。对比图6中的重构结果可明显看出,相对于传统的运动物体三维测量方法,所提方法既克服了物体运动引起的误差,又可正确重构物体上的过曝光区域。而传统运动物体三维测量方法仅解决了运动引起的误差,物体表面过曝光引起的误差则较为明显。

图 6. 重构结果图。(a)所提方法重构点云;(b)图6(a)中虚线轮廓;(c)传统方法重构点云;(d)图6(c)中虚线轮廓

Fig. 6. Reconstruction result diagrams. (a) Reconstruction of point cloud with proposed method; (b) contour of dotted line in Fig. 6(a); (c) reconstruction of point cloud with traditional method; (d) contour of dotted line in Fig. 6(c)

下载图片 查看所有图片

本实验基于C++编程,计算机配置如下:Intel i7-12700 CPU、16 GB内存、NVIDIA GeForce GT 730显卡。所提方法所需的计算时间为235 ms,而传统方法的计算时间为154 ms。为评估所提方法的精度,基于多重曝光技术对静止物体进行了重构,并以此结果为真值。计算效率和精度评估结果如表1所示。所提方法的均方根误差为0.0037 mm,而传统运动物体三维重构的均方根误差为0.0852 mm,进一步验证了所提方法的有效性。

4 结论

提出一种基于双频率解包裹的高反光运动物体三维重构算法。在运动物体三维测量中,物体运动不仅引起额外相移,还会导致过曝光区域位置变化。由于高反光运动物体测量过程中并非所有条纹图都过曝光,基于非等间隔相移的非过曝光条纹图进行相位提取,并补偿双频率条纹图中因物体运动引起的相位变化,实现了基于双频率的高反光运动物体三维测量。

参考文献

[1] Lu L, Suresh V, Zheng Y, et al. Motion induced error reduction methods for phase shifting profilometry: a review[J]. Optics and Lasers in Engineering, 2021, 141: 106573.

[2] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.

[3] Zhu S J, Wu Z J, Zhang J, et al. Superfast and large-depth-range sinusoidal fringe generation for multi-dimensional information sensing[J]. Photonics Research, 2022, 10(11): 2590-2598.

[4] 曾欣怡, 伍世虔, 陈彬. 基于混合编码结构光的相移轮廓测量法[J]. 激光与光电子学进展, 2022, 59(13): 1312002.

    Zeng X Y, Wu S Q, Chen B. Hybrid-coded phase-shifting profilometry for structured light measurement[J]. Laser & Optoelectronics Progress, 2022, 59(13): 1312002.

[5] 肖毅鹏, 石朝侠, 达飞鹏. 相移轮廓术周期性光源干扰[J]. 光学学报, 2020, 40(15): 1512002.

    Xiao Y P, Shi C X, Da F P. Periodic light disturbance in fringe projection profilometry[J]. Acta Optica Sinica, 2020, 40(15): 1512002.

[6] Feng S J, Zuo C, Zhang L, et al. Generalized framework for non-sinusoidal fringe analysis using deep learning[J]. Photonics Research, 2021, 9(6): 1084-1098.

[7] Xu J, Zhang S. Status, challenges, and future perspectives of fringe projection profilometry[J]. Optics and Lasers in Engineering, 2020, 135: 106193.

[8] Yang S C, Huang H L, Wu G X, et al. High-speed three-dimensional shape measurement with inner shifting-phase fringe projection profilometry[J]. Chinese Optics Letters, 2022, 20(11): 112601.

[9] Wu Z J, Guo W B, Li Y Y, et al. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light[J]. Photonics Research, 2020, 8(6): 819-829.

[10] Zhang P, Kai Z, Li Z W, et al. High dynamic range 3D measurement based on structured light: a review[J]. Journal of Advanced Manufacturing Science and Technology, 2021, 1(2): 2021004.

[11] Feng S J, Zhang L, Zuo C, et al. High dynamic range 3D measurements with fringe projection profilometry: a review[J]. Measurement Science and Technology, 2018, 29(12): 122001.

[12] Waddington C, Kofman J. Camera-independent saturation avoidance in measuring high-reflectivity-variation surfaces using pixel-wise composed images from projected patterns of different maximum gray level[J]. Optics Communications, 2014, 333: 32-37.

[13] Zhang S, Yau S T. High dynamic range scanning technique[J]. Optical Engineering, 2009, 48(3): 033604.

[14] Zhang S. Rapid and automatic optimal exposure control for digital fringe projection technique[J]. Optics and Lasers in Engineering, 2020, 128: 106029.

[15] Feng S J, Zhang Y Z, Chen Q, et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique[J]. Optics and Lasers in Engineering, 2014, 59: 56-71.

[16] Rao L, Da F P. High dynamic range 3D shape determination based on automatic exposure selection[J]. Journal of Visual Communication and Image Representation, 2018, 50: 217-226.

[17] Wei Y F, Lu L, Xi J T, et al. 3D shape measurement of shiny surfaces based on optimized combination of fringe patterns of different intensity[J]. Measurement Science and Technology, 2021, 32(3): 035203.

[18] 李杰, 陈彬, 曾欣怡, 等. 基于条纹级次编码与调制的结构光相位展开算法[J]. 光学学报, 2022, 42(9): 0912005.

    Li J, Chen B, Zeng X Y, et al. Phase unwrapping algorithm for structured light based on fringe-order encoding and modulation[J]. Acta Optica Sinica, 2022, 42(9): 0912005.

[19] Lu L, Xi J T, Yu Y G, et al. New approach to improve the accuracy of 3-D shape measurement of moving object using phase shifting profilometry[J]. Optics Express, 2013, 21(25): 30610-30622.

[20] 程磊, 潘艳娟, 奚冬冬, 等. 双频相移条纹相位展开校正算法[J]. 激光与光电子学进展, 2021, 58(12): 1210017.

    Cheng L, Pan Y J, Xi D D, et al. Phase unwrapping correction method for dual-frequency fringe projection profilometry[J]. Laser & Optoelectronics Progress, 2021, 58(12): 1210017.

[21] Dai M L, Yang F J, Liu C, et al. A dual-frequency fringe projection three-dimensional shape measurement system using a DLP 3D projector[J]. Optics Communications, 2017, 382: 294-301.

[22] Lu L, Jia Z Y, Pan W, et al. Automated reconstruction of multiple objects with individual movement based on PSP[J]. Optics Express, 2020, 28(19): 28600-28611.

[23] Lu L, Jia Z Y, Luan Y S, et al. Reconstruction of isolated moving objects with high 3D frame rate based on phase shifting profilometry[J]. Optics Communications, 2019, 438: 61-66.

[24] Duan M H, Jin Y, Chen H A, et al. Automatic 3-D measurement method for nonuniform moving objects[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5015011.

吕磊, 刘浩然, 张庆辉, 张梦雅, 吕鹏涛. 基于双频率解包裹的高反光运动物体三维重构[J]. 激光与光电子学进展, 2024, 61(4): 0412005. Lü Lei, Haoran Liu, Qinghui Zhang, Mengya Zhang, Lü Pengtao. Three-Dimensional Reconstruction of Moving Objects with High Reflectivity Based on Dual-Frequency Unwrapping[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0412005.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!