光学学报, 2018, 38 (11): 1112002, 网络出版: 2019-05-09   

双投影结构光三维测量中重叠相移光栅的分离方法 下载: 1168次

Separation Method of Overlapping Phase-Shift Gratings in Three-Dimensional Measurement of Double Projection Structured Light
作者单位
1 天津大学精密测试技术及仪器国家重点实验室, 天津 300072
2 湖北工业大学机械工程学院, 湖北 武汉 430068
摘要
在结构光的三维测量中,单投影仪单相机的测量结构在测量复杂物体时容易出现遮挡与阴影现象,从而影响了测量数据的完整性;使用双投影单相机的测量结构可扩展成像范围,减小阴影部分的面积,提高测量效率,但从部分重叠的相移光栅中分离出原始投影信号是该方法的难点。在分析传统四步相移法的基础上,提出了一种基于灰度互补关系的重叠相移光栅分离方法,该方法通过调整投影的相移光栅的时间及次序,在不改变原有测量系统结构的基础上有效消除了重叠部分的干扰信号;为了验证该分离方法的有效性,搭建测量系统进行相关实验。结果表明:利用互补关系可以实现重叠相移光栅信号的准确分离,获取完整的点云数据,同时也提高了测量速度。
Abstract
In the three-dimensional measurement of structured light, the measurement structure only with a single projector is prone to occlusion and shadow in the measurement of complex objects and thus the integrity of measurement data is influenced. In contrast, the measurement structure with double projectors can broaden the imaging area and reduce the shadowing region, and thus the measurement efficiency is improved. However, it is still difficult to separate the original projection signals from the partially overlapping phase-shift gratings for this method. On the basis of the analysis of the conventional four-step phase-measuring method, a separation method of overlapping phase-shift gratings is proposed via the complementarity of gray scales, in which the invalid overlapping signals are effectively eliminated by adjusting the time and sequence of the projected phase-shift gratings while keeping the original measuring structure. As for the verification of the effectiveness of the above separation method, a measurement system is established to conduct the related experiments. The results show that the complementarity of gray scales can be used to realize the accurate separation of overlapping phase-shift grating signals, obtain the complete point cloud data, and improve the measurement speed.

1 引言

随着《中国制造2025》战略的全面实施,以信息化与工业化深度融合为主要特征的互联网制造正成为新型制造模式,并向着智能制造方向迈进。结构光三维扫描测量技术以其非接触、高效率、较高精度和丰富的点云信息等优点,已广泛应用于先进制造领域[1-3]。目前,主流的单投影单相机的单端测量结构在测量复杂结构时容易出现自遮挡、阴影与盲区现象,影响了测量数据的完整性和测量速度[4-7]。国内外研究人员先后提出了双光源测量法,使用2个投影仪投射光栅信号来扩大测量范围,但该技术的难点和核心在于如何从相机采集的叠加信号中分离出左、右投影信号[8-11]

针对叠加信号的分离问题,Maimone等[12]通过少量的运动传感器使来自不同编码模式的信号变得模糊,直至可以移除。吴剑波等[13]通过红蓝滤波器和全反射镜实现了左投影投射红光和右投影投射蓝光,最后通过提取彩色电荷耦合器件(CCD)的红蓝通道的色度值来实现信号分离。这种通过硬件方式实现信号分离的方法不仅对硬件的性能要求较高,而且还大幅增加了测量系统的复杂度。肖朝等[14]提出了一种在右投影垂直方向上求解左投影偏导的方法,采用彩色条纹置换模式,通过从色度域上消除干扰实现了信号的分离,但该方法对光照不敏感。Yan等[15]通过设计一种不会相互干扰的多层信号来实现信号分离,但该方法依赖于编码信号设计,且编码和解码方法比较复杂。

鉴于此,本文提出了一种基于灰度互补特性的相移光栅分离方法,通过调整左、右投影仪投射的相移光栅的次序与投射时间,再经过相移匹配后就可以通过互补分离算法实现重叠部分左、右投影信号的分离。该方法不需要改变原有系统的硬件结构,只需从软件算法上进行相应的调整,具有较高的实用价值。本文首先分析相位测量轮廓术中传统的四步相移法及相移光栅的互补特性,之后设计相应的投影光栅组合次序,进行相关的双投影实验,最后论证方法的可行性,并论述双投影测量的优点。

2 基于相移光栅互补性质的分离原理

不同于单投影单相机的单端测量结构,本研究采用双投影单相机的测量结构。为了提升测量速度与测量精度,左、右投影仪同时投影,因此摄像机采集的光栅图案由左投影区域、右投影区域和重叠区域三部分组成,如图1所示。如果从投影区域细分和共同叠加区域管理方面入手,则需要进行投影编码图像的分割与拼接,处理算法比较复杂,会影响测量速度,增加测量的不确定度。

图 1. 原始光栅图

Fig. 1. Original grating image

下载图片 查看所有图片

将设定的标准正弦光栅图案通过投影仪投射到被测物体表面,摄像机采集被测物体表面经过高度调制后的光栅图案。光栅图案的光强为

Ii(u,v)=a+bcosθ(u,v),(1)

式中:Ii(u,v)为第i幅图的灰度值;a为条纹光强的背景值;b为调制强度;θ(u,v)为待求相位场;(u,v)为投影像素坐标。

4幅带有 π2相移的光栅图像可分别表示为

I1(u,v)=a+bcosθ(u,v)I2(u,v)=a+bcosθ(u,v)+π2I3(u,v)=a+bcos[θ(u,v)+π]I4(u,v)=a+bcosθ(u,v)+3π2,(2)

对应的相位主值为

I4(u,v)-I2(u,v)I1(u,v)-I3(u,v)=  sinθ(u,v)sinθ(u,v)+π2=tanθ(u,v)θ(u,v)=arctanI4(u,v)-I2(u,v)I1(u,v)-I3(u,v)(3)

(3)式即为四步相移求解相位主值的公式。

通过观察四步相移公式(2)式可知,第1幅条纹图像I1与第3幅条纹图像I3之间、第2幅条纹图像I2与第4幅条纹图像I4之间存在灰度互补关系,如图2所示。若将相移相差180°的两幅光栅图像进行加法运算,就可以消除调制强度b,得到背景图案,即

I1(u,v)+I3(u,v)=a+bcosθ(u,v)+a+bcos[θ(u,v)+π]=2aI2(u,v)+I4(u,v)=a+bcosθ(u,v)+π2+a+bcosθ(u,v)+3π2=2a(4)

图 2. 互补原理。(a) 0°相移光栅;(b) 180°相移光栅;(c) 0°与180°相移叠加光栅;(d) 90°相移光栅;(e) 270°相移光栅;(f) 90°与270°相移叠加光栅

Fig. 2. Complementary principle. (a) 0° phase-shift grating; (b) 180° phase-shift grating; (c) 0° and 180° phase-shift superposition grating; (d) 90° phase-shift grating; (e) 270° phase-shift grating; (f) 90° and 270° phase-shift superposition grating

下载图片 查看所有图片

利用灰度互补关系,设左投影的4幅 π2相移图案分别为L1L2L3L4,右投影的4幅 π2相移图案分别为R1R2R3R4。通过上位机控制投影仪投射图案的时长与序列,使得在8个等时长的投影序列中,左投影按L1L1L2L2L3L3L4L4的顺序,右投影按R1R3R2R4R3R1R2R4的顺序投射8幅图像,则采集的8幅图像可表示为

H1=L1+R1H2=L1+R3H3=L2+R2H4=L2+R4H5=L3+R3H6=L3+R1H7=L4+R2H8=L4+R4(5)

由互补关系知

L'1=H1+H22L'2=H3+H42L'3=H5+H62L'4=H7+H82R'1=H1+H62R'2=H3+H72R'3=H2+H52R'4=H4+H82,(6)

式中:L'1L'2L'3L'4为4幅 π2相移的分离左投影信号;R'1R'2R'3R'4 为4幅 π2相移的分离右投影信号。

根据(6)式即可实现重叠部分调制信号干扰的消除。相位分离结果如图3所示,图3(a)所示为左、右投影相移均为0的叠加信号H1,图3(b)所示为左投影相移为0、右投影相移为180°的叠加信号H2。将图3(a)、(b)所示的H1H2进行加法运算后,就可以得到图3(c)所示的分离左投影调制信号灰度图。同理,图3(f)所示的右投影调制信号灰度图为图3(d)所示的H1图3(e)所示的H6进行加法运算后的结果。在分离灰度图中除了分离出的调制信号外,在叠加区域还存在背景光强信号,因四步相移法具有消除背景光强的能力,因此不必对分离出来的信号进行区域划分,可直接用于相位主值的求解,最终的实验结果如图4所示。由图4中左、右分离信号的相位主值图可知,利用光栅互补特性可以消除重叠部分的干扰信号,实现相位主值的求解。相位主值的抽样结果也显示,最终求解的相位主值图直线性良好,不受分离算法的影响。

图 3. 相位分离结果。(a) H1; (b) H2; (c) L1; (d) H1; (e) H6; (f) R1

Fig. 3. Phase separation results. (a) H1; (b) H2; (c) L1; (d) H1; (e) H6; (f) R1

下载图片 查看所有图片

图 4. 相位主值。(a)左相位;(b)右相位

Fig. 4. Phase principal value. (a) Left phase; (b) right phase

下载图片 查看所有图片

3 实验

为了验证灰度互补原理用于分离叠加部分结构光编码光栅信号的可行性,设计了一套双投影单相机的三维测量实验装置,如图5所示。该实验装置主要由两台DLP4500型投影仪(分辨率为1140 pixel×912 pixel)及灰点相机(分辨率为2048 pixel×2048 pixel)构成。在系统布局中,两台投影仪与被测物体尽量构成等边三角形,相机放置在两台投影仪的中垂线上。相机与被测物体之间的距离为30~60 cm,以确保被测物体在相机的视场范围内。

图 5. 测试系统。(a)实验设备;(b)系统布局

Fig. 5. Measurement system. (a) Experimental device; (b) system layout

下载图片 查看所有图片

在实验中,采用计算机控制两台投影仪同时向物体投射预先设计的掩模光栅条纹图案,图像受被测物体表面轮廓影响而产生变形,由数字相机采集变形后的图像,图像经由图像采集软件输入计算机,从而完成三维测量及点云生成。光栅投影测量算法由互补分离法、四步相移法和双频外差法[16]组成。具体实验步骤如下:首先投影两组节距为110 pixel与130 pixel的正弦光栅掩模图案,每组为4幅相位初值分别是0、0.5π、π、1.5π的正弦光栅;之后对数字相机采集的光栅图像进行相位匹配,并通过互补原理进行分离,然后通过四步相移法[16]和双频外差法[17]进行相位解算,最后根据已标定的相机参数与系统参数进行高度解算,最终完成三维点云的生成。以上操作均在上位机界面完成。

4 结果分析与讨论

以石膏像、阶梯平面及旋转体工件为被测物体进行实验。图6(a)所示为被测石膏像原图;图6(b)所示为数字相机采集的8幅原始数据图之一,可以明显看到左、右投影区与叠加投影区。运用本研究提出的相移光栅信号分离方法进行处理后,可以得到图6(c)、(d)所示的通过四步相移法进行解算之后的左、右投影相位主值图,可以看到:在各自的投影测量区域,相位主值求解较好,没有受到编码光栅叠加的干扰;在各自的投影测量盲区,即阴影部分,相位主值都存在缺失,但缺失的部分不同。上述实验结果表明,所提方法能解决双投影结构中重叠部分的信号干扰问题,可以从混叠图像中解算出左、右投影包裹相位,具有可行性。图6(e)、(f)所示为通过外差法解包裹后经过相应转换获得的点云图。由于图6(e)、(f)是分别通过两组不同的系统参数计算生成的点云,因此需要对坐标进行归一化处理,以消除冗余数据,完成测量数据的重定位。由于两台投影仪与相机三者之间的位置固定,因此利用系统标定时计算得到的旋转矩阵与平移矩阵实现坐标系的归一化,获得的最终结果如图6(g)、(h)所示。对比图6(e)~(h)可知,左、右投影各自缺失的点云在合成点云中得以弥补,说明该方法可以解决阴影及遮挡问题。

图 6. 石膏像实验结果。 (a)被测对象;(b)测量结果;(c)左相位主值;(d)右相位主值;(e)左投影点云;(f)右投影点云;(g)合成点云左视角;(h)合成点云右视角

Fig. 6. Experimental results of gypsum model. (a) Measured object; (b) measurement result; (c) left phase principal value; (d) right phase principal value; (e) left projection point cloud; (f) right projection point cloud; (g) left view of composite point cloud; (h) right view of composite point cloud

下载图片 查看所有图片

为了验证分离方法对左、右投影测量结果的影响,将被测对象替换为阶梯平面,通过三坐标测量机测得两个工件的前、后平面间距为8.032,10.051 mm。实验结果如图7所示,通过点云拟合平面来获取平面方程,最终根据平面方程计算得到平面间距,即工件厚度。本次实验先后进行了5次重复测量,在由左投影点云图构造的3个平面中,平均平面间距分别为8.11,10.19 mm,右投影图分别为8.13,10.23 mm,左、右投影的误差相差非常小,说明该方法对测量结果的影响较小,具有较强的可靠性。

图 7. 阶梯平面实验结果。(a)被测对象;(b)测量结果;(c)左投影点云;(d)右投影点云

Fig. 7. Experimental results of staircase plane. (a) Measured object; (b) measurement result; (c) left projection point cloud; (d) right projection point cloud

下载图片 查看所有图片

为了进一步说明双投影系统能解决单投影所无法避免的因遮挡而造成的阴影部分数据缺失的问题,将被测对象替换为如图8(a)所示的旋转体工件,以最终获得的旋转体点云数据在同一高度处横截面的最大旋转弧度作为评价指标,并与单投影系统进行对比实验。由三角测量原理可知,测量系统的精度随着投影光轴与摄像机光轴之间夹角的增大而提高。如图8(b)所示,若采用单投影模式,假设只有左投影系统存在,则随着夹角增大,被测物体自身遮挡造成的阴影部分面积也随之增大,进而导致数据缺失情况加剧。而双投影系统由于左、右投影系统同时工作,因此左投影阴影部分存在右投影信号,能确保同等测量精度时的数据完整率。实验结果如图9所示。图9(a)所示为左单投影系统单独工作情况下采集的点云数据,左单投影系统在高度为5.80 mm处横截面的拟合角度为93.97°;图9(b)所示为右单投影系统单独工作时采集的点云数据,右单投影系统在相同高度截面处的拟合角度为104.85°;图9(c)所示为左、右投影同时工作时双投影系统采集的点云数据,双投影系统在相同高度截

图 8. 旋转体实验的被测对象及实验示意图。(a)被测对象;(b)实验示意图

Fig. 8. (a) Measured object in rotator experiment and experimental diagram. (a) Measured object; (b) experimental diagram

下载图片 查看所有图片

图 9. 旋转体实验结果。(a)左投影点云;(b)右投影点云;(c)合成点云

Fig. 9. Experimental results of rotator. (a) Left projection point cloud; (b) right projection point cloud; (c) composite point cloud

下载图片 查看所有图片

面处的测量角度为137.51°,明显大于左、右单投影系统。实验结果表明,相比于单投影系统,双投影系统能有效解决因被测物体自身遮挡而造成的阴影问题,扩大测量范围。

5 结论

在双投影单相机的三维结构中,来自不同方向的结构光会在公共区域会产生叠加光栅,从而对相机采集的编码信号产生干扰,无法正确解算相位,这是限制多投影结构发展的核心因素。本研究利用四步相移光栅自身存在的灰度互补特性,通过控制投影掩模的投射时间与顺序,实现了对叠加部分干扰信号的有效分离,获取了三维点云数据。通过实验验证了该方法的可行性,并通过阶梯平面进一步说明了测量数据的可靠性。由于双投影单相机系统可以看作是两个单投影系统的线性组合,因此与传统的多视角点云拼接融合技术相比,本研究提出的重叠相位分离方法可以解决多投影结构光叠加信号的干扰问题,这对于应用多投影多相机式的测量系统实现对大尺寸物体的全方位立体式测量具有重要意义,可大幅提升测量效率与数据的完整性。

参考文献

[1] Wang JF, ZhangC, Zhu WW, et al. 3D scene reconstruction by multiple structured-light based commodity depth cameras[C]∥Proceedings of 2012 IEEE International Conference on Acoustics, Speech and Signal Processing, March 25-30, 2012, Kyoto, Japan. New York: IEEE Signal Processing Society.2012: 5429- 5432.

[2] Xu J, Xi N, Zhang C, et al. Real-time 3D shape inspection system of automotive parts based on structured light pattern[J]. Optics & Laser Technology, 2011, 43(1): 1-8.

[3] 郑东亮, 达飞鹏. 双步相移光栅投影测量轮廓术[J]. 光学学报, 2012, 32(5): 0512004.

    Zheng D L, Da F P. Double-step phase-shifting algorithm for fringe-projection measurement[J]. Acta Optica Sinica, 2012, 32(5): 0512004.

[4] Zhang X, Li Y F, Zhu L M. Color code identification in coded structured light[J]. Applied Optics, 2012, 51(22): 5340-5356.

[5] 雷志辉, 李健兵. 基于双频投影条纹的全自动相位解包裹方法[J]. 光学学报, 2006, 26(1): 39-42.

    Lei Z H, Li J B. Full automatic phase unwrapping method based on projected double spatial frequency fringes[J]. Acta Optica Sinica, 2006, 26(1): 39-42.

[6] 盖绍彦, 达飞鹏. 基于数字投影仪的光栅相位自校正方法[J]. 自动化学报, 2008, 34(11): 1363-1368.

    Gai S Y, Da F P. A new phase alignment method for digital projector in phase measuring profilometry[J]. Acta Automatica Sinica, 2008, 34(11): 1363-1368.

[7] 章寒清. 基于多频投影条纹的物体曲面测量方法研究[D]. 长沙: 国防科学技术大学, 2006: 14- 20.

    Zhang HQ. The research based on projected various fringes for curved-surface measurement[D]. Changsha: National University of Defense Technology, 2006: 14- 20.

[8] 李中伟. 基于数字光栅投影的结构光三维测量技术与系统研究[D]. 武汉: 华中科技大学, 2009: 11- 17.

    Li ZW. Research on structured light 3D measuring technology and system based on digital fringe projection[D]. Wuhan: Huazhong University of Science and Technology, 2009: 11- 17.

[9] 崔艳军, 张文峰, 李建欣, 等. 条纹投影三维测量的Gamma畸变校正方法[J]. 光学学报, 2015, 35(1): 0112002.

    Cui Y J, Zhang W F, Li J X, et al. A method of Gamma correction in fringe projection measurement[J]. Acta Optica Sinica, 2015, 35(1): 0112002.

[10] Yamaguchi I, Ida T, Yokota M, et al. Surface shape measurement by phase-shifting digital holography with a wavelength shift[J]. Applied Optics, 2006, 45(29): 7610-7616.

[11] 赵立伟, 达飞鹏, 郑东亮. 离焦投影三维测量的二值光栅生成方法[J]. 光学学报, 2016, 36(8): 0812005.

    Zhao L W, Da F P, Zheng D L. Method for binary grating generation using defocused projection for three-dimensional measurement[J]. Acta Optica Sinica, 2016, 36(8): 0812005.

[12] MaimoneA, FuchsH. Reducing interference between multiple structured light depth sensors using motion[C]∥Proceedings of Conference on IEEE Virtual Reality, March 4-8, 2012, Costa Mesa, California, USA. New York: IEEE, 2012: 51- 54.

[13] 吴剑波, 桑波, 赵宏. 基于彩色摄像机的三维物体双投影测量法[J]. 激光与红外, 2001, 31(3): 187-189.

    Wu J B, Sang B, Zhao H, et al. Double projecting measurement method of 3D object based on color CCD[J]. Laser & Infrared, 2001, 31(3): 187-189.

[14] 肖朝, 陈锋, 钟敏. 一种提升反向条纹测量精度的方法[J]. 激光与光电子学进展, 2016, 53(11): 111204.

    Xiao C, Chen F, Zhong M. Method for improving measurement accuracy of inverse fringe[J]. Laser & Optoelectronics Progress, 2016, 53(11): 111204.

[15] Yan Z Q, Yu L, Yang Y, et al. Beyond the interference problem: hierarchical patterns for multiple-projector structured light system[J]. Applied Optics, 2014, 53(17): 3621-3632.

[16] 杜虎兵, 赵宏, 李兵, 等. 任意相移阴影叠栅相位解调技术的研究[J]. 光学学报, 2012, 32(9): 0912003.

    Du H B, Zhao H, Li B, et al. Demodulating the phase of phase-shifting shadow moiré using arbitrary phase shift[J]. Acta Optica Sinica, 2012, 32(9): 0912003.

[17] 陈玲, 邓文怡, 娄小平. 基于多频外差原理的相位解包裹方法[J]. 光学技术, 2012, 38(1): 73-78.

    Chen L, Deng W Y, Lou X P. Phase unwrapping method base on multi-frequency interferometry[J]. Optical Technique, 2012, 38(1): 73-78.

白景湘, 曲兴华, 冯维, 张福民. 双投影结构光三维测量中重叠相移光栅的分离方法[J]. 光学学报, 2018, 38(11): 1112002. Jingxiang Bai, Xinghua Qu, Wei Feng, Fumin Zhang. Separation Method of Overlapping Phase-Shift Gratings in Three-Dimensional Measurement of Double Projection Structured Light[J]. Acta Optica Sinica, 2018, 38(11): 1112002.

本文已被 7 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!