相移轮廓术周期性光源干扰

肖毅鹏; 石朝侠; 达飞鹏

doi:doi:10.3788/AOS202040.1512002

光学学报, 2020, 40 (15): 1512002, 网络出版: 2020-08-14

相移轮廓术周期性光源干扰下载： 876次

Periodic Light Disturbance in Fringe Projection Profilometry

论文大纲

肖毅鹏 ¹石朝侠 ^1,*达飞鹏 ^2,3,**

作者单位

¹ 南京理工大学计算机学院, 江苏南京 210094

² 东南大学自动化学院, 江苏南京 210096

³ 复杂工程系统测量与控制教育部重点实验室, 江苏南京 211096

测量三维测量光栅投影周期性噪声牛顿迭代 measurement 3D measurement grating projection periodic noise Newton’s iteration;

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

随着数字投影技术的发展,基于光栅投影的三维测量技术在众多领域中得到了广泛应用。但是大多数应用场景下,环境中都存在着各种周期性的光源,对光栅投影的成像过程造成干扰,在相位提取的过程中引入非线性误差,进而影响三维重建的精度。针对上述问题,从时域上分析环境光源的干扰因素,通过采集分析周期性环境光影响的图像并建立光源模型,为此提出一种高精度的相位补偿算法。实验证明所提算法可有效抑制由环境光源带来的相位非线性误差。

Abstract

With the development of the digital projection technology, the three-dimensional (3D) measurement technology based on fringe projection is being widely used in many fields. However, in most application environments, there are various periodic light sources in most application environments, which cause interference to the imaging process of grating projection. Nonlinear errors are introduced in the phase extraction process, thus affecting the accuracy of 3D reconstruction. To solve this problem, the interference factors of the ambient light source are analyzed in the time domain, and the light source model is established by collecting and analyzing the images affected by the periodic ambient light. For this reason, a high-precision phase compensation algorithm is proposed. Experiments illustrate that the proposed algorithm can effectively suppress the phase nonlinear error caused by the environmental light sources.

1 引言

光栅投影的三维重建是一种基于光栅条纹投影的三维重构技术,具有非接触特性和灵活性的优点,使其在各个领域中都有广泛应用^[1-6]。对比于其他方法,相移轮廓(PSP)术的精度较高,计算适合并行化,拥有较好的鲁棒性。对于移动速度较慢的物体,PSP术具有较大优势。但是PSP术的拍摄时间较长,在光栅条纹投影的过程中,空间内环境光源的变化会影响物体表面光栅的亮度,从而影响相位的准确性。目前,对于PSP术在光栅图像中的噪声和条纹的非线性的研究较多。Bing等^[7]对正弦条纹的非线性进行了深入研究,并提出了一种简单的迭代算法对正弦条纹进行处理以补偿其非线性。刘超等^[8]针对投影仪投影区域Gamma值不同的问题,将单一灰度的图像投影于均匀白板,利用灰度特征对采集图像进行分区并统计其直方图,建立不同区域的模型后,完成对初始相位的补偿。Zhong等^[9]使用了傅里叶变换对相移条纹进行滤波以去除噪声,并对于高斯噪声的抑制取得了良好效果。张宗华等^[10]研究了彩色复合条纹的非线性颜色串扰特性,使用传递矩阵矫正彩色条纹的非线性。Rao等^[11]使用了相似的相位聚类方法降低相位误差。

现有文章对于PSP术在时域上的干扰研究较少。Marc等^[12]对图像中的噪声进行了研究,使用统计学工具对光栅中的噪声进行统计以便预测其分布,降低噪声的影响。实际图像的采集过程中,背景光和物体表面的光栅同时成像于摄像头的成像面上。当图像的采集频率与环境中的光源频率相近时,光栅图像将受到周期性光源的干扰,从而扰动主值的相位。光源引入的干扰会使图像中的所有像素呈均匀分布,特定区域中较小的环境光源变化会显著干扰相位。同时像素的分布随着拍摄时间的变化而变化,当拍摄物体较为复杂时,无法通过分析相位来获得扰动的分布。与图像中的噪声相比,这种干扰更隐蔽,并且难以通过多步相移法来去除。

实际的工业应用中,环境中的光源往往会携带多个周期性的谐波分量,如交流供电的荧光灯和脉冲宽度调制(PWM)亮度的LED屏幕等,这些光源会对目标物体的图像采集造成干扰。为了解决环境光源对三维重建的扰动,提出一种对环境光源建模后补偿投影光栅的方法,以抵消环境光源的影响。该方法对环境光源建立先验模型,测量光栅前预先采集物体在环境光源影响下的图像,计算环境光源的参数,最后补偿光栅图像以获取精确相位。该方法对于相机采集频率相近的环境光源变化均有较好的补偿效果,并且具有投影光栅数量少,计算简单的优点。

2 光栅补偿算法的研究

2.1 光栅投影系统的组成

图1为典型的三维投影光栅测量系统,该系统由一个相机与一个投影仪组成。其中α表示物体表面的反射率,I_m表示投影光线在物体表面上成像的灰度分量;m为环境光源中周期性光源谐波的数量。三维投影光栅测量系统从投影仪中投影光栅条纹,光栅条纹被物体调制后便携带物体表面的三维信息,通过分析相机采集的光栅条纹,结合预先标定的投影仪与相机参数,便可获取物体表面的三维信息。多步相移法因其鲁棒性好,精度较高,被广泛应用于光栅投影三维测量系统。多步相移的最小投影数量为3,其光栅的表达式为

g = a + b \cos [φ_{p} + 2 (n - 1) π / 3], n = {1,2, 3}, (1)

式中:g为正弦光栅图像;a为光栅的背景分量;b为光栅的条纹分量;φ_p为投影光栅条纹的相位;n为投影光栅的顺序。

图 1. 三维测量系统及光栅条纹。(a) 结构光的三维测量系统;(b)二值光栅条纹;(c)散焦后的二值光栅条纹

Fig. 1. Schematic of three-dimensional measurement system and grating fringe patterns. (a) Three-dimensional measurement system of structured light; (b) binary grating fringe pattern; (c) binary grating fringe pattern after defocusing

下载图片查看所有图片

当光栅投影到物体表面时,光栅条纹被物体表面调制后被相机采集,灰度值的表达式为

I (x, y, n) = A (x, y) + B (x, y) \times \cos [Ψ_{l} (x, y) + 2 (n - 1) π / 3] + I'_{m}, (2)

式中:(x,y)为采集图像的像素坐标;I(x,y,n)为第n张图像中像素点(x,y)的灰度值;A(x,y)和B(x,y)分别为图像条纹的背景和条纹分量;Ψ_l(x,y)为图像条纹的展开相位;I'_m为环境中其他光线在相机成像面上成像的灰度分量。

不考虑环境光源的情况下,经典的3步相移公式为

\begin{array}{l} Ψ_{l} (x, y) = 2 k π + φ_{l} (x, y), (3) \\ φ_{l} (x, y) = \arctan \{\frac{\sqrt[]{3} [I (x, y, 1) - I (x, y, 2)]}{2 I (x, y, 1) - I (x, y, 2) - I (x, y, 3)}\}, (4) \end{array}

式中:k为一个大于零的正整数,其表示相位所在条纹的周期信息;φ_l(x,y)为包裹相位。仅凭正弦条纹信息就能求解φ_l(x,y),为了求解Ψ_l(x,y),通过投影与条纹匹配的格雷码来获得包裹相位的周期信息,从而解得Ψ_l(x,y)。

与传统的灰度条纹相比,二值条纹的投影仅需要开关一次反射微镜,其投影速度快,同时没有Gamma失真,因此广泛应用于三维扫描系统^[13]。实验中使用基于二值抖动方式生成的条纹^[14],经过镜头轻微散焦后投影到物体表面上,此时可认为投影条纹为正弦条纹。

2.2 环境光源对相位的影响

系统使用环境中由光源带来的I'_m,其成因复杂,有日光和月光等低频光源,也有日光灯和LED屏幕等拥有较高频率的光源。实验使用的散焦投影系统可以得到较高的投影速度(≥500 frame/s),采集时间在10 ms以内,低频光源的亮度在采集过程中变化较小,不会引入干扰。频率较高和与采集频率的数量级相近的光源(>50 Hz)会给相位测量带来很多问题,但是由于人眼对其不敏感,测量过程中往往忽视其影响。

图2(a)和2(b)是在日光灯的光源下采集的石膏像图片,时间间隔为2 ms,图2(c)为两张图片的灰度相减后放大10×后的效果。从图2可以看到,石膏像的亮度随着时间的变化而变化。

图 2. 相机采集的石膏像图片。(a)第一次采集的图片;(b) 2 ms后采集的图片;(c)图片灰度差放大10×后的效果

Fig. 2. Plaster pictures collected by camera. (a) 1^st picture collected; (b) picture collected 2 ms later; (c) effect of magnifying gray difference of picture by 10×

下载图片查看所有图片

为了证明环境光源影响相位的求取,实验使用18步相移投影和3步相移投影,在有日光灯影响和无光的情况下对同一个物体、同一位置进行图像的采集,再使用有日光灯影响的情况下对采集图片进行相位的求取,与无光的情况下采集图片求取的相位进行对比,结果如图3所示。从图3可以看到,无论是3步相移还是18步相移都会影响相位的周期性,而18步相移能够减小周期性误差。

图 3. 不同相移步数下有无环境光源对相位的影响。(a) 3步相移;(b) 18步相移

Fig. 3. Influence of presence or absence of ambient light on phase under different phase shift steps. (a) 3 steps phase shifting; (b) 18 steps phase shifting

下载图片查看所有图片

为了分析环境光源的特性,使用高速相机对环境光源(实验中为日光灯)照射下的物体进行等间隔拍摄,相机的拍摄速度为500 frame/s,采集数为500张。采集后,计算图片像素的平均值,按照顺序生成时间-灰度序列,并对序列进行傅里叶变换以获得其频率分布,结果如图4所示。其中图4(a)为时间顺序下图片的平均灰度,图4(b)为傅里叶变换后的频谱强度(局部)。

图 4. 图片像素的处理结果。(a)平均灰度序列;(b)傅里叶变换后的结果(局部)

Fig. 4. Processing results of picture pixels. (a) Average gray-scale sequence; (b) Fourier transform results (local)

下载图片查看所有图片

傅里叶变换后,日光灯在时间域上的分布可近似表示为

I'_{m} (x, y, n) = A' (x, y) + \overset{n}{\sum_{i = 1}} B'_{i} (x, y) \cos (K_{i} i + φ_{i}), (5)

式中:I'_m(x,y,n)为在无投影光栅的情况下,拍摄第n张图片中像素点(x,y)的灰度值;A'(x,y)为像素点(x,y)的直流分量;B'_i(x,y)为环境光源各个谐波的周期性分量的振幅;K_i为环境光源第i个谐波的频率;φ_i为第i个谐波的相位。

在图2的拍摄环境中,主要频率的周期性分量有两个:100 Hz和200 Hz,与我国使用的50 Hz交流电频率相符合,如图4所示。解相位的过程中,图片因受到环境光源干扰而导致相位发生变化。经典的多步相移法往往只能减弱其干扰,无法真正去除干扰。经典的多步相移公式为

φ_{l} (x, y) = \arctan {[\overset{N}{\sum_{p = 1}} I (x, y, p) \sin (2 p π / N)] / [\overset{N}{\sum_{p = 1}} I (x, y, p) \cos (2 p π / N)]}, (6)

式中:N为多步相移的总步数,其为一个大于3的正整数。由(5)式和(6)式可得,当解相位的图像被环境光影响后,再对其求取包裹相位,则相位的表达式为

φ_{l} (x, y) = \arctan \{\frac{\overset{N}{\sum_{p = 1}} B (x, y) \cos [Ψ_{l} (x, y) + \frac{2 p π}{N}] \sin (\frac{2 p π}{N}) + \overset{N}{\sum_{p = 1}} \overset{m}{\sum_{i = 1}} B'_{i} (x, y) \cos (K_{i} p + φ_{i}) \sin (\frac{2 p π}{N})}{\overset{N}{\sum_{p = 1}} B (x, y) \cos [Ψ_{l} (x, y) + \frac{2 p π}{N}] \cos (\frac{2 p π}{N}) + \overset{N}{\sum_{p = 1}} \overset{m}{\sum_{i = 1}} B'_{i} (x, y) \cos (K_{i} p + φ_{i}) \cos (\frac{2 p π}{N})}\} 。 (7)

由(7)式可得,只有环境光源的周期与结构光投影的周期完全相同,且环境光源的相位与投影相位完全相同,或谐波分量带来的干扰项为0,才不会影响像素点的相位求取。然而各像素点的相位各不相同,总有相位被环境光所影响。结构光投影的过程中,结构光与环境光源同时被相机所采集,无论如何设计光栅的投影步数和条纹宽度,参与成像的周期性环境光源分量都会影响相位。在相机采集速率不变的情况下,相位求取的精度总会带有误差。为了解决此问题,提出了一种对环境中光源建模后补偿投影光栅的算法,以抵消环境光源的影响,从而获得精确相位。

2.3 光栅补偿算法

因为周期性环境光源的影响是时域性的、全局性的,所以无论是对图片的频域滤波还是空间域滤波均很难去除周期性光源的影响。因此提出一个在时域中补偿光栅的算法,首先在环境光源下对相机拍摄物体的图片序列进行傅里叶分析,确定环境光源的频率特性,然后在实际物体的测量过程中,预先采集仅含环境光源的物体图片,计算环境光源的相位和振幅以滤除环境光源带来的扰动。

利用2.2节傅里叶变换的相机序列分析环境光源的主要频率,便可获得(5)式的K_i。因物体的反射率不同,所以每个像素的B'_x(x,y)与A'(x,y)各不相同。由2.2节的傅里叶分析可得,实验环境中使有两个周期性的频率分量,分别为100 Hz和200 Hz。当采集频率为500 Hz时,图片中环境光源的表达式为

I'_{m} (x, y, n) = A' (x, y) + B'_{1} (x, y) \cos (2 π n / 5 + φ_{1}) + B'_{2} (x, y) \cos (4 π n / 5 + φ_{2}), (8)

式中:B'₁(x,y)为频率为100 Hz环境光分量的振幅;B'₂(x,y)为频率为200 Hz环境光分量的振幅;φ₁为频率为100 Hz环境光分量的相位;φ₂为频率为200 Hz环境光分量的相位。

显然易见,(8)式包含5个未知数,为了求解未知数,必须至少等间隔采集5张无光栅图片。环境光源从光源激发后经物体表面反射到相机成像面的时间差,相比于环境光周期较小,可以认为图片中所有像素点的灰度值随着光源亮度的变化而同时变化,即各点的相位φ₁和φ₂相同。实验遂先计算图片中环境光源的相位,则(8)式可退化为线性方程,通过最小二乘法求解A'(x,y)与B'_i(x,y)来减少计算的复杂度。

实验中,物体反射的环境光源的亮度值很小,容易受到相机噪声的影响。相机噪声分为热噪声与采样噪声,其中热噪声在相机噪声中所占比例较大,可以认为相机噪声服从期望为0的高斯分布。由于无光栅图片仅含环境光分量,且 ${\bar{I}}_{m}$ 和 $\bar{I}$ '_m相等,所以将采集图片的所有像素相加取平均值,使用图像的平均值 ${\bar{I}}_{m}$ 来代替整张图片以求解相位。这只需要求解一个多元方程即可获取相位,同时降低噪声影响。获得所有参数后,可计算光栅中环境光源的影响,从而提前补偿。

由于多次谐波的表达式为超越方程,在傅里叶频谱图中可见B'₁(x,y)≫B'₂(x,y)。当B'₁(x,y)≫B'₂(x,y)成立时,可忽略较小量,则(8)式与相移算法的表达式类似,可考虑使用多步相移法求解φ₁,表达式为

φ_{1} = \arctan \{\frac{\overset{5}{\sum_{i = 1}} {\bar{I}}_{m} \cos [\frac{2 (i - 1) π}{5}]}{\overset{5}{\sum_{i = 1}} {\bar{I}}_{m} \sin [\frac{2 (i - 1) π}{5}]}\} 。 (9)

计算主相位后,便能通过相移法的公式推导次相位,通过消元法即获得三个方程,即

\begin{array}{l} {\bar{I}}_{2} - {\bar{I}}_{1} = B'_{2} [\cos (φ_{1} + 2 π / 5) - \cos φ_{1}] + B'_{3} [\cos (φ_{2} + 4 π / 5) - \cos φ_{2}], (10) \\ {\bar{I}}_{3} - {\bar{I}}_{2} = B'_{2} [\cos (φ_{1} + 4 π / 5) - \cos (φ_{1} + 2 π / 5)] + B'_{3} [\cos (φ_{2} + 8 π / 5) - \cos (φ_{2} + 4 π / 5)], (11) \\ {\bar{I}}_{4} - {\bar{I}}_{3} = B'_{2} [\cos (φ_{1} + 6 π / 5) - \cos (φ_{1} + 4 π / 5)] + B'_{3} [\cos (φ_{2} + 12 π / 5) - \cos (φ_{2} + 8 π / 5)], (12) \end{array}

式中:B'₂和B'₃为谐波数量为2和3的强度信息。令M_i= ${\bar{I}}_{i + 1}$ - ${\bar{I}}_{i}$ ,L_i=sin[φ₁+2(i-1)π/5],G_i=M_i₊₁L_i-M_iL_i₊₁,则频率为200 Hz环境光分量的相位为

φ_{2} = \arctan [\frac{\sin (2 π / 5) L_{2} G_{2} + \sin (π / 5) L_{1} G_{2} + \sin (π / 5) L_{3} G_{1}}{\cos (2 π / 5) L_{2} G_{2} + \cos (π / 5) L_{1} G_{2} + \cos (π / 5) L_{3} G_{1} + L_{2} G_{1}}] 。 (13)

在2.2节实验中,预先采集5张环境光源下的物体图片,并对其求取平均灰度,结果如图5点所示,然后计算其谐波分量的相位,得到图像序列的方程曲线,结果如图5实线所示,最后将φ₁和φ₂等代入(5)式中计算A'(x,y)与B'_i(x,y),即可计算光栅图片中的I'_m(x,y,n),将I(x,y,n)减去相应的I'_m(x,y,n)即可获得去除环境光源影响的光栅。

在日光灯照射的情况下,干扰光源的周期频率为100 Hz和200 Hz。当相机的采集频率大于环境光源频率的2倍,且不是干扰频率的整数倍时,补偿算法依然有效,但是没有公式化的环境光参数计算方法,后续介绍如何使用牛顿迭代法计算环境光参数。

2.4 改进后的光栅补偿算法

实验建立的环境光模型是一个多元非线性方程,难以获得解析解。求解多元非线性方程数值的方法,有牛顿迭代法、二分法和割线法等。其中牛顿迭代法的收敛速度比二分法等更快,精度较高。通过(5)式可得,当有n个环境光周期分量时,需要至少预先拍摄2n+1张图片来精确求取环境光的相应参数。

首先给出牛顿迭代法的公式,即

x_{n + 1} = x_{n} - [d f (x_{n} {) / d x]}^{- 1} f (x_{n}), (14)

式中:f(x)为牛顿迭代法中计算得到的图像的平均灰度值;{x₁,x₂,…,x_n₊₁}为各个谐波分量在牛顿迭代法中的振幅。为了求取(5)式的相位,则设 $f (x) = x_{1} + \overset{n}{\sum_{i = 1}} x_{i + 1} \cos (k_{i} i + x_{n + i + 1}),$ 其中{x_n₊₂,x_n₊₃,…,x₂_n₊₁}为谐波分量的相位值,k_i为环境光的周期系数,其与环境光的频率相关,可由投影频率和日光灯频率计算得到。因该方程有多个解,所以初值的选定非常重要。实际测量的过程中,往往有一个分量为主要谐波,这时便可忽略其他谐波,使用(8)式计算主要相位分量φ₁。使用φ₁作为初值x₁代入迭代方程f(x)中。计算过程中,不断迭代x_n₊₁来计算φ₁和φ₂等相位值。计算相位值后,(8)式退化为线性方程组,将无光栅图片代入(8)式并结合最小二乘法即可计算A'(x,y)与B'_i(x,y),最后对采集光栅进行补偿。为了获得更为精确的补偿效果,减弱相机噪声的影响,可预先采集更多的环境光源下的物体图片,使用最小二乘法求取更加精确的环境光参数。

图 5. 平均灰度随时间变化的方程曲线

Fig. 5. Equation curve of average grayscale with time

下载图片查看所有图片

综上所述,提出的牛顿迭代相位误差算法的矫正流程如图6所示。

图 6. 相位补偿的流程示意图

Fig. 6. Schematic of phase compensation process

下载图片查看所有图片

3 实验与分析

3.1 牛顿迭代法的抗噪性仿真

相机成像过程中不可避免地会受到热噪声的影响。实际测量中,热噪声和环境中周期性光源对成像的影响是在同一个数量级上,如果无法提取环境光源的主要成分,环境光源的补偿便无从谈起。实验中使用图片的像素平均值代替图片的像素值,利用牛顿迭代法计算环境光源周期分量的相位有较好的鲁棒性。

为了验证牛顿迭代法的鲁棒性,设计了一组光栅与仿真环境光源的图片,同时加入周期性环境光源和不同强度的噪声,验证其抗噪声的性能。实验将两个谐波分量加入3步相移的光栅中,假设频率为50 Hz与83 Hz,振幅为4 pixel强度,50 Hz频率的谐波分量的相位为π/6,83 Hz频率的谐波分量的相位为π/4,同时为光栅加入方差为1.0,0.8,0.4 pixel强度的高斯分布的噪声,仿真图片的采集速度为500 frame/s,光栅预设宽度为40 pixel。为了求解环境光谐波,需要求解5个分量,所以对5张带有噪声、仅含周期性环境光源的图片进行仿真,其采集时间在投影3步相移光栅之前。光栅和环境光源图片如图7所示。

图 7. 环境光与噪声图像在不同时间、不同强度噪声的解相位结果。0 ms,(a) 1 pixel强度的噪声,(b) 0.4 pixel强度的噪声;4 ms,(c) 1 pixel强度的噪声,(d) 0.4 pixel强度的噪声;(e) 10 ms时的光栅条纹;(f)光栅条纹的相位

Fig. 7. Aimulate dephasing results of ambient light and noise images at different times and with different intensity noises. 0 ms, (a) 1 pixel intensity noise, (b) 0.4 pixel intensity noise; 4 ms, (c) 1 pixel intensity noise, (d) 0.4 pixel intensity noise; (e) grating fringe pattern at 10 ms; (f) phase of grating fringe pattern

下载图片查看所有图片

对0,2,4,6,8 ms的图片求解其像素灰度平均值,将其带入所提算法中计算相位,获得两个频率分量的相位,再计算10,12,14 ms的环境光源的分量,最后对光栅进行环境光源补偿。将补偿后相位与无噪声无环境光源的相位作差以获得残差,结果如图8所示。由图8对比可得,牛顿迭代法求解环境光源参数的算法对噪声有一定的鲁棒性,可以较好地补偿相位。

图 8. 不同噪声水平的影响下算法处理前后的相位误差对比。(a)噪声方差为0.4 pixel强度;(b)噪声方差为1.0 pixel强度

Fig. 8. Phase error comparison before and after algorithm is processed under influence of different noise levels. (a) Noise variance is 0.4 pixel intensity; (b) noise variance is 1.0 pixel intensity

下载图片查看所有图片

3.2 实际实验补偿效果

为了验证所提算法的实际效果,搭建一个三维重建实验的拍摄系统。该系统包含了一个投影仪(DLP Lightcrafter 4500)与一个工业相机(Basler aca800-510 μm),使用的镜头为KOWA 6 mm镜头,实验采集的图片尺寸宽为800 pixel,高为600 pixel,采集的速率为500 frame/s,采集的模式为使用投影仪信号触发相机的触发模式。投影仪的分辨率宽为912 pixel,高为1140 pixel。投影使用18步相移方法,二值光栅条纹的宽度为18 pixel,相机距离测量物体约为600 mm。相机与投影仪的内外参数已预先标定完毕。

实验的时间选择为21点,将物体放置在没有任何光源的环境中和有日光灯等照明光源的环境中,此时对同一组石膏像进行采集。首先使用条纹宽度为18 pixel的二值条纹,投影18步相移条纹并投影到相匹配的格雷码以求取相位,将其作为基准相位并重建标准石膏像,如图9(c)所示。同时对有照明光源的情况,等间隔采集5张仅含环境光源照明的图像,采集图像后投影18步相移条纹,求取相位并重建三维点云,如图9(d)所示。实验中3步相移使用的光栅图像为在18步相移光栅图像中抽取的第1,7,13张图。受环境光源影响的3步相移光栅图像的重建结果如图9(e)所示。补偿后的3步相移光栅图像的重建结果如图9(f)所示。

图 9. 三维重建图像与点云。(a)高速相机采集的石膏人像;(b)石膏像的相位;18步相移采集,(c)无环境光源,(d)日光灯情况;3步相移采集,(e)无环境光源,(f)日光灯的情况

Fig. 9. Three-dimensional reconstruction of image and point cloud. (a) Plaster portrait collected by high-speed camera; (b) phase of plaster portrait; 18 steps phase shifting collection, (c) no ambient light source, (d) fluorescent lamp situation; 3 steps phase shifting collection, (e) no ambient light source, (f) fluorescent lamp situation

下载图片查看所有图片

从图9可以看到,18步相移和3步相移的重建结果在灯光下出现不同程度的纹波,纹波带来的条纹非常明显,补偿后的3步相移点云没有明显纹波,有较好的补偿效果。

3.3 精度验证

为了验证补偿算法的精度,通过拍摄直径为50.8005 mm的标准球来求取标准球点云,并对比补偿前和补偿后的精度。标准球的直径表面误差不大于0.001 mm,拍摄距离约为600 mm。为了比较重建结果,使用圆点标定板标定摄像机-投影仪系统后,在无环境光的条件下投影18步相移,在有环境光下投影3步相移后使用所提算法补偿光栅,在无环境光的条件下与在有环境光的条件下投影3步相移,重建标准球的点云。使用重建的点云拟合球面,求得拟合球面的残差。残差分布如图10所示,残差的数值如表1所示。

对比图10的3步相移补偿与未补偿的残差分布可得,所提的补偿算法可以较好地补偿由环境光源带来的误差,抑制由环境光源带来的误差极大值,相机的噪声不会影响补偿算法的稳定性。对比表1 3步相移补偿后与无环境光源下3步相移点云残差的标准差可得,补偿算法不会引入其他干扰因素,补偿效果接近无环境光源干扰下的相移重建点云,补偿效果较为理想。

表 1. 标准球测量结果与残差分析

Table 1. Standard ball measurement results and residual error analysis

Method	Radius stanard error /mm	Radius max error /mm	Radius measured /mm
18 steps with no environment light	0.032	0.143	50.8098
3 steps with environment light	0.350	1.640	50.6811
3 steps with environment light and proposed method	0.220	0.950	50.7481
3 steps with no environment light	0.200	0.820	50.7683

查看所有表

图 10. 标准球点云与拟合残差分布。无环境光源,(a) 18步相移重建结果,(c) 3步相移重建结果;有环境光源,(b) 3步相移并使用所提算法补偿后重建结果,(d) 3步相移重建结果

Fig. 10. Standard spherical point cloud and fitting residual distribution. Without ambient light source, (a) 18 steps phase shifting reconstruction results, (c) 3 steps phase shifting reconstruction results; with ambient light source, (b) 3 steps phase shifting and reconstruction by using proposed algorithm after compensation results, (d) 3 steps phase shifting reconstruction results

下载图片查看所有图片

4 结论

提出了一种处理环境光源扰动的光栅补偿算法,首先对环境光源进行时间序列建模,获取环境光源的模型后,在投影光栅前对环境光源下的物体预先采样以获取环境光源信息,最后补偿相机采集的光栅条纹以获得较为精确的相位。该方法具有无需额外投影光栅和鲁棒性好的特点,同时牛顿迭代算法计算简单,补偿算法只需要计算线性方程,计算复杂度较低。所提方法可有效抑制由周期性环境光源带来的误差。

参考文献

[1] Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering, 2010, 48(2): 149-158.

[2] 孔玮琦, 刘京南, 达飞鹏, 等. 基于一般成像模型的微小物体测量系统标定方法[J]. 光学学报, 2016, 36(9): 0912003.

Kong W Q, Liu J N, Da F P, et al. Calibration method based on general imaging model for micro-object measurement system[J]. Acta Optica Sinica, 2016, 36(9): 0912003.

[3] Chen C, Yu J, Gao N, et al. High accuracy 3D calibration method of phase calculation-based fringe projection system by using LCD screen considering refraction error[J]. Optics and Lasers in Engineering, 2020, 126(10): 105870.

[4] Merner L, Wang Y J, Zhang S. Accurate calibration for 3D shape measurement system using a binary defocusing technique[J]. Optics and Lasers in Engineering, 2013, 51(5): 514-519.

[5] Yin W, Cheng X S, Xie J R, et al. High-speed 3D profilometry employing HSI color model for color surface with discontinuities[J]. Optics & Laser Technology, 2017, 96: 81-87.

[6] Li H R, Feng G Y, Yang P, et al. Online fringe projection profilometry based on scale-invariant feature transform[J]. Optical Engineering, 2016, 55(8): 084101.

[7] Bing P, Qian K M, Lei H, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry[J]. Optics Letters, 2009, 34(4): 416-418.

[8] 刘超, 盖绍彦, 达飞鹏. 结构光测量中分区域相位误差补偿方法研究[J]. 中国激光, 2018, 45(6): 0604002.

Liu C, Gai S Y, Da F P. Sub-regional phase error compensation for structural light measurement[J]. Chinese Journal of Lasers, 2018, 45(6): 0604002.

[9] Zhong M, Chen F, Xiao C, et al. Noise reduction in modulation measurement profilometry based on the wavelet transform method[J]. Optical Engineering, 2018, 57(5): 054102.

[10] 张宗华, 连晓洁, 高楠. 彩色复合条纹投影测量系统串扰消除方法[J]. 光学学报, 2018, 38(8): 0815005.

Zhang Z H, Lian X J, Gao N. Crosstalk elimination method for color composite fringe projection measuring systems[J]. Acta Optica Sinica, 2018, 38(8): 0815005.

[11] Rao L, Da F P. Phase error correction method for fringe projection profilometry systems while considering random noises and objects' reflectivity[J]. Proceedings of SPIE, 2018, 1082: 1082702.

[12] Marc F, Marcus P, Rainer T. Model-based noise prediction for fringe projection systems-a tool for the statistical analysis of evaluation algorithms[J]. Technical Measurement, 2017, 84(2): 111-122.

[13] Li B W, Karpinsky N, Zhang S. Novel calibration method for structured-light system with an out-of-focus projector[J]. Applied Optics, 2014, 53(16): 3415-3426.

[14] 吕江昭, 达飞鹏, 郑东亮. 基于Sierra Lite抖动算法的散焦投影光栅测量[J]. 光学学报, 2014, 34(3): 0312004.

Lü J Z, Da F P, Zheng D L. Projector defocusing profilometry based on Sierra Lite dithering algorithm[J]. Acta Optica Sinica, 2014, 34(3): 0312004.

肖毅鹏, 石朝侠, 达飞鹏. 相移轮廓术周期性光源干扰[J]. 光学学报, 2020, 40(15): 1512002. Yipeng Xiao, Chaoxia Shi, Feipeng Da. Periodic Light Disturbance in Fringe Projection Profilometry[J]. Acta Optica Sinica, 2020, 40(15): 1512002.

相移轮廓术周期性光源干扰下载： 876次

1 引言

2 光栅补偿算法的研究

2.1 光栅投影系统的组成

图 1. 三维测量系统及光栅条纹。(a) 结构光的三维测量系统;(b)二值光栅条纹;(c)散焦后的二值光栅条纹

Fig. 1. Schematic of three-dimensional measurement system and grating fringe patterns. (a) Three-dimensional measurement system of structured light; (b) binary grating fringe pattern; (c) binary grating fringe pattern after defocusing

2.2 环境光源对相位的影响

图 2. 相机采集的石膏像图片。(a)第一次采集的图片;(b) 2 ms后采集的图片;(c)图片灰度差放大10×后的效果

Fig. 2. Plaster pictures collected by camera. (a) 1^st picture collected; (b) picture collected 2 ms later; (c) effect of magnifying gray difference of picture by 10×

图 3. 不同相移步数下有无环境光源对相位的影响。(a) 3步相移;(b) 18步相移

Fig. 3. Influence of presence or absence of ambient light on phase under different phase shift steps. (a) 3 steps phase shifting; (b) 18 steps phase shifting

图 4. 图片像素的处理结果。(a)平均灰度序列;(b)傅里叶变换后的结果(局部)

Fig. 4. Processing results of picture pixels. (a) Average gray-scale sequence; (b) Fourier transform results (local)

2.3 光栅补偿算法

2.4 改进后的光栅补偿算法

图 5. 平均灰度随时间变化的方程曲线

Fig. 5. Equation curve of average grayscale with time

图 6. 相位补偿的流程示意图

Fig. 6. Schematic of phase compensation process

3 实验与分析

3.1 牛顿迭代法的抗噪性仿真

图 7. 环境光与噪声图像在不同时间、不同强度噪声的解相位结果。0 ms,(a) 1 pixel强度的噪声,(b) 0.4 pixel强度的噪声;4 ms,(c) 1 pixel强度的噪声,(d) 0.4 pixel强度的噪声;(e) 10 ms时的光栅条纹;(f)光栅条纹的相位

图 8. 不同噪声水平的影响下算法处理前后的相位误差对比。(a)噪声方差为0.4 pixel强度;(b)噪声方差为1.0 pixel强度

Fig. 8. Phase error comparison before and after algorithm is processed under influence of different noise levels. (a) Noise variance is 0.4 pixel intensity; (b) noise variance is 1.0 pixel intensity

3.2 实际实验补偿效果

图 9. 三维重建图像与点云。(a)高速相机采集的石膏人像;(b)石膏像的相位;18步相移采集,(c)无环境光源,(d)日光灯情况;3步相移采集,(e)无环境光源,(f)日光灯的情况

3.3 精度验证

表 1. 标准球测量结果与残差分析

Table 1. Standard ball measurement results and residual error analysis

图 10. 标准球点云与拟合残差分布。无环境光源,(a) 18步相移重建结果,(c) 3步相移重建结果;有环境光源,(b) 3步相移并使用所提算法补偿后重建结果,(d) 3步相移重建结果

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

相移轮廓术周期性光源干扰 下载： 876次

1 引言

2 光栅补偿算法的研究

2.1 光栅投影系统的组成

图 1. 三维测量系统及光栅条纹。(a) 结构光的三维测量系统;(b)二值光栅条纹;(c)散焦后的二值光栅条纹

Fig. 1. Schematic of three-dimensional measurement system and grating fringe patterns. (a) Three-dimensional measurement system of structured light; (b) binary grating fringe pattern; (c) binary grating fringe pattern after defocusing

2.2 环境光源对相位的影响

图 2. 相机采集的石膏像图片。(a)第一次采集的图片;(b) 2 ms后采集的图片;(c)图片灰度差放大10×后的效果

Fig. 2. Plaster pictures collected by camera. (a) 1st picture collected; (b) picture collected 2 ms later; (c) effect of magnifying gray difference of picture by 10×

图 3. 不同相移步数下有无环境光源对相位的影响。(a) 3步相移;(b) 18步相移

Fig. 3. Influence of presence or absence of ambient light on phase under different phase shift steps. (a) 3 steps phase shifting; (b) 18 steps phase shifting

图 4. 图片像素的处理结果。(a)平均灰度序列;(b)傅里叶变换后的结果(局部)

Fig. 4. Processing results of picture pixels. (a) Average gray-scale sequence; (b) Fourier transform results (local)

2.3 光栅补偿算法

2.4 改进后的光栅补偿算法

图 5. 平均灰度随时间变化的方程曲线

Fig. 5. Equation curve of average grayscale with time

图 6. 相位补偿的流程示意图

Fig. 6. Schematic of phase compensation process

3 实验与分析

3.1 牛顿迭代法的抗噪性仿真

图 7. 环境光与噪声图像在不同时间、不同强度噪声的解相位结果。0 ms,(a) 1 pixel强度的噪声,(b) 0.4 pixel强度的噪声;4 ms,(c) 1 pixel强度的噪声,(d) 0.4 pixel强度的噪声;(e) 10 ms时的光栅条纹;(f)光栅条纹的相位

图 8. 不同噪声水平的影响下算法处理前后的相位误差对比。(a)噪声方差为0.4 pixel强度;(b)噪声方差为1.0 pixel强度

Fig. 8. Phase error comparison before and after algorithm is processed under influence of different noise levels. (a) Noise variance is 0.4 pixel intensity; (b) noise variance is 1.0 pixel intensity

3.2 实际实验补偿效果

图 9. 三维重建图像与点云。(a)高速相机采集的石膏人像;(b)石膏像的相位;18步相移采集,(c)无环境光源,(d)日光灯情况;3步相移采集,(e)无环境光源,(f)日光灯的情况

3.3 精度验证

表 1. 标准球测量结果与残差分析

Table 1. Standard ball measurement results and residual error analysis

图 10. 标准球点云与拟合残差分布。无环境光源,(a) 18步相移重建结果,(c) 3步相移重建结果;有环境光源,(b) 3步相移并使用所提算法补偿后重建结果,(d) 3步相移重建结果

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

相移轮廓术周期性光源干扰下载： 876次

Fig. 2. Plaster pictures collected by camera. (a) 1^st picture collected; (b) picture collected 2 ms later; (c) effect of magnifying gray difference of picture by 10×