条纹投影法中抗噪声干扰的相移编码去包裹方法

刘达; 雷振坤; 姜昊; 白瑞祥

doi:doi:10.3788/AOS202040.2312002

光学学报, 2020, 40 (23): 2312002, 网络出版: 2020-12-01

条纹投影法中抗噪声干扰的相移编码去包裹方法下载： 995次

Anti-Noise Phase-Shift Coding Unwrapping Method in Fringe Projection Profilometry

论文大纲

刘达 ¹雷振坤 ^1,*姜昊 ²白瑞祥 ¹

作者单位

¹ 大连理工大学工程力学系工业装备结构分析国家重点实验室, 辽宁大连 116024

² 大连理工大学材料科学与工程学院, 辽宁大连 116024

测量噪声分析相移编码去包裹条纹投影法相位分析 measurement noise analysis phase shift coding phase unwrapping fringe projection profilometry phase analysis

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

相位去包裹问题广泛存在于条纹投影形貌测量中。提出了一种相移编码去包裹方法,该方法在求解相位时使用多步相移法,并在额外的一幅编码图像中,将标记条纹级数的编码嵌入到相移量中。解码时,通过分析各像素点处不同相移的光强信息序列,可以求解该点处的编码相移量,从而获得绝对相位。该方法只需要少量图像,且可以逐点去包裹,适用于不连续物体的形貌测量,但是容易受到投影仪和相机的噪声影响。通过增加互补的编码条纹图像,提出了一种改进的相移编码去包裹方法,在实现不连续物体形貌测量的同时,显著增强了噪声鲁棒性。经过仿真分析和实验,验证了所提的相移编码去包裹方法的有效性。

Abstract

The problem of phase unwrapping is widespread in fringe projection profilometry. In this paper, a phase-shift coding unwrapping method is proposed. This method uses the multi-step phase-shift method to solve a phase and embeds the code of the mark fringe series into the phase-shift amount in an additional coded image. When decoding, one can solve the coded phase-shift amount at the point and thus obtain the absolute phase by analyzing the light intensity information sequence of different phase shifts at each pixel point. This method requires only a few images and can unwrap point by point. It is suitable for the shape measurement of a discontinuous object but it is easily affected by the noise of the projector and the camera. By adding the complementary coded fringe images, we propose an improved phase-shift coding unwrapping method, which can not only be used for the shape measurement of discontinuous objects but also significantly enhance the noise robustness. The simulation analysis and experiment confirm the effectiveness of the proposed phase-shift coding unwrapping method.

1 引言

由于高速、高精度和非接触测量等优点,三维形貌测量技术在工业监控、计算机视觉、虚拟现实及逆向工程等领域得到了广泛应用^[1]。常见的三维形貌测量技术包括条纹投影方法、立体视觉技术^[2-3]、激光干涉方法^[4]和光场相机类方法^[5]等。在这些技术中,条纹投影法凭借其灵活、可靠和高自动化等优点,成为近年来的研究热点。条纹投影法一般使用投影仪将一组计算机生成的正弦条纹图像投影到测量物体上,并采用相机采集被物体表面轮廓调制的条纹图像,在测量系统得到良好标定的情况下,通过分析这些条纹数据,可以精确快速地得到被测物体的三维形貌信息^[6]。

条纹投影方法从周期性条纹数据中获取绝对相位分布,需要确定条纹周期阶数后完成相位去包裹。现有去包裹方法分为两类:时间去包裹方法和空间去包裹方法。时间去包裹方法需要投射多幅图像,利用每个像素的多个光强信息完成该点的去包裹过程^[7-10]。空间去包裹方法不需要投射额外图像,假设绝对相位是连续分布的,通过分析邻域像素的相位差来完成去包裹^[11-13]。显然,空间去包裹方法的效率高,但应用对象有限,相比之下,时间去包裹方法适用于具有复杂形貌的物体,但需要投射更多条纹图,如何兼顾两者优点一直是去包裹方法研究的重点。研究者提出了一种相移编码方法^[14],其继承了时间类方法的普适性,同时仅需要额外投射一幅编码图像。该编码图像含有相移信息,可用于相移法,因此可以媲美空间类方法的高效性。但相移编码去包裹方法对噪声很敏感,在实际应用中难以避免投影阴影^[15]、传感器噪声^[16]及环境振动^[17-18]等噪声源污染,因此迫切需要一种更稳健的相移编码方法。

在光学测量方法中,针对噪声问题有很多研究,主要可以分为两类。一类是设法去除噪声,如Deng等^[19]提出了一种基于相位分析的图像深度分割方法,并使用双边滤波器过滤相位图噪声。Lin等^[20]基于深度学习,提出了一种光学条纹图案的去噪卷积神经网络(FPD-CNN)方法,可以从带噪声的输入条纹图案中去除噪声点。Yan等^[21]同样使用卷积神经网络(CNN)方法,通过分别对求解相位的不连续反正切函数的分子分母来实现噪声过滤,并实现了鲁棒去包裹。Zhou等^[15]提出了一种非迭代的双阈值去噪方法,通过将灰度图像视为三维点云来进行分层处理,快速去除了图像中偏离较大的误差点。这类方法适用性较好,但缺点是计算复杂或需要调试阈值,在滤波时容易损失图像细节信息。第二类方法是设法提升方法自身的鲁棒性。如Deng等^[22]提出了一种基于分割线相移不变性的深度分割方案,并通过增加相移法步数来提高相位求解的鲁棒性。Wang等^[23]提出了一种用于动态3D形状测量的互补相位编码,通过投影两套周期交错的条纹图像,增强了阶梯点去包裹的鲁棒性。Juarez-Salazar 等^[24]提出了一种编码方法,该方法将多频去包裹方法中的同一相移量的不同频率条纹合成为一幅,并通过使用大的相移步数来抵抗噪声。第二类方法一般只适用于特定方法,但能显著提升原方法的实用性能,且可以结合第一类方法使鲁棒性进一步增强。

本文提出了一种改进的相移编码去包裹条纹投影形貌测量方法,通过增加互补的编码条纹图像,在实现不连续物体形貌测量的同时,显著增强了噪声鲁棒性。本文首先简要介绍了条纹投影方法的基础与相移编码方法的基本原理。接着,通过对相移编码去包裹方法进行噪声分析,针对噪声敏感区域设计了补偿的编码图像和探测校正方案,显著提升了原方法的抗噪能力。最后分别通过仿真模拟和实验,验证了该方法的可行性和适用性。

2 基本原理

2.1 条纹投影方法

条纹投影法的基本光路如图1所示。其中,R是被测物体的参考平面,以参考面上任一点为原点O并建立二维笛卡儿坐标系,其中x轴平行参考面,z轴垂直参考面;投影仪的镜头光心e和摄像机采集图像的光心f的连线与参考平面R平行;d为两个光心的距离;l为摄像机与参考平面之间的距离;D是被测物体表面轮廓的任意位置点,B是该点在参考面上的投影点,该点距离参考平面的高度 $|BD|$ 就是该点物体的高度h;A是投影光心与D点连线的反向延长线在参考平面上的交点;C是采集光心与D点连线的反向延长线在参考平面上的交点^[25]。

图 1. 条纹投影法的光路图

Fig. 1. Optical path used in projection fringe method

下载图片查看所有图片

投影仪将计算机模拟产生的正弦条纹投影到被测物体表面,因为该系统的参考平面与直线ef是平行的,即使投影方向倾斜,参考平面上的条纹光栅仍然是平行的。当参考平面上放置物体后,被测物体的自身形貌会使物体与参考平面产生距离差,进而采集到的条纹会发生畸变,畸变条纹与原参考平面上采集到的正弦条纹相比,各点均有不同程度的移动。图1中距离 $|A C|$ 为测量物体前后相机某一像素点采集到的投影点的移动距离(没有物体时该像素点采集到投影点C,有物体时该像素点采集到投影点D,注意D的投影强度等于A)。距离 $|AC|$ 实际上是正弦条纹图像上两点的空间距离,与该两点对应的绝对相位值之差即相位差呈正比。可见相位差正是物体的三维形貌造成的,与被测物体的高度有关系,也就是说只要能得到该相位差,就可以通过几何关系或者相对应的映射关系得到物体的高度,从而重建物体的三维形貌^[26]。

在理想的条纹投影系统中,假设采用N步相移法获取相位。将计算机产生的余弦条纹序列 $I_{i}^{p}$ 投影到物体上,相机采集到的变形条纹序列 $I_{i}^{c}$ 可以表示为

\{\begin{array}{l} {I^{p}}_{i} = {A^{p}}_{0} + {A^{p}}_{1} \cos (\frac{2 π x}{p} + δ_{i}) \\ {I^{c}}_{i} = {A^{c}}_{0} + {A^{c}}_{1} \cos (φ + δ_{i}) \\ δ_{i} = \frac{2 π i}{N}, i = 0, \dots, N - 1 \end{array}, (1)

式中:δ_i为等步相移法中设计的第i幅条纹图的相移量;i为条纹图像的序号;x为条纹图像在变化方向上的像素坐标值;p为条纹周期; $A_{0}^{p}$ 和 $A_{0}^{c}$ 为各条纹序列中像素的背景光强; $A_{1}^{p}$ 和 $A_{1}^{c}$ 为各条纹序列中像素强度的一阶振幅;φ为包含物体形貌信息的去包裹相位。通过最小二乘法可以获得包裹相位φ^w为

φ^{w} = \arctan [\frac{- \overset{N}{\sum_{i = 1}} {I^{c}}_{i} \sin δ_{i}}{\overset{N}{\sum_{i = 1}} {I^{c}}_{i} \cos δ_{i}}] 。 (2)

通过(2)式反正切函数获得的φ^w的取值范围在[0, 2π]内,还需要去包裹操作来获得条纹级数k,从而得到绝对相位值φ,即

φ = 2 π k + φ^{w} 。 (3)

已有的去包裹算法可以分为空间和时间去包裹方法两类,前者高效仅需要少量图像,后者能对每个点进行独立去包裹。目前流行的多频条纹去包裹方法可以实现逐点独立去包裹^[27-28],但需要多组频率的条纹图,而且每种频率都需要采用相移法,不利于快速动态形貌测量。因此,本文设计了一种新的相移编码方法,通过给每个周期赋予不同的相移量来进行编码,在仅增加两幅编码图像的情况下实现逐点独立去包裹。

2.2 编码图像去包裹

对于(1)式给出的N步相移法图像,通过引入第N+1幅图像作为编码图像,来获取条纹级数,进而方便去包裹。在不考虑非线性影响时,编码图像写为

\{\begin{array}{l} {I^{p}}_{N + 1} = {A^{p}}_{0} + {A^{p}}_{1} \cos (\frac{2 π x}{p} + t) \\ {I^{c}}_{N + 1} = {A^{c}}_{0} + {A^{c}}_{1} \cos (φ + t) \end{array}, (4)

式中: $I_{N + 1}^{p}$ 为计算机生成的编码图像; $I_{N + 1}^{c}$ 为相机采集到的投影到物体上的编码图像;编码相位t可写为

t = \frac{2 π k}{T + 1}, (5)

式中: $k = floor (\frac{x}{p}),$ 其中floor(·)是向下取整函数,即k是等于不大于x/p的最大整数;T为最大条纹级数或条纹频率。条纹频率T=10,条纹周期p=30 pixel时,0≤x≤300 pixel范围内的t和k分布如图2所示。

图 2. T=10,p=30 pixel时的t和k

Fig. 2. t and k when T=10 and p=30 pixel

下载图片查看所有图片

结合(1)式与(4)式,构造的条纹级数判别式^[14]满足

\overset{N + 1}{\sum_{i = 1}} K_{i} {I^{c}}_{i} = 0, (6)

式中:K_i为判别式系数,为实数。

以三步相移法(N=3)为例,将(1)式中的 $I_{i}^{c}$ 与(4)式中的 $I_{N + 1}^{c}$ 表达式代入(6)式,化简得

\begin{array}{l} (K_{1} + K_{2} + K_{3} + K_{4}) {A^{c}}_{0} + \frac{1}{2} (2 K_{1} - K_{2} - K_{3} + 2 K_{4} \cos t) {A^{c}}_{1} \cos φ + \\ \frac{1}{2} [\sqrt[]{3} (- K_{2} + K_{3}) - 2 K_{4} \sin t] {A^{c}}_{1} \sin φ = 0, (7) \end{array}

由于(7)式中的φ及系数 $A_{0}^{c}$ 和 $A_{1}^{c}$ 的任意性,要使(6)式成立,应有

\{\begin{array}{l} K_{1} + K_{2} + K_{3} + K_{4} = 0 \\ 2 K_{1} - K_{2} - K_{3} + 2 K_{4} \cos t = 0 \\ \sqrt[]{3} (- K_{2} + K_{3}) - 2 K_{4} \sin t = 0 \end{array}, (8)

可以得到判别式系数K_i的方程组解为

\{\begin{array}{l} K_{1} = - \frac{K_{4}}{3} (1 + 2 \cos t) \\ K_{2} = \frac{K_{4}}{3} (- 1 + \cos t - \sqrt[]{3} \sin t) \\ K_{3} = \frac{K_{4}}{3} (- 1 + \cos t + \sqrt[]{3} \sin t) \\ K_{4} = K_{4} \end{array} 。 (9)

在实际应用中,相机采集到的相移图像和编码图像都不可避免地包含噪声,这意味着(6)式的条纹级数判别式并不精确为零。为此,将判别式改写为函数F(t),即

\{\begin{array}{l} F (t) = \overset{N + 1}{\sum_{i = 1}} K_{i} (t) {I^{c}}_{i} \\ t (k) = mi n_{t} {| F (t) |}, k \in [0, T] \end{array}, (10)

式中:K_i(t)可以理解为低通滤波器的权函数,具体表达式如(9)式所示;t(k)为编码相位。

一般地,条纹级数k为正整数,在0~floor(x/p)范围内变化,即k∈[0,floor(T)]。为了确定条纹级数k,需要逐一将k值代入判别(10)式,寻找条纹级数k所对应的t(k),使得判别式(10)式中的F(t)最接近0,即采用尝试法来确定正确的条纹级数k。从(10)式完成条纹级数k的正确识别后,就可以通过(3)式获得去包裹相位。

值得注意的是,当相位 $φ = k π 和 φ = (k + 1 / 2) π$ 时,(10)式中的sin φ或cos φ为0,则(7)式不再等价于(8)式,即(10)式对编码相位t的约束方程组(8)式弱化成了(7)式,这些特殊点存在错误解码的可能。如图3(a)所示,当条纹频率T=10,条纹周期p=30 pixel时,0≤x≤300 pixel范围内的条纹级数k在上述特殊点位置出现了跳跃。通过分析发现,误码相位t_e和正确编码相位t_c满足t_e+t_c=2π,该特性在图3(a)中表现为误差点处的阶数与对应正确阶数的和恒为T+1。因此,选取非整数条纹频率(例如T=31/3)时,可避免出现错误解码,如图3(b)所示。

图 3. 特殊点对编码去包裹方法的影响。(a) T=10时k的错误解码;(b) T=31/3时k的正确解码

Fig. 3. Effect of special point on coding unwrapping method. (a) Incorrect decoding when T=10; (b) correct decoding when T=31/3

下载图片查看所有图片

2.3 噪声影响分析

在实际应用中,相机采集到的相移图像和编码图像都不可避免地存在随机噪声,为了增强编码去包裹方法的鲁棒性,还需要对该方法进行噪声影响分析。

对采集图像 $I_{i}^{c}$ 引入随机噪声η_i,有

\begin{array}{l} {I^{c}}_{i} = {A^{c}}_{0} + {A^{c}}_{1} \cos (φ + δ_{i}) + η_{i}, (11) \\ δ_{i} = \{\begin{array}{l} \frac{2 π i}{N}, & i = 1, \dots, N \\ t, & i = N + 1 \end{array} 。 (12) \end{array}

假设白噪声η_i服从高斯分布N(0,σ²),表现为白噪声误差σ=Δ $I_{i}^{c}$ ,噪声引起的图像变化进而会影响编码相位变化量Δt(因为编码相位t是 $I_{i}^{c}$ 的反函数)。根据文献^[29],假设Δt服从高斯分布N(0, $σ_{t}^{2}$ ),且σ_t=Δt,结合4.5σ准则(即7×10^-7错误率),有

\{\begin{array}{l} σ_{t}^{2} = \overset{N + 1}{\sum_{i = 1}} [{(\frac{\partial t}{\partial {I^{c}}_{i}})}^{2} σ^{2}] \\ σ_{t} < \frac{2 π}{4.5 (T + 1)} \end{array} 。 (13)

此外,将(6)式对变量 $I_{i}^{c}$ 求导,并根据白噪声的独立性,假设 $d {I^{c}}_{i} / d {I^{c}}_{j} = δ_{i},$ 化简可得

\frac{\partial t}{\partial I_{i}^{c}} = - K_{i} (t) / \overset{N + 1}{\sum_{j = 1}} {I^{c}}_{j} \frac{d K_{j} (t)}{d t} 。 (14)

将(14)式代入(13)式化简得到

σ < \frac{2 π |\frac{d {I^{c}}_{N + 1} (t)}{d t}|}{4.5 (T + 1) \sqrt[]{\overset{N + 1}{\sum_{i = 1}} K_{i}^{2} (t)}} 。 (15)

使用(15)式即可对相移编码去包裹方法开展鲁棒性评估,为了方便分析,令编码图像误差为

I'_{N + 1} = |\frac{d {I^{c}}_{N + 1} (t)}{d t}| 。 (16)

利用(16)式表征编码图像受到的噪声影响。设σ的上限为σ_lim,则(15)式的极限形式为

σ_{\lim} = \frac{2 π I'_{N + 1}}{4.5 (T + 1) \sqrt[]{\overset{N + 1}{\sum_{i = 1}} K_{i}^{2} (t)}} 。 (17)

可见,噪声造成的极限误差σ_lim与编码图像误差I'_N+1和判别式系数K_i有关。

下面采用仿真方法来分析噪声对编码去包裹方法的影响。条纹频率T=31/3,条纹周期p=30 pixel时,白噪声误差σ取一阶振幅 $A_{1}^{p}$ 的1/20,按照(4)式生成相移法(N=3)图像和编码图像,采用(10)式进行编码去包裹处理,0≤x≤300 pixel范围内的条纹级数k的分布如图4(a)所示。同时,给出了σ_lim和I'_N₊₁的分布情况,如图4(b)所示。

由图4可知, 极限误差σ_lim和编码图像误差I'_N₊₁显示出强相关性,如图4(b)所示。这是由于(17)式中的求和项 $\overset{N + 1}{\sum_{i = 1}} K_{i}^{2} (t)$ 对编码相位t不敏感,实际上通过(9)式可证明该值为常数。

噪声对编码去包裹方法的影响。(a) k的分布;(b) σlim和I'N+1的分布

图 4. 噪声对编码去包裹方法的影响。(a) k的分布;(b) σ_lim和I'_N₊₁的分布

Fig. 4. Effect of noise on coding unwrapping method. (a) Distribution of k; (b) distributions of σ_lim and I'_N₊₁

下载图片查看所有图片

图4(a)中条纹级数的误差点可分为两类,一类是条纹级数偏差 $|d k|$ =1的点。由于噪声σ导致的dt(对应 $|d k|$ =1)是一个小值,因此这些点出现误差的原因可以使用微分理论即(17)式进行解释。实际上,这类点的确贴近σ_lim波谷区域,与 (17)式推测的容易受噪声影响的区域吻合。

第二类是条纹级数偏差 $|d k|$ >1的点。(10)式中的 $|F|$ 存在有多个极小值,由于不同极小值之间的差异很小,当存在噪声σ的影响时,全局最小值就可能在这些极小值间发生变化。虽然这些误差点也是由噪声σ导致的,但各局部极小值间的位置相距甚远,显然不适用于微分理论。这类错误点多偏离正常位置(σ_lim波谷),而分布在σ_lim波峰附近。

因此,利用(17)式可找到相移编码去包裹方法对噪声敏感的区域,即 $| d {I^{c}}_{N + 1} (t) / d t |$ 接近0的区域。通过增加编码图像来补充敏感区域的测量,并设法将判别式设计为单峰分布,这将有效增强编码去包裹方法的鲁棒性。

3 抗噪声干扰的编码去包裹方法

为了避免噪声的影响,本文新增一幅编码图像 $I_{N + 2}^{p}$ :

\{\begin{array}{l} {I^{p}}_{N + 2} = {A^{p}}_{0} + {A^{p}}_{1} \cos (\frac{2 π x}{p} + t + π / 2) \\ {I^{c}}_{N + 2} = {A^{c}}_{0} + {A^{c}}_{1} \cos (φ + t + π / 2) \end{array} 。 (18)

与已有的编码图像(4)式相比,新增的编码图像(18)式增加了一个相位π/2,可灵活避开(17)式所示的噪声敏感区间。则考虑噪声影响时,相机采集的相移图像和编码图像变为

\begin{array}{l} {I^{c}}_{i} = {A^{c}}_{0} + {A^{c}}_{1} \cos (φ + δ_{i}) + η_{i}, (19) \\ δ_{i} = \{\begin{array}{l} \frac{2 π i}{N}, i = 1, \dots, N \\ t, i = N + 1 \\ t + \frac{π}{2}, i = N + 2 \end{array} 。 (20) \end{array}

因为一幅编码图像对应一个条纹级数判别式,新方法中有两幅编码图像,就会有两个条纹级数判别式。考虑噪声影响时,条纹级数判别式为

\{\begin{array}{l} F (t) = {I^{c}}_{N + 1} - \overset{N}{\sum_{i = 1}} K_{i} (t) {I^{c}}_{i} \\ F^{s} (t) = {I^{c}}_{N + 2} - \overset{N}{\sum_{i = 1}} K_{i} (t + π / 2) {I^{c}}_{i} \\ t (k) = mi n_{t} {| F (t) | + | F^{s} (t) |}, k \in [0, T] \end{array}, (21)

式中:F^s(t)为新增的相移编码条纹图像对应的判别式。

可见,新的编码去包裹方案有两幅编码图像[(4)式和(18)式],其组合判别式(21)式能避开噪声敏感区域,可以有效增强相移编码去包裹方法的鲁棒性,尽可能避免噪声的影响。尽管判别式的组合形式有多种,但本文选用的绝对值之和的组合方式可以使判别式是单峰分布,这有利于正确解码。

在实际解码过程中,为了增强方法的鲁棒性,在每次解码时提前判断该点是否处在(21)式的噪声敏感区域,通过识别错误点来进行校正。在理想情况下,若找到正确的编码相位t值,则(21)式中的F(t)和F^s(t)恒为0,此时将两个判别式分别对t求导,有

\{\begin{array}{l} \frac{d F (t)}{d t} = \frac{d {I^{c}}_{N + 1} (t)}{d t} - \overset{N}{\sum_{i = 1}} {I^{c}}_{i} \frac{d K_{i} (t)}{d t} = 0 \\ \frac{d F^{s} (t)}{d t} = \frac{d {I^{c}}_{N + 2} (t)}{d t} - \overset{N}{\sum_{i = 1}} {I^{c}}_{i} \frac{d K_{i} (t + π / 2)}{d t} = 0 \end{array} 。 (22)

这里定义一个衡量噪声容忍度 $|d {I^{c}}_{N + 1} (t) / d t|$ 和 $|d {I^{c}}_{N + 2} (t) / d t|$ 的指标(Noise tolerance index,NTI)为

V^{NTI} = |\overset{N}{\sum_{i = 1}} {I^{c}}_{i} \frac{d K_{i} (t)}{d t}| + |\overset{N}{\sum_{i = 1}} {I^{c}}_{i} \frac{d K_{i} (t + π / 2)}{d t}| 。 (23)

在使用两幅编码图像进行解码时,可根据(23)式获得每一个像素位置处的V^NTI值,当小于某阈值(V^NTI<V^threshold)时,则判断该点为噪声点,并采用正确解码的邻域像素点进行校正。

本文所提出的抗噪声干扰的编码去包裹算法流程叙述如下。

1) 根据伽马非线性程度,选择相移步N,条纹频率T和条纹周期p,生成待投影的N幅相移条纹 $I_{N}^{p}$ [(1)式]和两幅编码条纹 $I_{N + 1}^{p}$ [(4)式]和 $I_{N + 2}^{p}$ [(18)式],并依次将其投影到物体上,采集到对应的相移图像 $I_{N}^{c}$ 和编码图像 $I_{N + 1}^{c}$ 和 $I_{N + 2}^{c}$ 。

2) 通过条纹判别式(21)式,遍历条纹级数k,分别获得两幅编码图像对应的编码系数K_i(t)和K_i(t+π/2)。

3) 使用(23)式计算每一像素点的噪声容忍度V^NTI值,当小于某阈值(V^NTI<V^threshold)时,则判断该点为噪声点,采用正确解码的邻域像素点进行条纹级数k的校正。本文设置阈值V^threshold=20σ,可以覆盖约95%的噪声点。

4 仿真分析

采用仿真方法来验证抗噪声干扰的编码去包裹算法的可行性。条纹频率T=31/3,条纹周期p=30 pixel时,仿真图像 $I_{i}^{c}$ [(19)式和(20)式]加入的白噪声η服从高斯分布N(0,σ²),σ取一阶振幅 $A_{1}^{p}$ 的1/20,相移步数N=3。采用常规方法(10)式和本文方法(21)式来分别进行解码,分析结果如图5所示。

图 5. 仿真实验结果。(a)常规方法和本文方法的解码结果;(b)三种判别方式的抗噪声效果

Fig. 5. Simulation results. (a) Decoding results of conventional method and proposed method; (b) anti-noise effects of three discrimination methods

下载图片查看所有图片

从图5(a)可见,噪声对常规方法有较大影响,而本文方法消除了噪声所带来的解码误差,得到了正确的条纹级数分布。进一步,对比以下三种条纹级数判别方式的抗噪声效果,即

t (k) = \{\begin{array}{l} mi n_{t} {| F (t) |}, & k \in [0, T] \\ mi n_{t} {| F^{s} (t) |}, & k \in [0, T] \\ mi n_{t} {| F (t) | + | F^{s} (t) |}, & k \in [0, T] \end{array} 。 (24)

从图5(b)可见,对于单个判别式 $|F (t)|$ 和 $|F^{s} (t)|$ 而言,解码结果存在误差;相比之下, $| F (t) | + | F^{s} (t) |$ 能有效提高去包裹方法的稳健性,表现出很强的抗噪声鲁棒性。

为了进一步分析高噪声的影响程度,设置白噪声η服从高斯分布, $σ = {A^{p}}_{1} / 10,$ 其他仿真参数不变。采用组合判别方式来解码,发现所提方法仍然受到大噪声的影响,出现解码错误,这些错误位置用NTI来给出,将NTI标记区域记为“1”,否则为“0”,如图6(a)所示。这里使用正确解码的邻域来进行有目的的校正,可以进一步增强解码的鲁棒性,使去包裹正确率接近99%,如图6(b)所示。

图 6. 大噪声时本文方法的解码结果。(a)错误解码位置和对应的NTI指标;(b)邻域校正结果

Fig. 6. Decoding results by proposed method in case of large noise. (a) Error decoding position and corresponding NTI index; (b) neighborhood correction result

下载图片查看所有图片

5 实验验证

选用三步(N=3)相移法来验证本文方法的有效性,实验装置如图7(a)所示,其由计算机、投影仪(TLP-X2000)和相机(F-080b)组成。测量物体如图7(b)所示,其由球冠和台阶两个物体组成。

根据图8所示的处理流程,首先用投影仪将设计好的三步相移条纹图( $I_{1}^{p}$ ~ $I_{3}^{p}$ )和两幅编码条纹图像( ${I^{p}}_{t} ~ {I^{p}}_{t + π / 2}$ )按顺序投影到物体表面上,同时触发相机依次采集( ${I^{c}}_{1} ~ {I^{c}}_{3}$ 和 ${I^{c}}_{t} ~ {I^{c}}_{t + π / 2}$ )。图9(a)所示为一幅采集的物体图像,其分辨率为1024 pixel×768 pixel,条纹频率T=128/7。

图 7. 验证实验。(a)实验装置;(b)测量物体

Fig. 7. Test experiment. (a) Experimental setup; (b) measured objects

下载图片查看所有图片

然后,将采集后的三幅相移图像与两幅编码图像相结合,利用本文方法得到条纹级数分布,如图9(c)所示。与包裹相位图[图9(b)]相结合,得到最后的去包裹相位图,如图9(d)所示,减去参考相位后的结果如图9(e)与图9(f)所示。除了本文提出的编码图像去包裹过程外,还值得注意的是获得包裹相位图的过程,可采用等步长相移法或任意步长的广义相移法^[30]。在等步长相移法中,编码图像不参与包裹相位运算,只参与相位解码过程;在广义相移法中,编码图像既参与包裹相位运算,也参与相位解码过程,如图8所示。无论采用何种方法确定包裹相位,都对本文提出的相位解码过程无影响,图9(e)所示为本文解码方法获得的正确的去包裹相位,相比之下,图9(g)为文献[ 14]解码方法的结果。可见,本文方法显著降低了噪声干扰,可在大视场与噪声谐波干扰下有效完成复杂不连续物体的相位去包裹工作。需要说明的是,在图9(e)的去包裹相位中,存在着由投影仪非线性引起的相位误差^[27],这不属于本文方法的去包裹误差。

图 8. 改进相移编码方法的流程图

Fig. 8. Flow chart of improved phase-shift coding method

下载图片查看所有图片

图 9. 实验过程及结果。(a)条纹投影到被测物体;(b)被测物体的包裹相位;(c) k的分布;(d)去包裹相位;(e)相位差的二维分布;(f)本文解码方法结果;(g)文献[ 14]解码方法的结果

Fig. 9. Experimental process and results. (a) Fringe projecting to measured object; (b) wrapped phase of measured object; (c) distribution of k; (d) unwrapping phase; (e) 2D distribution of phase difference; (f) result by proposed decoding method; (g) result by decoding method in Ref. [14]

下载图片查看所有图片

6 结论

通过增加互补的编码条纹图像,提出了一种鲁棒的相移编码去包裹方法,在实现不连续物体的形貌测量的同时,显著增强了原方法的噪声鲁棒性。理论分析了噪声对解码过程中条纹级数判别式的影响,并设计了互补编码条纹图像与噪声敏感性指示器,通过仿真分析和实验验证了所提方法的可行性。与常规的相移编码去包裹相比,实验结果显示,所提方法能有效抑制噪声对相位去包裹结果的影响。同时,所提方法也有不足之处,一是理论分析解码时采用的线性模型没有考虑伽玛误差的影响,二是条纹编码限制了条纹频率,这是未来需要解决的问题。

参考文献

[1] Lazaros N, Sirakoulis G C, Gasteratos A. Review of stereo vision algorithms: from software to hardware[J]. International Journal of Optomechatronics, 2008, 2(4): 435-462.

[2] Goda I. L'Hostis G, Guerlain P. In-situ non-contact 3D optical deformation measurement of large capacity composite tank based on close-range photogrammetry[J]. Optics and Lasers in Engineering, 2019, 119: 37-55.

[3] 葛启杰, 史金龙, 孙蕴瀚. 基于二值空间编解码的结构光三维场景重建[J]. 激光与光电子学进展, 2020, 57(2): 021509.

Ge Q J, Shi J L, Sun Y H. Structured light three-dimensional scene reconstruction based on binary space coding and decoding[J]. Laser and Optoelectronics Progress, 2020, 57(2): 021509.

[4] Asundi T K, Valyukh S. Determination of surface profiles of transparent plates by means of laser interferometry with wavelength tuning[J]. Optics and Lasers in Engineering, 2019, 115: 59-66.

[5] Zhao J Y, Liu Z W, Guo B Q. Three-dimensional digital image correlation method based on a light field camera[J]. Optics and Lasers in Engineering, 2019, 116: 19-25.

[6] Hu Y, Chen Q, Liang Y C, et al. Microscopic 3D measurement of shiny surfaces based on a multi-frequency phase-shifting scheme[J]. Optics and Lasers in Engineering, 2019, 122: 1-7.

[7] Peng X, Yang Z L, Niu H B. Multi-resolution reconstruction of 3-D image with modified temporal unwrapping algorithm[J]. Optics Communications, 2003, 224(1/2/3): 35-44.

[8] Zhang Q C, Su X Y, Xiang L Q, et al. 3-D shape measurement based on complementary gray-code light[J]. Optics and Lasers in Engineering, 2012, 50(4): 574-579.

[9] Tian J D, Peng X, Zhao X B. A generalized temporal phase unwrapping algorithm for three-dimensional profilometry[J]. Optics and Lasers in Engineering, 2008, 46(4): 336-342.

[10] 王张颖, 高楠, 张宗华. 基于并行四颜色通道条纹投影的三维测量术[J]. 光学学报, 2018, 38(8): 0815022.

Wang Z Y, Gao N, Zhang Z H. Three-dimensional shape measurement based on parallel four color channels fringe[J]. Acta Optica Sinica, 2018, 38(8): 0815022.

[11] Su X Y, Chen W J. Reliability-guided phase unwrapping algorithm: a review[J]. Optics and Lasers in Engineering, 2004, 42(3): 245-261.

[12] Zappa E, Busca G. Comparison of eight unwrapping algorithms applied to Fourier-transform profilometry[J]. Optics and Lasers in Engineering, 2008, 46(2): 106-116.

[13] Zhao M, Huang L, Zhang Q C, et al. Quality-guided phase unwrapping technique: comparison of quality maps and guiding strategies[J]. Applied Optics, 2011, 50(33): 6214-6224.

[14] Yang S C, Wu G X, Wu Y X, et al. High-accuracy high-speed unconstrained fringe projection profilometry of 3D measurement[J]. Optics & Laser Technology, 2020, 125: 106063.

[15] Zhou S T, Liu X L, Wang C Y, et al. Non-iterative denoising algorithm based on a dual threshold for a 3D point cloud[J]. Optics and Lasers in Engineering, 2020, 126: 105921.

[16] Shevkunov I, Katkovnik V, Claus D, et al. Hyperspectral phase imaging based on denoising in complex-valued eigensubspace[J]. Optics and Lasers in Engineering, 2020, 127: 105973.

[17] Wizinowich P L. Phase shifting interferometry in the presence of vibration: a new algorithm and system[J]. Applied Optics, 1990, 29(22): 3271-3279.

[18] Liu Q, Li L L, Zhang H, et al. Simultaneous dual-wavelength phase-shifting interferometry for surface topography measurement[J]. Optics and Lasers in Engineering, 2020, 124: 105813.

[19] Deng J, Li J, Feng H, et al. Omnidirectional depth segmentation using orthogonal fringe patterns and multi-scale enhancement[J]. Optics and Lasers in Engineering, 2020, 126: 105890.

[20] Lin B W, Fu S J, Zhang C M, et al. Optical fringe patterns filtering based on multi-stage convolution neural network[J]. Optics and Lasers in Engineering, 2020, 126: 105853.

[21] Yan K T, Yu Y J, Sun T, et al. Wrapped phase denoising using convolutional neural networks[J]. Optics and Lasers in Engineering, 2020, 128: 105999.

[22] Deng J, Li J, Feng H, et al. Flexible depth segmentation method using phase-shifted wrapped phase sequences[J]. Optics and Lasers in Engineering, 2019, 122: 284-293.

[23] Wang Y W, Liu L, Wu J, et al. Dynamic three-dimensional shape measurement with a complementary phase-coding method[J]. Optics and Lasers in Engineering, 2020, 127: 105982.

[24] Juarez-Salazar R, Martinez-Laguna J. Diaz-Ramirez V H. Multi-demodulation phase-shifting and intensity pattern projection profilometry[J]. Optics and Lasers in Engineering, 2020, 129: 106085.

[25] 代晴, 孙平, 类智方, 等. 基于条纹光流的物体面形测量技术[J]. 光学学报, 2019, 39(11): 1112004.

Dai Q, Sun P, Lei Z F, et al. Surface shape measurement technique using fringe-based optical flow[J]. Acta Optica Sinica, 2019, 39(11): 1112004.

[26] Zhang Q C, Wang Q F, Hou Z L, et al. Three-dimensional shape measurement for an underwater object based on two-dimensional grating pattern projection[J]. Optics & Laser Technology, 2011, 43(4): 801-805.

[27] 毛翠丽, 卢荣胜. 提高多频条纹投影相位提取精度的反向误差补偿法[J]. 光学学报, 2018, 38(4): 0412005.

Mao C L, Lu R S. Inverse error compensation method for improvement of phase recovery accuracy of multi-frequency fringe projection[J]. Acta Optica Sinica, 2018, 38(4): 0412005.

[28] 陈超, 高楠, 王向军, 等. 基于自适应条纹投影的彩色物体三维形貌测量[J]. 光学学报, 2018, 38(8): 0815008.

Chen C, Gao N, Wang X J, et al. Three-dimensional shape measurement of colored objects based on adaptive fringe projection[J]. Acta Optica Sinica, 2018, 38(8): 0815008.

[29] Zuo C, Huang L, Zhang M L, et al. Temporal phase unwrapping algorithms for fringe projection profilometry: a comparative review[J]. Optics and Lasers in Engineering, 2016, 85: 84-103.

[30] Lai G M, Yatagai T. Generalized phase-shifting interferometry[J]. Journal of the Optical Society of America A, 1991, 8(5): 822.

刘达, 雷振坤, 姜昊, 白瑞祥. 条纹投影法中抗噪声干扰的相移编码去包裹方法[J]. 光学学报, 2020, 40(23): 2312002. Da Liu, Zhenkun Lei, Hao Jiang, Ruixiang Bai. Anti-Noise Phase-Shift Coding Unwrapping Method in Fringe Projection Profilometry[J]. Acta Optica Sinica, 2020, 40(23): 2312002.

条纹投影法中抗噪声干扰的相移编码去包裹方法下载： 995次

1 引言

2 基本原理

2.1 条纹投影方法

图 1. 条纹投影法的光路图

Fig. 1. Optical path used in projection fringe method

2.2 编码图像去包裹

图 2. T=10,p=30 pixel时的t和k

Fig. 2. t and k when T=10 and p=30 pixel

图 3. 特殊点对编码去包裹方法的影响。(a) T=10时k的错误解码;(b) T=31/3时k的正确解码

Fig. 3. Effect of special point on coding unwrapping method. (a) Incorrect decoding when T=10; (b) correct decoding when T=31/3

2.3 噪声影响分析

图 4. 噪声对编码去包裹方法的影响。(a) k的分布;(b) σ_lim和I'_N₊₁的分布

Fig. 4. Effect of noise on coding unwrapping method. (a) Distribution of k; (b) distributions of σ_lim and I'_N₊₁

3 抗噪声干扰的编码去包裹方法

4 仿真分析

图 5. 仿真实验结果。(a)常规方法和本文方法的解码结果;(b)三种判别方式的抗噪声效果

Fig. 5. Simulation results. (a) Decoding results of conventional method and proposed method; (b) anti-noise effects of three discrimination methods

图 6. 大噪声时本文方法的解码结果。(a)错误解码位置和对应的NTI指标;(b)邻域校正结果

Fig. 6. Decoding results by proposed method in case of large noise. (a) Error decoding position and corresponding NTI index; (b) neighborhood correction result

5 实验验证

图 7. 验证实验。(a)实验装置;(b)测量物体

Fig. 7. Test experiment. (a) Experimental setup; (b) measured objects

图 8. 改进相移编码方法的流程图

Fig. 8. Flow chart of improved phase-shift coding method

图 9. 实验过程及结果。(a)条纹投影到被测物体;(b)被测物体的包裹相位;(c) k的分布;(d)去包裹相位;(e)相位差的二维分布;(f)本文解码方法结果;(g)文献[ 14]解码方法的结果

Fig. 9. Experimental process and results. (a) Fringe projecting to measured object; (b) wrapped phase of measured object; (c) distribution of k; (d) unwrapping phase; (e) 2D distribution of phase difference; (f) result by proposed decoding method; (g) result by decoding method in Ref. [14]

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

条纹投影法中抗噪声干扰的相移编码去包裹方法 下载： 995次

1 引言

2 基本原理

2.1 条纹投影方法

图 1. 条纹投影法的光路图

Fig. 1. Optical path used in projection fringe method

2.2 编码图像去包裹

图 2. T=10,p=30 pixel时的t和k

Fig. 2. t and k when T=10 and p=30 pixel

图 3. 特殊点对编码去包裹方法的影响。(a) T=10时k的错误解码;(b) T=31/3时k的正确解码

Fig. 3. Effect of special point on coding unwrapping method. (a) Incorrect decoding when T=10; (b) correct decoding when T=31/3

2.3 噪声影响分析

图 4. 噪声对编码去包裹方法的影响。(a) k的分布;(b) σlim和I'N+1的分布

Fig. 4. Effect of noise on coding unwrapping method. (a) Distribution of k; (b) distributions of σlim and I'N+1

3 抗噪声干扰的编码去包裹方法

4 仿真分析

图 5. 仿真实验结果。(a)常规方法和本文方法的解码结果;(b)三种判别方式的抗噪声效果

Fig. 5. Simulation results. (a) Decoding results of conventional method and proposed method; (b) anti-noise effects of three discrimination methods

图 6. 大噪声时本文方法的解码结果。(a)错误解码位置和对应的NTI指标;(b)邻域校正结果

Fig. 6. Decoding results by proposed method in case of large noise. (a) Error decoding position and corresponding NTI index; (b) neighborhood correction result

5 实验验证

图 7. 验证实验。(a)实验装置;(b)测量物体

Fig. 7. Test experiment. (a) Experimental setup; (b) measured objects

图 8. 改进相移编码方法的流程图

Fig. 8. Flow chart of improved phase-shift coding method

图 9. 实验过程及结果。(a)条纹投影到被测物体;(b)被测物体的包裹相位;(c) k的分布;(d)去包裹相位;(e)相位差的二维分布;(f)本文解码方法结果;(g)文献[ 14]解码方法的结果

Fig. 9. Experimental process and results. (a) Fringe projecting to measured object; (b) wrapped phase of measured object; (c) distribution of k; (d) unwrapping phase; (e) 2D distribution of phase difference; (f) result by proposed decoding method; (g) result by decoding method in Ref. [14]

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

条纹投影法中抗噪声干扰的相移编码去包裹方法下载： 995次

图 4. 噪声对编码去包裹方法的影响。(a) k的分布;(b) σ_lim和I'_N₊₁的分布

Fig. 4. Effect of noise on coding unwrapping method. (a) Distribution of k; (b) distributions of σ_lim and I'_N₊₁