中国激光, 2019, 46 (5): 0504003, 网络出版: 2019-11-11   

估计系统点扩展函数以降低相位测量轮廓术误差 下载: 896次

Estimation of System Point Spread Function to Reduce Errors in Phase Measuring Profilometry
作者单位
1 四川大学电气信息学院, 四川 成都 610065
2 广东省公安厅, 广东 广州 510050
摘要
针对相位测量轮廓术中由光学成像设备的点扩展函数引起的卷积效应,提出了一种估计点扩展函数卷积模型参数的方法。该方法利用卷积效应对相位测量轮廓术中光强调制度参数的影响,通过计算基频与更高空间频率之间的光强调制比率,实现了对点扩展函数参数的估计,利用估计的参数建立卷积模型对误差区域进行相位校正,从而提高三维重建精度。仿真及实验结果均验证了所提方法的有效性,与校正前相比,相位的均方根误差减小了30.55%。
Abstract
The convolution effect in phase measuring profilometry, which is caused by the point spread function in optical imaging devices, is investigated, and a method for estimating the convolution parameters of the point spread function is proposed. This method can be used to assess the point spread function parameters by utilizing the influence of convolution effect on the intensity modulation parameters in phase measuring profilometry, wherein the modulation ratio of the base frequency to the other higher spatial frequency is calculated. By adopting the resulting estimated parameter, a convolution model is established for phase correction in error areas; thus, the 3D reconstruction accuracy is improved. The simulation and experimental results both verify the efficiency of the method. Compared with that obtained before correction, the root-mean-square error of phase is decreased by 30.55%.

1 引言

结构光(SLI)[1]作为非接触式三维测量技术已扩展到生物识别、医疗和制造等领域[2-6]。其中的相位测量轮廓术(PMP)是非接触式三维测量技术中的一个重要分支,它利用一个由投影和成像系统组成的相对简单的结构,为三维测量提供了更快速、便捷的操作,以及更高的测量精度[7-10]。PMP通过采集摄像机捕获图像的像素亮度值来计算相位,从而得到三维空间坐标进行重建。在实际测量过程中,光学成像设备由于受到非理想成像系统的影响,对光源的响应不是一个点,而是扩散为一个具有不均匀能量分布的光斑。扫描目标上的每个点光源会以散焦、漫反射等形式间接影响其他点或受到其他点光源的影响,此影响可用点扩展函数(PSF)来描述。因此,摄像机捕获的实际图像是原始图像与系统PSF卷积后的离焦模糊图像,在频域上通常被描述为低通滤波过程。

许多学者针对成像设备PSF引起的卷积效应进行了研究:Zhou等[11]利用调制传递函数(MTF)分析了数码相机的卷积过程,提出了正确配置测量装置的位置,使摄像机截止频率与光栅频率相匹配,从而得到了更高的测量精度;Li等[12]将成像设备的离焦卷积引入到伽马畸变模型中,据此来获得更高精度的伽马校正;Xu等[13]针对傅里叶单像素成像投影机镜头的离焦问题提出了一种对散焦进行校正的方法。此外,卷积效应在PMP扫描中所造成的主要误差之一,是扫描高对比度反射率区域时边缘像素的卷积误差,Xu等[14]将它描述为多路径效应,并提出利用一个3×3的平滑空间滤波作为PSF卷积模型来减小误差。Rao等[15]分析了摄像机离焦造成的局部模糊,利用预测的清晰图像边缘估计PSF参数,并建立了卷积模型来补偿相位误差。

显然,更加准确的卷积模型对于提升成像质量以及三维重建的精度十分重要,然而,现有研究少有针对PMP中成像设备PSF卷积模型进行的探讨。鉴于此,本文从理论上详细分析了PSF对PMP各参数的影响,提出了一种估计PSF参数的方法,然后用此方法建立卷积模型,据此对高对比度反射率区域的卷积影响误差进行校正,并验证了所提模型的有效性。

2 基本原理与误差分析

2.1 相位测量轮廓术

投影机投出的不同空间频率的正弦光栅在扫描目标上产生形变调制后,由摄像机捕获的变形图像可以表示为[7]

Icn(x,y)=Ac(x,y)+Bc(x,y)cosϕf(x,y)-2πnN,(1)

其中,

ϕf(x,y)=arctann=0N-1Icn(x,y)sin2πnNn=0N-1Icn(x,y)cos2πnN,(2)

Ac(x,y)=1Nn=0N-1Icn(x,y),(3)

Bc(x,y)=2Nn=0N-1Icn(x,y)sin2πnN2+n=0N-1Icn(x,y)cos2πnN2(4)

式中:(x,y)为成像平面的坐标; Inc为像素的光强值;n为相移系数;N为投影图像的总数,也就是总相移数;AcBc分别为图像的平均光强和光强度调制;ϕf为包裹相位值,下标f表示光栅图案的空间频率。

2.2 卷积模型及误差分析

对于数字成像系统,其PSF通常由一个二维高斯函数来表示[16],即:

h(x,y)=12πσ2expx2+y22σ2,(5)

式中:σ为点扩展函数的标准差,其值越大表示卷积效应越强。对于数字摄像机,每个像素点的实际光强为原始光强与成像系统PSF的卷积:

I^cn(x,y)=Icn(x,y)*h(x,y),(6)

式中:符号*代表卷积运算;符号  ^表示受卷积影响后的实际值。由于捕获图像的光强是计算相位并进而计算重建三维坐标的主要参数,因此光强的变化必然会对重建产生影响。这里针对各参数分别进行分析。为了简化公式,以下的讨论将坐标(x,y)省去。

根据(1)式和(6)式可知,由于卷积的存在,图像中每个像素的平均光强变为

A^c=1Nn=0N-1Ac+Bccosϕf-2πnN*h=1Nn=0N-1(Ac*h)=Ac*h(7)

由(7)式可以看出, A^c的值与空间频率的变化无关,只取决于PSF的参数h,且当平均光强 A^c在局部区域为常值时,根据卷积函数的性质, A^c所受到的卷积的影响几乎可以忽略。同样根据(4)式和(6)式,光强调制变为

B^c=2Nn=0N-1Icn*hsin2πnN2+n=0N-1Icn*hcos2πnN2=Bcsin(ϕf)*h2+Bccos(ϕf)*h2(8)

由(8)式可以看出, B^c除了与h有关外,还与空间频率有关。这是因为ϕf是包裹相位,空间频率越高,高频下包裹相位的跳变越剧烈,在相同卷积边界内的邻域相位变化越快,相同的PSF参数对其影响越大,因此光强调制 B^c会随着空间频率的增加而减小。同理,相位受卷积的影响可表示为

ϕ^f=arctan[Bcsin(ϕf)]*h[Bccos(ϕf)]*h(9)

为了分析相位误差,首先将包裹相位解开来讨论。由于实际操作中通常只沿垂直或水平方向对目标进行扫描,因此简化到一维上分析。对于受到系统点扩展函数影响的捕获图像上的每个目标像素(x,y),其相位误差可表示为

ϕe=ϕ^-ϕ=arctan[Bcsin(ϕ)]*h[Bccos(ϕ)]*h-arctansin(ϕ)cos(ϕ)=arctan[Bcsin(ϕ)]*hcos(ϕ)-[Bccos(ϕ)]*hsin(ϕ)[Bcsin(ϕ)]*hcos(ϕ)+[Bccos(ϕ)]*hsin(ϕ)=arctank=-MMBc(k)sin[Δϕ(k)]h(k)k=-MMBc(k)cos[Δϕ(k)]h(k),(10)

式中:M为一个卷积窗口参数,规定PSF的窗口边界,通常是一个很小的常数,其值取决于不同的成像设备;Bc(k)和Δϕ(k)分别为在对应的卷积窗口内与目标像素距离为k的像素点的光强调制值和相位差。根据卷积函数的对称性h(k)=h(-k),在卷积窗口内,若光强调制剧烈变化,或是由于扫描物体表面高度突变造成相位的阶跃不连续,就会使得Bc(k)sin[Δϕ(k)]≠-Bc(-k)sin[Δϕ(-k)],这样就会造成相位误差。

3 基于光强调制比的高对比度反射率区域相位校正法

由于卷积窗口较小,因此在平面或局部区域可以忽略高度调制的曲面,相位误差的主要成因是光强调制的变化。当扫描物体的表面存在高对比度区域时,由于光强调制与反射率成正比[17],因此反射率的差异就代表该区域光强调制的变化。光强调制与反射率的关系为

Bc=Cαc,(11)

式中:αc为物体表面的反射率;C为常系数。在卷积窗口内,Bc(k)的差异越大,造成的相位误差也就越大,这便是高对比度反射率区域产生卷积误差的原因。在实际的实验中,若不考虑高度剧烈调制变化引起的相位突变,对于理想平面,相邻相位差Δφ≤2π/L,L为扫描方向上的分辨率,Δφ是一个很小的值,可以进一步把相邻相位差表示为Δϕ(k)=φ,则(10)式可以改写为

ϕe=arctank=-MMBc(k)sin(kΔφ)h(k)k=-MMBc(k)cos(kΔφ)h(k),(12)

因此,获得PSF参数后就可以通过误差公式对高对比度反射率区域产生的卷积误差进行校正。

通过上一节的分析可知,由于卷积效应,光强调制会随着空间频率的提高而不断下降,故而根据(8)式可以推导出基频与其他空间频率下光强调制受PSF卷积影响的比率R(以下简称“光强调制比率”)为

R=B^c1B^cf=kBc1(k)h(k)sin(ϕ1+kΔφ)2+kBc1(k)h(k)cos(ϕ1+kΔφ)2kBcf(k)h(k)sin(ϕf+kfΔφ)2+kBcf(k)h(k)cos(ϕf+kfΔφ)2,(13)

式中:卷积参数k∈[-M,M]; B^1cB^fc分别为受卷积影响的基频和频率f下的光强调制。在反射率变化缓慢的区域,Bc在一个较小卷积边界内可以被当作一个常数,这样(13)式就可以进一步简化为

R=kh(k)sin(kΔφ)2+kh(k)cos(kΔφ)2kh(k)sin(kfΔφ)2+kh(k)cos(kfΔφ)2(14)

根据(14)式,只需选取误差区域附近反射率变化缓慢区域的像素,通过计算基频与其他空间频率之间的光强调制比率R以及扫描方向一致的相邻像素之间的相位差Δφ,就可以估计出点扩展函数h。利用h建立卷积模型,根据误差计算公式即可对相位误差进行校正。综上所述,基于光强调制比率的相位校正方法的具体步骤如下:

1) 选取捕获图像中反射率变化缓慢的像素区域,计算基频与更高空间频率之间的光强调制比率R,得到一条实际曲线;

2) 计算上述区域与扫描方向一致的相邻像素之间的相位差Δφ;

3) 将计算的Δφ代入到(14)式中,通过调整点扩展函数h的标准差σ,拟合出与实际比率R最接近的曲线,进而估计出点扩展函数的参数,建立模型;

4) 根据估计出的点扩展函数h,利用公式ϕ=ϕ^e计算出校正后的相位。

4 实验结果及分析

4.1 仿真分析

首先通过仿真来验证上述推导。生成频率分别为1、4、8、16、24、32、40、50、64、80的10组光栅,每组为16张,模拟扫描一个印有黑色字符“hello world:)”的白色平面。这些黑色字符与白色背景的边缘就是高对比度反射率区域。同时,利用(5)式生成一个标准差σ为2、M=2(即卷积窗口为5 pixel×5 pixel)的高斯函数代替成像系统的点扩展函数。

图1展示了部分频率在卷积效应下平均光强和光强调制的幅值变化。如之前的理论分析所述,Ac在大部分区域与真值相同,只有在局部反射率变化较大的阶跃区域,点扩展函数对其产生了影响,而且这种影响在各个空间频率下都表现一致。而对于Bc,除了与PSF有关,其值会随着空间频率的增加而减小。根据第3节提出的方法,选取扫描目标反射率变化缓慢的区域,计算基频与其他空间频率之间的光强调制比率以及相邻像素之间的相位差,估计点扩展函数的标准差。

图 1. 第320列幅值与频率的关系。(a)平均光强Ac;(b)光强调制Bc

Fig. 1. Relationship between amplitude and frequency at 320th column. (a) Average intensity Ac; (b) intensity modulation Bc

下载图片 查看所有图片

图2展示了光强调制比率R随频率f变化的拟合曲线。可以看出,仅在点扩展函数的影响下,正确估计的点扩展函数标准差拟合出的光强调制比率曲线与实际曲线完全重合,因此可以通过计算光强调制比率来估计成像系统点扩展函数的参数。基于估计参数建立卷积模型,通过(12)式对仿真图像进行相位校正,结果如图3(b)所示,可见:代表相位误差的黑色深度信息在理论上被完全消除,验证了所提方法的有效性。

图 2. 光强调制比率随频率变化的拟合曲线

Fig. 2. Fitting curves of intensity modulation ratioversus frequency

下载图片 查看所有图片

图 3. 不同方法的重建结果。(a)传统PMP方法;(b)所提方法

Fig. 3. Reconstruction results obtained with different methods. (a) Conventional PMP method; (b) proposed method

下载图片 查看所有图片

4.2 实验分析

搭建了一个实际的PMP系统以验证所提方法的可行性。系统由一台分辨率为600 pixel×800 pixel的XJ-M140型LED投影机、一台分辨率为480 pixel×640 pixel的Prosilica GC650C型高速数字摄像机和一台计算机组成。为了尽量减小其他因素(如过高的光栅频率不满足摄像机奈奎斯特采样定理、投影机伽马非线性[18]等)对实验造成的影响,选择投影光栅的空间频率分别为1、16、24、32、40和50,每组为16张。为了定量分析,分别扫描一个作为真值参考的白色平面,以及一个写有黑色字母图案的平面,将参考白色平面与有图案平面上对应每点所计算出的相位之差作为相位误差,结果如图4所示。

图 4. 扫描目标。(a)参考平面;(b)黑色字母平面

Fig. 4. Scanning target. (a) Reference plane; (b) plane with black letters

下载图片 查看所有图片

绘出的实际光强调制比率曲线如图5所示,根据实验经验,设置M=2,卷积窗口为5 pixel×5 pixel。

图 5. 光强调制比率随频率变化的拟合曲线

Fig. 5. Fitting curves of intensity modulation ratio versus frequency

下载图片 查看所有图片

由于实际测量过程中随机环境噪声等未知因素的影响,通过调整标准差σ拟合出的光强调制比率曲线无法与实际曲线完全重合,如图5所示。按照理论分析选取与实际光强调制比率R最接近的带原点的虚线,即σ=1.1建立的卷积模型,利用所提方法对相位进行校正。图6展示了不同方法下只保留深度信息的去纹理重建结果。传统PMP方法的重建结果如图6(a)所示,在黑色字母与白色背景对比度较高的边缘出现了黑色印记,即重建误差。图6(b)~(d)分别展示了采用文献[ 14]、文献[ 15]中的方法以及所提方法对误差相位进行校正后的重建结果,可以看出,所提方法基本消除了深度误差。

截取误差区域第320列、第280~380行的相位误差数据(图7),以更清晰地展示校正效果。

图 6. 不同方法的重建结果。(a)传统PMP方法;(b)文献[ 14]中的方法;(c)文献[ 15]中的方法;(d)所提方法

Fig. 6. Reconstruction results obtained with different methods. (a) Conventional PMP method; (b) method in Ref. [14]; (c) method in Ref. [15]; (d) proposed method

下载图片 查看所有图片

图 7. 第320列相位误差的比较

Fig. 7. Comparison of phase errors at 320th column

下载图片 查看所有图片

表1的结果可以看出,与校正相位前相比,文献[ 14]的方法使用固定点扩展函数参数的卷积模型使相位的均方根误差减小了24.26%,文献[ 15]利用估计清晰边缘图像计算点扩展函数参数的方法则使相位的均方根误差减小了25.23%,而所提方法根据光强调制随频率的变化估计点扩展函数建立卷积模型对相位误差进行补偿,使得相位的均方根误差减小了30.55%。对于三种不同的获取点扩展函数参数的方法,文献[ 14]的方法使用固定的点扩展函数参数,忽略了不同成像系统间的差异,从而降低了准确性。相比之下,文献[ 15]的方法与所提方法更符合实际。但是,文献[ 15]的方法首先依赖于估计清晰的边缘图像来计算点扩展函数参数,算法相对复杂,在扫描目标表面纹理接近或者纹理边缘复杂时,该方法的稳定性相对较差。而所提方法依靠光强调制计算点扩展函数,只与不同空间频率下的参数变化有关,受表面纹理本身性质的影响较小,相比于前两种算法有更强的稳健性。

表 1. 不同方法的相位的均方根误差

Table 1. Root-mean-square error of phase of different methods10-4 rad

PMPmethodMethod inRef. [14]Method inRef. [15]Proposedmethod
6.62355.01644.95254.5999

查看所有表

为了验证所提方法对非平面物体的适用性,对一个表面印有横条纹的枕头进行了三维重建。图8(a)为传统PMP方法的重建结果(正视图及侧视图),条纹对比度反射率的差异导致重建结果出现了相位起伏,在正视图及侧视图中表现为多条突起的深色横线。图8(b)为所提方法的重建结果(正视图及侧视图)。

图 8. 条纹枕头的重建结果。(a)传统PMP方法;(b)所提方法

Fig. 8. Reconstruction results of stripe pillow. (a) Conventional PMP method; (b) proposed method

下载图片 查看所有图片

图8可见,采用所提方法校正后,重建结果更加准确地展示了枕头的实际形貌。图中靠左侧的竖线是枕头上的拉链位置,属于真实的深度信息,未受到所提方法校正的影响。

5 结论

针对点扩展函数在PMP中的卷积效应,从理论、仿真以及实验三个层面得到了如下结果:1)在各空间频率下,平均光强Ac保持不变,且由于Ac通常在局部区域可以被看作是一个常数,因此点扩展函数对Ac的影响可以忽略;2)光强调制Bc随着频率的增加而逐渐下降,对应表现为光栅条纹的对比度逐渐减小,条纹的动态范围受到频率的限制;3)相位误差与物体高度、表面反射率相关。在扫描具有高对比度反射率物体表面时,所提方法能有效减小相位误差,与传统方法相比达到了更好的校正效果,无论是平面还是非平面,所提方法都能有效地对错误相位进行修复,达到了提高三维重建精度的目的。然而本研究也有不足之处,比如,使用高斯函数对成像系统的点扩展函数进行建模,而实际上卷积效应是综合性的因素,后续将针对这一问题进行进一步研究。

本课题组针对PMP各参数受卷积影响的分析,以及据此所提出的根据实际PMP参数变化估计点扩展函数参数的方法,将为成像系统建立一个更加准确的点扩展函数模型,以及解决卷积效应在PMP中产生的各种误差问题提供有价值的参考。

参考文献

[1] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.

    Su X Y, Zhang Q C, Chen W J. Three-dimensional imaging based on structured illumination[J]. Chinese Journal of Lasers, 2014, 41(2): 0209001.

[2] Soltanpour S, Boufama B. Jonathan Wu Q M. A survey of local feature methods for 3D face recognition[J]. Pattern Recognition, 2017, 72: 391-406.

[3] 余祥, 刘凯. 基于相位测量轮廓术的人脸识别[J]. 光电工程, 2016, 43(6): 39-43.

    Yu X, Liu K. Face recognition based on phase measuring profilometry[J]. Opto-Electronic Engineering, 2016, 43(6): 39-43.

[4] 占栋. 线结构光视觉测量关键技术及在轨道交通巡检中应用[D]. 成都: 西南交通大学, 2016.

    ZhanD. Research on key techniques of line-structured light vision measurement and its applications in railway dynamic inspection[D]. Chengdu: Southwest Jiaotong University, 2016.

[5] 解则晓, 陈文柱, 迟书凯, 等. 基于结构光视觉引导的工业机器人定位系统[J]. 光学学报, 2016, 36(10): 1015001.

    Xie Z X, Chen W Z, Chi S K, et al. Industrial robot positioning system based on the guidance of the structured-light vision[J]. Acta Optica Sinica, 2016, 36(10): 1015001.

[6] 肖伟虎. 基于结构光的无标记点手术导航技术研究[D]. 广州: 华南理工大学, 2017.

    Xiao WH. Research on markerless surgical navigation technology based on structured light[D]. Guangzhou: South China University of Technology, 2017.

[7] Yalla VG, Hassebrook LG. Very high resolution 3D surface scanning using multi-frequency phase measuring profilometry[C]. Conference on Spaceborne Sensors II, 2005, 5798: 44- 53.

[8] 刘凯, 龙云飞, 王帅军, 等. 相位测量轮廓术中结合几何标定的非线性校正[J]. 强激光与粒子束, 2015, 27(7): 28-34.

    Liu K, Long Y F, Wang S J, et al. Nonlinearity calibration incorporated with geometrical calibration for phase measuring profilometry[J]. High Power Laser and Particle Beams, 2015, 27(7): 28-34.

[9] 边心田, 程菊, 左芬, 等. 基于光栅预校正的三维面形测量方法[J]. 激光与光电子学进展, 2017, 54(1): 011202.

    Bian X T, Cheng J, Zuo F, et al. A method of 3D shape measurement based on alignment grating projection[J]. Laser & Optoelectronics Progress, 2017, 54(1): 011202.

[10] 陆鹏, 孙长库, 王鹏. 条纹投影相位高度转换映射模型及其标定方法[J]. 光学学报, 2018, 38(2): 0212004.

    Lu P, Sun C K, Wang P. Fringe projection phase-to-height mapping model and its calibration method[J]. Acta Optica Sinica, 2018, 38(2): 0212004.

[11] Zhou X, Su X Y. Effect of the modulation transfer function of a digital image-acquisition device on phase-measuring profilometry[J]. Applied Optics, 1994, 33(35): 8210.

[12] Li Z W, Li Y F. Gamma-distorted fringe image modeling and accurate gamma correction for fast phase measuring profilometry[J]. Optics Letters, 2011, 36(2): 154-156.

[13] Xu B J, Jiang H Z, Zhao H J, et al. Projector-defocusing rectification for Fourier single-pixel imaging[J]. Optics Express, 2018, 26(4): 5005.

[14] 许晓畅, 王永昌, 刘凯. 多路径模型对相位测量轮廓术的影响[J]. 计算机辅助设计与图形学学报, 2014, 26(4): 566-573.

    Xu X C, Wang Y C, Liu K. Effect of multi-path model for phase measuring profilometry[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(4): 566-573.

[15] Rao L, Da F P. Local blur analysis and phase error correction method for fringe projection profilometry systems[J]. Applied Optics, 2018, 57(15): 4267.

[16] Favaro P, Soatto S. A geometric approach to shape from defocus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(3): 406-417.

[17] Bian H D, Liu K. Robustly decoding multiple-line-structured light in temporal Fourier domain for fast and accurate three-dimensional reconstruction[J]. Optical Engineering, 2016, 55(9): 093110.

[18] Liu K, Wang Y C, Lau D L, et al. Gamma model and its analysis for phase measuring profilometry[J]. Journal of the Optical Society of America A, 2010, 27(3): 553.

田懿, 包国琦, 刘凯. 估计系统点扩展函数以降低相位测量轮廓术误差[J]. 中国激光, 2019, 46(5): 0504003. Yi Tian, Guoqi Bao, Kai Liu. Estimation of System Point Spread Function to Reduce Errors in Phase Measuring Profilometry[J]. Chinese Journal of Lasers, 2019, 46(5): 0504003.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!