1 引言

非接触三维形貌测量在三维生物识别、在线检测、医学建模,以及逆向工程等领域中应用越来越广泛^[1-2]。在各种非接触三维形貌测量方法中,数字条纹投影技术以其简洁、可靠、柔性等优点获得了人们的青睐^[3]。数字条纹投影技术通常是将一系列的相移正弦条纹图案投射到物体表面,然后通过相机捕捉变形的条纹图案来获得物体的三维形貌信息。传统的数字条纹技术由于采用的是8位的正弦条纹,测量速度往往受限于投影仪的刷新率(≤120 Hz)。同时,商业投影仪的非线性γ效应也会导致产生的正弦条纹不具有良好的正弦性,干扰测量结果^[4-5]。

二值离焦技术利用离焦的二值图案来模拟标准正弦图案,可以克服测量速度瓶颈^[6-7]。根据数字微镜设备(DMD)原理,二值图案的产生可以通过简单地触动来实现,从而可实现更高的帧率^[8]。同时,二值图案只有1位位深,无需进行非线性校正。但是,相对于传统的数字条纹投影技术,二值离焦技术面临测量精度低的挑战^[9]。

为了解决上述问题,国内外学者对二值离焦投影技术进行了更深入的研究。最早被提出的是方波离焦技术(SBM)^[10]。接着,引入正弦脉宽调制技术(SPWM)^[11]、最优脉宽调制技术(OPWM)^[12]和三级最优脉宽调制技术(TOPWM)^[13]来解决高阶谐波误差。这些技术虽然在处理短周期条纹时能够获得不错的测量效果,但却无法有效解决长周期条纹的测量问题。究其原因主要是这些技术均为一维调制技术,不能充分利用图案的二维信息。

抖动技术可以充分利用图案的二维信息,有效提高长周期条纹的质量,但仍受限于短周期条纹的测量^[14]。抖动优化技术可以进一步提高不同周期的条纹的测量精度^[15]。通过最小化二值条纹和理想正弦条纹的灰度值差值,继而获取最优的离焦二值条纹。

综上所述,本文提出了一种基于离散粒子群算法的优化方法,对二值离焦抖动技术进行优化。为了加快优化过程,用二值块的优化来代替整个二值图案的优化,然后再利用正弦条纹图案的周期性和对称性,将二值化拼成一个完整的图案。仿真和实验结果表明:本文所提方法能够显著提高二值条纹质量,并且对不同投影仪离焦量具有稳健性。

2 基本原理

2.1 三步相移法

相移法以其快速、高精度等特点,被广泛应用于光学测量领域^[16]。相移法的基本思想是投影多幅具有一定相位差的光栅条纹来计算相位信息,测量精度一般随着相移步数的增加而增加。其中三步相移法,因其需要最少的相移图案,常常被应用于实时三维测量当中。三步相移法的图案灰度值可以表示为

I1(x,y)=I'(x,y)+I″(x,y)cos[φ(x,y)-2π/3],(1)

I2(x,y)=I'(x,y)+I″(x,y)cos[φ(x,y)],(2)

I3(x,y)=I'(x,y)+I″(x,y)cos[φ(x,y)+2π/3],(3)

式中:(x,y)为图像像素位置;I'(x,y)为在(x,y)处的背景光强;I″(x,y)为在(x,y)处的强度调制;φ(x,y)为在(x,y)处的待求相位值,其求解过程如下:

φ(x,y)=arctan3[I1(x,y)-I3(x,y)]2I2(x,y)-I1(x,y)-I3(x,y)。(4)

(4)式求解的相位不是连续的,含有2π的跳变,范围为[-π,π)。可以通过相位解包裹的方法来获取连续的解包裹相位^[17]。

2.2 误差扩散抖动算法

抖动技术常被应用于计算图形学、图像处理等领域,能够将高位深的图像转换成低位深的图像^[3]。常见的抖动算法包括简单阈值、有序抖动、随机抖动,以及误差扩散抖动等。其中误差扩散抖动算法因其能更好地模拟正弦条纹而被大量应用。误差扩散抖动算法能将当前像素的量化误差按照一定的方式扩散到相邻像素上,该过程可以表示为

f~(i,j)=f(i,j)+∑k,l∈Sh(k,l)×e(i-k,j-l),(5)

式中:f(i,j)为原始图像在(i,j)处的灰度值; f~(i,j)为量化图像在(i,j)处的灰度值;h(k,l)为核函数矩阵h在(k,l)处的元素;S为核函数矩阵区域;e(i-k,j-l)为(i-k,j-l)处的量化误差,通过核函数h扩展到相邻像素。本文选择最常用的Floyd-Steinberg抖动函数作为核函数h,即

h=116-*7351,(6)

式中:“-”为先前已经处理过的像素;“*”为当前正在处理的像素。

2.3 离散粒子群算法

粒子群算法是一种基于群体智能的全局随机优化算法。受到鸟群觅食过程的行为启发,Kennedy等^[18]于1995提出了该算法。算法采用速度-位置搜索模型,粒子利用自身和群体的经验,通过调整自己的位置来获取更优解。粒子群算法是对连续解空间的一种迭代优化算法。为了解决离散解空间的问题,Kennedy等^[19]又于1997年提出了离散粒子群优化算法。

假设粒子群种群数是n,在m维空间搜索最优解,第a个粒子的状态可以表示为

Xa=(xa1,xa2,…,xam)Va=(va1,va2,…,vam)Pa=(pa1,pa2,…,pam),(7)

式中,X_a为粒子的位置,V_a为粒子的速度,P_a为粒子搜索到的当前最优解,其中a∈{1,2,…,n}。离散粒子群算法通过不断迭代更新,v_ab,x_ab和p_ab分别为第a个粒子在m维空间中的第b维度的速度、位置和当前最优解,v_ab和x_ab的更新公式为

vab=ω·vab+c1·r1·(pab-xab)+ c2·r2·(pgb-xab)xab=xab+vab,(8)

式中:ω为惯性权重;c₁和c₂为学习因子;r₁和r₂为0~1的随机数;P_g=(p_g1,p_g2,…,p_gm)为整个粒子群搜索到的最优解,其中p_gb为第b维度的粒子群全局最优解的值。

离散粒子群的每个粒子均为二值编码,粒子速度表示粒子为0或1的概率。一般是利用Sigmoid函数将粒子速度映射到[0,1]区间,即

sigmoid(vij)=11+exp(-vij)。(9)

此时,粒子的位置更新可以表示为

xij=1,r<sigmoid(vij)0,r≥sigmoid(vij),(10)

式中r为0~1的随机数。

3 基于离散粒子群算法的优化方法

3.1 粒子群算法的目标函数

二值离焦技术的关键点是在经过投影仪离焦后,产生能够模拟理想正弦条纹的二值图案。二值条纹的优化过程可以表示为

min‖E(x,y)‖2=min‖I(x,y)-G(x,y)⊗B(x,y)‖2,(11)

式中:‖·‖₂为L2范数;E(x,y)为像素灰度值误差;I(x,y)为理想的正弦图案;G(x,y)为高斯滤波内核函数;B(x,y)为待优化的二值图案;⊗为二维卷积操作。

3.2 粒子群算法的优化框架

为了解决计算耗时的问题,本研究通过优化一个二值块来代替对于整个二值条纹图案的优化,再利用正弦条纹的周期性和对称性,将二值块拼成一个完整的图案。假设理想的条纹图案在水平方向呈正弦变化,待优化的二值条纹不仅在水平方向应该具有周期性和对称性,而且在垂直方向也应该具有周期性。本研究的优化框架流程图如图1所示,其主要步骤如下。

图 1. 所提方法的流程图

Fig. 1. Flowchart of the proposed method

下载图片 查看所有图片

1) 确定种群个体维度。二值块的初始化大小为S_y×S_x,S_y表示二值块在y方向上的大小,S_x表示二值块在x方向上的大小,其中S_y=1,S_x=T/2,T表示条纹周期,确定种群个体维度为S_y×S_x的一维数组。

2) 初始化粒子的位置和速度。本研究设计的种群大小为60。误差扩散抖动算法受起始点影响,不同的起始点可以产生不同的二值图案。首先产生4张Floyd-Steinberg误差扩散抖动图案,算法的起始点分别为左上、右上、左下和右下。从同一个位置提取出4个S_y×S_x的二值块信息作为粒子群中的4个粒子的位置初始值,其他粒子的位置随机初始化。所有粒子的速度随机初始化。

3) 粒子适应度评价。粒子的适应度值通过(11)式来计算,学习因子c₁=2,c₂=2,惯性权重ω=0.6。本研究选择模板大小为5×5,标准差为5/3的高斯滤波函数作为G(x,y)。

4) 更新粒子的最优适应值和种群的最优适应值。

5) 更新粒子速度、位置。更新方式如(8)~(10)式所示。

6) 离散粒子群算法迭代。判断终止条件,如果未满足,跳转到步骤3)。本研究设计的终止条件为最优值的改变不超过10^-6或者迭代次数超过3000次。

7) 二值块维度改变。S_y=S_y+1,S_y≤15,跳转到步骤1)。

8) 最优二值块选择。优化框架一共产生15个二值块,选择使(11)式最小的二值块作为最优二值块。

9) 产生完整的二值条纹图案。利用周期性和对称性,将最优二值块拼成一个完整的二值条纹图案。

4 仿 真

为了验证所提方法的有效性,选择一系列以6为步进的条纹周期,如T=18,…,114,120 pixel,进行仿真,分别用模板大小为5×5、9×9、13×13,标准差为5/3、9/3、13/3的三个高斯滤波函数模拟投影仪轻度离焦、中度离焦和重度离焦的情况。后续如果没有特别说明,采用的高斯滤波标准差均为模板大小的1/3。图像的分辨率为1280 pixel×1024 pixel。

图2所示为条纹图案产生关键步骤的可视化过程,T_x和T_y分别表示二值块在x方向和y方向的大小。实验测试了全图优化方法和二值块优化方法在产生条纹周期为18 pixel的二值图案时的时间,分别为202.3 min和18.6 min。可以看出,二值块优化方法可以大幅提高优化速度。图3所示为Floyd-Steinberg误差扩散抖动方法和所提方法在不同离焦程度下的仿真结果。本研究在应用模板大小为5×5,标准差为5/3的高斯滤波函数的基础上进行优化。图3(a)~(c)分别表示Floyd-Steinberg误差扩散抖动方法和所提方法在不同模板大小的高斯滤波函数下的相位均方根误差。仿真结果表明:随着高斯滤波函数模板大小的增加,两种方法的测量误差都有一定程度的减小。Floyd-Steinberg误差扩散抖动方法随着条纹周期的增加,测量误差快速下降。而本文方法在不同周期的条纹下,都表现出了较为稳定的测量效果。由仿真结果可知,本文方法在不同模板大小的高斯滤波函数下,均能大幅度降低Floyd-Steinberg抖动方法的测量误差,尤其是在条纹周期较短的情况下,表现更优。

图 2. 条纹图案产生的关键过程

Fig. 2. Key process of generating fringe pattern

下载图片 查看所有图片

图 3. 不同高斯滤波函数模板大小下的仿真结果。(a) 5×5;(b) 9×9;(c) 13×13

Fig. 3. Simulation results for different Gaussian filter sizes. (a) 5×5; (b) 9×9; (c) 13×13

下载图片 查看所有图片

图4为条纹周期为18 pixel时,Floyd-Steinberg误差扩散抖动方法和所提方法产生的图案比较。图4(a)、(b)分别表示Floyd-Steinberg误差扩散抖动方法产生的二值条纹图案以及其经过模板大小为5×5的高斯滤波函数滤波后的图案。图4(c)、(d)分别表示所提方法产生的二值条纹图案和其经过模板大小为5×5的高斯滤波函数滤波后的图案。

图 4. 两种方法产生的图案对比。(a) Floyd-Steinberg误差扩散抖动方法产生的二值图案;(b) Floyd-Steinberg误差扩散抖动方法所得图案经过高斯滤波后的图案;(c)所提方法产生的二值图案;(d)所提方法所得图案经高斯滤波后的图案

Fig. 4. Patterns generated by two methods. (a) Binary pattern obtained by Floyd-Steinberg error-diffusion dithering method; (b) binary pattern obtained by Floyd-Steinberg error-diffusion dithering method and Gaussian filter; (c) binary pattern obtained by proposed method; (d) binary pattern obtained by proposed method and Gaussian filter

下载图片 查看所有图片

为了更加清晰地对比两种方法的细节,给出条纹周期为18 pixel时,Floyd-Steinberg误差扩散抖动方法和所提方法在不同离焦程度下的比较,如图5所示。图5(a)~(c)、(d)~(f)和(g)~(i)分别表示经过模板大小为5×5、9×9、13×13的高斯滤波后的两种方法对应的结果。从结果可以看出,相对于Floyd-Steinberg误差扩散抖动方法,所提方法在应用不同大小的高斯滤波函数的情况下,条纹曲线更加贴近于理想的正弦曲线,灰度值误差和相位误差也都得到了显著控制。

图 5. Floyd-Steinberg误差扩散抖动方法和所提方法结果对比比较。(a)(d)(g)理想正弦曲线、误差扩散抖动算法和所提方法分别经过模板大小为5×5、9×9和13×13的高斯滤波函数滤波后的截面图比较;(b)(e)(h)误差扩散抖动算法和所提方法分别经过模板大小为5×5、9×9和13×13的高斯滤波函数滤波后的灰度值误差曲线;(c)(f)(i)误差扩散抖动算法和所提方法分别经过模板大小为5×5、9×9和13×13的高斯滤波函数滤波后的相位误差曲线

Fig. 5. Comparison between Floyd-Steinberg error-diffusion dithering method and proposed method. (a)(d)(g)Cross-sections of ideal sinusoidal pattern and two binary patterns obtained by error-diffusion dithering method and the proposed method after applying Gaussian filter with sizes of 5×5, 9×9, and 13×13,respectively; (b)(e)(h) gray value differences of error-diffusion dithering method and the proposed method after applying Gaussian filter with sizes of 5×5, 9×9, and 13×13, respectively; (c)(f)(i) phas

下载图片 查看所有图片

5 实 验

为了检测所提方法的实际效果,进行了相关实验。三维形貌测量系统包括Esonic公司的硅基液晶(LCoS)投影仪(型号:HD-720P)、大恒公司的CCD相机(型号:MER-130-30UM)和Computar公司的8 mm焦距镜头(型号:M0814-MP2)。投影仪的分辨率为1280 pixel×720 pixel,相机的分辨率为1280 pixel×1024 pixel。三维测量系统如图6所示。

图 6. 三维形貌测量系统

Fig. 6. 3D shape measurement system

下载图片 查看所有图片

首先利用Floyd-Steinberg误差扩散抖动方法和所提方法对标准的白板进行测量。本文将正弦条纹的18步相移法获得的相位值作为测量物体的相位真值。Floyd-Steinberg误差扩散抖动方法和所提方法在轻度、中度和重度离焦程度下的测量结果如图7所示,其中RMS表示方均根。实验结果表明:在不同离焦程度下,所提方法均能取得较好的测量效果,与仿真结果相符。

图 7. 不同离焦程度下的测量结果。(a)轻度离焦;(b)中度离焦;(c)重度离焦

Fig. 7. Measurement results under different defocusing amounts. (a) Mild defocusing; (b) moderate defocusing; (c) severe defocusing

下载图片 查看所有图片

为了获得比较直观的可视化结果,本文测量了一个较为复杂的三维物体。实验中,选择周期为18 pixel的条纹,将正弦条纹的18步相移法的测量结果作为标准值。实验中所用的二值条纹分别由Floyd-Steinberg误差扩散抖动方法和所提方法产生,如图4(a)、(c)所示。图8为相机采集的两种方法产生的条纹图案。图9为两种方法在轻度、中度和重度离焦程度下的三维测量结果。表1为上述两种方法与正弦条纹18步相移法的相位误差。由结果可知,所提方法能够显著改善Floyd-Steinberg误差扩散抖动方法的测量效果。

图 8. 两种方法的离焦图案。(a)误差扩散抖动方法;(b)所提方法

Fig. 8. Defocusing patterns by two methods. (a) Error-diffusion dithering method; (b) proposed method

下载图片 查看所有图片

图 9. 复杂物体的三维测量结果。(a)(c)(e)误差扩散抖动算法经过轻度离焦、中度离焦和重度离焦的结果;(b)(d)(f)所提方法经过轻度离焦、中度离焦和重度离焦的结果

Fig. 9. 3D measurement results of complex object. (a)(c)(e) Results of error-diffusion dithering method using mild defocusing, moderate defocusing, and severe defocusing, respectively; (b)(d)(f) results of proposed method using mild defocusing, moderate defocusing, and severe defocusing, respectively

下载图片 查看所有图片

6 分析与讨论

本研究在特定的高斯滤波函数下,通过最小化二值条纹和理想正弦条纹的灰度值差值,获得了最优的离焦二值条纹。由于投影仪的离焦量是连续的,并且难以确认具体的离焦量,所提方法在特定高斯滤波函数下的结果可能存在不是最优的情况。后续的工作可以针对不同的投影仪离焦量,在不同的高斯滤波函数下进行优化,以减小误差。

7 结论

提出了一种基于离散粒子群的优化框架,为实时三维测量技术提供了高质量的二值条纹产生方法。通过采用二值块优化技术,极大地促进了优化过程。仿真和实验结果表明:所提方法能够显著提高抖动算法的条纹质量,并且对不同的投影仪离焦程度具有稳健性。