光学学报, 2019, 39 (2): 0212006, 网络出版: 2019-05-10   

基于数字图像相关的平面物体面形散斑图形偏折术 下载: 1286次

Planar Object Surface Shape Speckle Pattern Deflectometry Based on Digital Image Correlation
作者单位
四川大学电子信息学院, 四川 成都 610065
摘要
提出了一种基于数字图像相关(DIC)的散斑图形偏折术(SPD),将二维DIC用于测量镜面的三维面形。用散斑位移代替条纹形变,使偏折术的测量过程更简单高效,只需拍摄两幅散斑图,面形检测精度可以达到微米量级。介绍了SPD的原理与方法,推导了相关公式,对散斑图进行了设计制作。实验测量了一块有机玻璃板的面形,与相位测量偏折术的结果对比,其测量精度接近1 μm。
Abstract
A speckle pattern defletometry (SPD) based on digital image correlation (DIC) is proposed. The two-dimensional DIC is used to measure the three-dimensional shape of a specular surface. The displacements of speckle patterns instead of the deformations of fringes are used to make the deflectometry measurement process simpler and more efficient. Only two speckle patterns need to be taken and the measurement accuracy of surface can reach micrometer level. The principle and method of SPD are described. The relevant formulas are derived, and the design and production of a speckle pattern are involved. An acrylic plastic plate is measured in the experiment. Compared with the experimental results of the phase measuring deflectometry, the measurement accuracy of nearly 1 μm is achieved.

1 引言

数字图像相关(DIC)是一种基于数字图像的光学测量手段,被广泛应用于实验力学领域。根据原理的不同,DIC可分为二维(2D)DIC[1-2]和三维(3D)DIC[3-4]。2D DIC通常是使用一台相机记录物体表面变形前后的散斑分布,再通过图形匹配算法计算散斑的位移从而得到面内形变,也可用来进一步分析应力。3D DIC则是从不同角度观察被测物体,根据视差重建三维轮廓。DIC已有三十多年的发展历程,在算法优化[5-6]和散斑质量评估等方面[7-9]取得了很多成果,图形亚像素匹配精度已超过0.01 pixel[6]。现已有大量关于DIC的工作发表,然而DIC技术多用于测量漫反射表面,很少被用于镜面的测量中。DIC技术要求被测面上有随机分布的散斑图案,但由于镜面的特殊性,不便在其表面喷涂散斑。在测量镜面时,常使用结构光投影的方式,即利用光的反射定律,再根据反射像的性质获得被测面的形貌,这与测量漫反射物体有很大不同。利用DIC技术在测量镜面时存在一些困难,但也有一定的优势。例如,镜面反射允许在不接触被测面的前提下调整散斑,容易得到高质量的图像;且镜面反射比漫反射具有更高的局域灵敏度,通过跟踪反射光线的方向就可以感知很微弱的表面形变等。

当前,便捷高效高精度的镜面面形检测有很多需求但也存在挑战。干涉仪具有高精度检测的优点,经常被用于镜面面形检测中,但对测量环境有很高的要求。而偏折术作为高精度的镜面检测技术,得到了快速发展。偏折术根据光线的反射情况测量镜面表面各点的斜率从而重建面形,且对环境不敏感。使用比较广泛的是一种以正弦条纹作为结构光的相位测量偏折术(PMD)[10-20],它具有动态范围大和灵敏度高等优点。在E等[12]的工作中,PMD的测量结果已经接近Fizeau干涉仪的测量结果,面形的均方根(RMS)误差仅为15.8 nm。为了提高测量精度,PMD通常会用到多步相移技术,假设使用的是16步相移,则至少需要拍摄32幅条纹图[12]。为了减少条纹图的数量,通常会使用彩色条纹图[16]和正交条纹图[17]等图形,但仍需要多幅条纹图。另一方面,在高精度检测时,需要精密的显示器显示条纹,不规则的像素排列会影响条纹相位,因此PMD的使用依然存在一定的限制,有必要寻找一种方法降低测量对设备的依赖程度。Butel等[21]提出的二进制图形偏折术可以通过不使用条纹投影的方式实现光学元件面形的检测,但是当仅使用二进制图形时,其精度难以达到亚像素水平。

根据DIC与偏折术各自的特点,本文将2D DIC与偏折术结合,提出了一种平面物体面形高精度测量的散斑图形偏折术(SPD)。该SPD弥补了2D DIC的不足,可以测量镜面的三维面形,精度能达到微米量级。2D DIC可使拍摄的散斑图数量减少至两幅(使用参考平面得到的参考图和使用待测曲面得到的形变图),提高了测量效率,随机分布的散斑也降低了对显示器的要求。本文详细介绍了SPD的基本原理,推导了相应的数学公式,实验测量了一块直径为112.7 mm的有机玻璃板,实验结果与PMD测量结果对比表明,RMS测量精度接近1 μm,证明了所提方法的可行性。

2 基本原理

2.1 2D DIC原理简介

2D DIC通过追踪数字图像的灰度分布变化得到像素点的位移,为了避免图片中出现相同的灰度分布,一般以随机分布的散斑作为拍摄对象,使用电荷耦合器件(CCD)相机记录前一状态的参考图及后一状态的形变图。

图1所示为图形变形前后的分布情况,其中Oxy为坐标系。为了计算点P(x0,y0)的位移,如图1(a)所示,在P(x0,y0)点周围一定范围内选取一个圆形或矩形(红色矩形框所示)的参考子集,Q(xi,yj)为参考子集内任意一点,ij分别表示Q点在子集中的列坐标和行坐标。如图1(b)所示,图形变形后,Q(xi,yj)变为Q'(x'i,y'j),以P'(x'0,y'0)点为中心的目标子集可用一阶形状函数[1]描述为

x'i=xi+u+uxΔx+uyΔy,(1)y'j=yj+v+vxΔx+vyΔy,(2)

式中:uv分别为P(x0,y0)在x方向和y方向的位移;uxuyvxvy为位移的一阶微分;Δx和Δy分别为参考子集中任意点Q(xi,yj)与中心点P(x0,y0)的坐标差。对于目标子集中落在亚像素位置的点,会使用特定的插值算法得到其灰度值。使用相关准则[11]评估参考子集与形变子集的相似度,可在形变图中找到与参考子集相似度最高的目标子集,即找到了与P点对应的P'点,从而确定P点的位移uv。目前,2D DIC的亚像素位移计算精度可达到0.01 pixel,本研究使用开源的2D DIC应用程序Ncorr[22]来计算散斑的位移。

图 1. 子集变形前后的示意图。(a)参考图;(b)形变图

Fig. 1. Schematic of subset before and after deformation. (a) Reference image; (b) deformed image

下载图片 查看所有图片

2.2 SPD基本原理

图2所示为偏折术中一束光线在被测面上反射时的情况,其中C为针孔相机位置,坐标表示为(xC,yC,zC);S为液晶显示器位置,被放置在z坐标为0的平面内;M为待测元件位置,与显示器平行摆放。显示器上的某一区域(xS,yS,0)被照亮后,发出的光线在待测元件上的(xM,yM,zM)点发生反射,最终被相机的针孔接收并照亮CCD传感器上的某一个像素。光线的传播满足反射定律,

图 2. 偏折术光路示意图

Fig. 2. Optical path diagram of deflectometry

下载图片 查看所有图片

光线经过的三个点(xC,yC,zC)、(xM,yM,zM)和(xS,yS,0)决定反射点(xM,yM,zM)处的法线方向,一旦得到这三个点的坐标,就可以计算得到反射点处的斜率[12],计算公式为

tanαx(xM,yM)=xS-xMdM2S+xC-xMdM2CzM2SdM2S+zM2CdM2C,(3)tanαy(xM,yM)=yS-yMdM2S+yC-yMdM2CzM2SdM2S+zM2CdM2C,(4)

式中:zM2SzM2C分别为显示器和相机针孔与待测平面的z坐标之差;dM2SdM2C分别为显示器像素点到镜面反射点(镜面像素点)的距离和相机针孔到镜面反射点的距离。(xC,yC,zC)、zM2SzM2C可以用实验装置直接测量得到,镜面像素坐标(xM,yM,zM)可采用张氏标定法[23]得到,dM2SdM2C在系统标定后可根据几何关系计算得到,剩下的问题是如何得到坐标(xS,yS,0)。

将显示器上的随机散斑图案作为结构光,散斑经过被测面反射后被CCD相机接收成像,并记录到计算机。图3所示为SPD的装置示意图,其中LCD screen为液晶显示器。

图 3. SPD实验装置示意图

Fig. 3. Schematic of SPD test setup

下载图片 查看所有图片

散斑经被测面反射后会发生形变,为了便于观察,使用网格代替散斑,如图4所示。原始图像经被测面反射后会发生扭曲,即图像中像素会产生位移,且位移的分布情况反映了被测面的斜率分布,如图4(b)所示。为了得到位移的大小和方向,还需要一幅没有形变的图像作为参考,因此对一个平面度高的参考面拍摄一幅参考图,如图4(a)所示。在图4(c)中,参考图中点A(xA,yA)在形变图中处于A'位置,则向量AA'表示A点的位移。由点A的坐标和向量AA'确定点A'的坐标,点A'的坐标(x'A,y'A)即为计算被测面斜率所需的坐标(xS,yS)。

图 4. 图像形变示意图。(a)图像经参考面反射;(b)图像经被测面反射;(c)考察点位移

Fig. 4. Schematic of image deformation. (a) Image reflected by reference surface; (b) image reflected by surface to be tested; (c) displacement of inspection point

下载图片 查看所有图片

图5所示为使用参考面时图4(c)中A点在x方向上反射的情况,参考面为理想平面。由反射定律可知光线入射角等于反射角,入射角的正切值等于反射角的正切值,有

xA-xMzM2S=xM-xCzM2C,(5)yA-yMzM2S=yM-yCzM2C(6)

图 5. 参考面上光线的反射情况

Fig. 5. Reflection of light on reference surface

下载图片 查看所有图片

由(5)式可得到A点的x轴坐标xA,由(6)式可得到A点的y轴坐标yA

使用2D DIC软件Ncorr计算得到向量AA'(Δpxpy),其中Δpx和Δpy分别为A点在x方向和y方向上移动的像素个数。为了将像素位移转换为显示器平面的实际长度,在显示器上显示一条长度为l(单位:mm)的亮线,经过针孔相机成像后照亮CCD传感器上的N个像素点,则图像上每个像素在显示器上对应的的实际长度为l/N(单位:mm),A'的坐标为

x'A=xA+Δpx(l/N),(7)y'A=yA+Δpy(l/N)(8)

3 实验研究

3.1 实验装置

为了验证SPD的可行性,依据上述原理进行实验。实验中使用一块有机玻璃板作为被测对象,并使用一块高精度平面晶体作为参考面,被测物体与光学平面元件的后表面都使用黑色油漆覆盖,以消除后表面反射的影响。在待测面选取的有效计算区域的直径为112.7 mm。以尺寸为54.102 cm、分辨率为1200 pixel×1600 pixel的液晶显示器作为散斑结构光源,与待测面平行放置。相机分辨率为1296 pixel×966 pixel,镜头焦距为16 mm。相机到待测面的垂直距离 zM2C为1467.4 mm,显示器到待测面的垂直距离zM2S为1512.3 mm。将待测面放置在离相机较远的位置,尽量避免梯形畸变的影响,减少面外位移。

图 6. 实验装置

Fig. 6. Experimental setup

下载图片 查看所有图片

相机固定好后,在待测面的位置放置棋盘格并使用MATLAB软件的标定工具箱得到相机的内部参数与外部参数,计算出每个CCD像素对应的被测面坐标。为了使参考面与标定面重合,用z坐标固定的显微镜观察标定面与参考面,使两个平面都处在显微镜的焦面上。

3.2 散斑与子集

散斑质量会直接影响DIC计算结果的准确性,根据Pan等[8]的研究结果,有必要使用平均强度梯度较高的散斑图。平均强度梯度δf的定义式为

δf=i=1Wj=1Hf(xij)/(W×H),(9)

式中WH分别为图片的宽度和高度;Ñf(xij)的表达式为

f(xij)=fx(xij)2+fy(xij)2,(10)

式中fx(xij)和fy(xij)分别为像素xijxy方向上强度的微分。使用计算机生成散斑可以方便地控制散斑的平均强度梯度。散斑图的生成公式为

I(x,y)=k=1sIk0exp{-[(x-xk)2+(y-yk)2]/R2},(11)

式中:I(x,y)为图片灰度强度;s为散斑的总个数;R为散斑的半径;(xk,yk)为每个散斑的位置; Ik0为散斑中心强度,其数值随机。设置散斑中心最大强度为180(灰度值为0到255),图片尺寸为100 pixel×100 pixel,当散斑半径R分别为1,2,3,4 pixel时,平均强度梯度随散斑数量的变化情况如图7所示。

图 7. 平均强度梯度与散斑数量的关系曲线

Fig. 7. Curves of mean intensity gradient versus number of speckle

下载图片 查看所有图片

散斑的分布具有随机性,故图7中曲线存在轻微的抖动现象,但这并不影响总体的变化趋势。由图7可知,散斑半径越小,越容易得到平均强度梯度高的图像。当半径为1 pixel且100 pixel×100 pixel面积内有5000个斑点时,平均强度梯度可达到60以上;在1200 pixel×1600 pixel的图像中随机生成9.6×105个半径为1 pixel的斑点可以达到同样的效果。实验中使用平面晶体和有机玻璃板获得的散斑图实际的平均强度梯度约为40,如图8(a)和8(b)所示。

图 8. 实验中拍摄的图片(圆内区域用于面形测量)。(a)使用平面晶体时拍摄的散斑;(b)使用有机玻璃板时拍摄的散斑;(c) PMD中拍摄的条纹

Fig. 8. Pictures taken in experiment (inner circle area is used for surface measurement). (a) Captured using planar crystal; (b) speckles captured using acrylic plastic plate; (c) fringe captured in PMD

下载图片 查看所有图片

平均强度梯度高的好处是可以选用较小的子集完成计算,小尺寸的子集可以节约计算时间,同时减少子集内的非线性形变成分,提高子集的匹配精度。Pan等[9]提供了一种选取子集尺寸的依据,即子集强度梯度平方和(SSSIG)。SSSIG可被描述为 (gx)2(gy)2,其中gxgy分别为x方向和y方向的强度梯度。SSSIG越大,DIC的计算结果越稳定,但同时也会增大子集尺寸。使SSSIG不低于1×105,可以在保证计算精度的同时减小子集尺寸。

3.3 实验结果

图8所示,为了方便计算,在拍摄得到的散斑图中选取一个直径为112.7 mm的圆形有效区域,此区域的位移计算结果如图9所示。

图 9. 有效区域内像素点的位移。(a) x方向上的位移;(b) y方向上的位移

Fig. 9. Displacement of pixel points in effective area. (a) Displacement in x direction; (b) displacement in y direction

下载图片 查看所有图片

屏幕上长为162.6 mm的亮线经过参考面反射后在CCD传感器上照亮了232 pixel,可知CCD相机的成像比例为0.70 mm/pixel,将以像素为单位的位移转换为实际长度,结合SPD原理计算出有机玻璃板斜率,结果如图10(a)和10(b)所示。E等[12]的工作证明了PMD具有高精度的优点,平面检测精度可达到亚微米量级,为了验证该结果是否合理,将SPD的实验结果与PMD的实验结果进行比较。在同样环境下,使用16步相移的PMD方法测量有机玻璃板的斜率,共拍摄32幅条纹图,其中一幅如图8(c)所示,得到的斜率结果如图10(c)和10(d)所示。可以看出,两种方法的斜率测量结果的相似度很高。

可使用区域重建法或模式法[18-20]将测量得到的斜率数据转换为面形图,Zernike多项式是一种较为常用的模式法。使用Zernike多项式可以去除系统低阶误差,以便更清楚地观察测量结果。去除Zernike多项式的前4项(常数、水平和竖直方向的倾斜、离焦),SPD面形重建结果如图11(a)所示,相同环境下的PMD面形重建结果如图11(b)所示,两种方法得到的面形差异如图11(c)所示。实验结果表明,有机玻璃板在测量区域的面形起伏约为144 μm,RMS约为23 μm,两种方法面形差值的RMS为1.11 μm。

4 结论

提出了一种基于DIC的SPD,采用此方法测量了有机玻璃板面形。使用平面光学元件获取参考散斑图,根据散斑经过有机玻璃板反射时产生的位移推导其斜率分布,利用Zernike多项式重建面形,将测量结果与PMD的结果进行对比,结果表明SPD可以准确地测量有机玻璃板面形。讨论了高质量散斑图形的生成和位移计算时子集尺寸的选择,为提高测量精度和效率提供了依据。SPD装置结构简单,成本低廉,当系统固定后参考图可以重复使用,更换被测对象后只需要拍摄一幅散斑图就可以得到面形,因此该方法具有高效率批量测量的能力,在光学检测中有较好的应用前景。实验中存在一定的误差,主要是参考面与被测面不重合引入的低阶像差,相机光轴与被测面不垂直也会对位移计算产生影响,降低测量精度,后续工作还需要进一步提高SPD的测量精度。

图 10. 斜率测量结果。(a)(b) SPD测量得到的x方向与y方向斜率;(c)(d) PMD测量得到的x方向与y方向斜率

Fig. 10. Slope measurement results. (a)(b) Slope memeasured by SPD in x and y directions, respectively; (c)(d) slope measured by PMD in x and y directions, respectively

下载图片 查看所有图片

图 11. 面形重建结果。(a) SPD面形重建结果;(b) PMD面形重建结果;(c)两种方法的面形差值

Fig. 11. Surface shape reconstruction results. (a) Result of SPD; (b) result of PMD; (c) surface difference between the two methods

下载图片 查看所有图片

参考文献

[1] Pan B, Qian K M, Xie H M, et al. Two-dimensional digital image correlation for in-plane displacement and strain measurement: A review[J]. Measurement Science and Technology, 2009, 20(6): 062001.

[2] Peters W H, Ranson W F. Digital imaging techniques in experimental stress analysis[J]. Optical Engineering, 1982, 21(3): 213427.

[3] Luo P F, Chao Y J, Sutton M A, et al. Accurate measurement of three-dimensional deformations in deformable and rigid bodies using computer vision[J]. Experimental Mechanics, 1993, 33(2): 123-132.

[4] Xue Y, Cheng T, Xu X H, et al. High-accuracy and real-time 3D positioning, tracking system for medical imaging applications based on 3D digital image correlation[J]. Optics and Lasers in Engineering, 2017, 88: 82-90.

[5] Bruck H A. McNeill S R, Sutton M A, et al. Digital image correlation using Newton-Raphson method of partial differential correction[J]. Experimental Mechanics, 1989, 29(3): 261-267.

[6] Pan B, Wang B. Digital image correlation with enhanced accuracy and efficiency: A comparison of two subpixel registration algorithms[J]. Experimental Mechanics, 2016, 56(8): 1395-1409.

[7] Crammond G, Boyd S W. Dulieu-Barton J M. Speckle pattern quality assessment for digital image correlation[J]. Optics and Lasers in Engineering, 2013, 51(12): 1368-1378.

[8] Pan B, Lu Z X, Xie H M. Mean intensity gradient: An effective global parameter for quality assessment of the speckle patterns used in digital image correlation[J]. Optics and Lasers in Engineering, 2010, 48(4): 469-477.

[9] Pan B, Xie H M, Wang Z Y, et al. Study on subset size selection in digital image correlation for speckle patterns[J]. Optics Express, 2008, 16(10): 7037-7048.

[10] Knauer M C, Kaminski J, Hausler G. Phase measuring deflectometry: A new approach to measure specular free-form surfaces[J]. Proceedings of SPIE, 2004, 5457: 366-377.

[11] Su P, Wang S S, Khreishi M, et al. SCOTS: A reverse Hartmann test with high dynamic range for Giant Magellan Telescope primary mirror segments[J]. Proceedings of SPIE, 2012, 8450: 84500W.

[12] E K W. Li D H, Yang L J, et al. Novel method for high accuracy figure measurement of optical flat[J]. Optics and Lasers in Engineering, 2017, 88: 162-166.

[13] E K W. Li D H, Zhang C, et al. Four-step shear method for the absolute measurement of a flat surface based on phase measuring deflectometry[J]. Applied Optics, 2016, 55(30): 8419-8425.

[14] Faber C, Olesch E, Krobot R, et al. Deflectometry challenges interferometry: The competition gets tougher![J]. Proceedings of SPIE, 2012, 8493: 84930R.

[15] Jüptner W, Bothe T. Sub-nanometer resolution for the inspection of reflective surfaces using white light[J]. Proceedings of SPIE, 2009, 7405: 740502.

[16] Chen XC, LuC, Ma MC, et al. Color-coding and phase-shift method for absolute phase measurement[J]. Optics Communications, 2013, 298/299: 54- 58.

[17] Jin C Y, Li D H. E K W, et al. Phase extraction based on iterative algorithm using five-frame crossed fringes in phase measuring deflectometry[J]. Optics and Lasers in Engineering, 2018, 105: 93-100.

[18] Li M Y, Li D H, Jin C Y, et al. Improved zonal integration method for high accurate surface reconstruction in quantitative deflectometry[J]. Applied Optics, 2017, 56(13): F144-F151.

[19] Li M Y, Li D H, Zhang C, et al. Modal wavefront reconstruction from slope measurements for rectangular apertures[J]. Journal of the Optical Society of America A, 2015, 32(11): 1916-1921.

[20] 李萌阳, 李大海, 赵霁文, 等. 基于方形域内标准正交矢量多项式的波前重建[J]. 光学学报, 2014, 34(7): 0712007.

    Li M Y, Li D H, Zhao J W, et al. Wavefront reconstruction based on standard orthonormal vector polynomials in a square area[J]. Acta Optica Sinica, 2014, 34(7): 0712007.

[21] Butel G P, Smith G A, Burge J H. Binary pattern deflectometry[J]. Applied Optics, 2014, 53(5): 923-930.

[22] Blaber J, Adair B, Antoniou A. Ncorr: Open-source 2D digital image correlation Matlab software[J]. Experimental Mechanics, 2015, 55(6): 1105-1122.

[23] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

汤海潮, 李大海, 李磊, 陈鹏宇, 王瑞阳, 王琼华. 基于数字图像相关的平面物体面形散斑图形偏折术[J]. 光学学报, 2019, 39(2): 0212006. Haichao Tang, Dahai Li, Lei Li, Pengyu Chen, Ruiyang Wang, Qionghua Wang. Planar Object Surface Shape Speckle Pattern Deflectometry Based on Digital Image Correlation[J]. Acta Optica Sinica, 2019, 39(2): 0212006.

本文已被 6 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!