激光与光电子学进展, 2020, 57 (18): 181012, 网络出版: 2020-09-02   

基于特征匹配的数字图像相关法在变形测量中的初值估计 下载: 1057次

Initial Value Estimation of Digital Image Correlation Method in Deformation Measurement Based on Feature Matching
作者单位
安徽大学电气工程与自动化学院, 安徽 合肥 230601
摘要
数字图像相关(DIC)法中初值选取的好坏对图像亚像素位移的搜索效率、算法的收敛速度有着很大的影响。提出了一种基于KAZE特征匹配的数字图像相关法,即KAZE算法。KAZE算法与传统的特征检测算法的区别在于其是通过建立非线性尺度空间来消除噪声与提取特征点,可以有效地避免边界模糊和细节丢失。通过KAZE算法匹配出图像变形前后特征点对坐标,使用仿射变换估计初始变形参数;使用反向组合高斯牛顿法对估计初值进行迭代优化。结果表明,在不损失精度的情况下,该方法相对于传统方法具有更高的搜索效率。
Abstract
The selection of initial values in digital image correlation (DIC) method has a great influence on the search efficiency of image subpixel displacement and the algorithmic convergence speed. A new digital image correlation method based on KAZE feature matching, namely KAZE algorithm, is proposed in this paper. Compared with the traditional feature detection algorithm, the KAZE algorithm can eliminate noise and extract feature points by establishing nonlinear scale space, which can effectively avoid boundary blurring and detail loss. The coordinates of feature points before and after image deformation are matched by the KAZE algorithm, and the initial deformation parameters are estimated by affine transformation; the inverse combined Gaussian Newton method is used to iteratively optimize the estimated initial values. The results show that this method has higher search efficiency than traditional methods without precision loss.

1 引言

数字图像相关(DIC)法是由日本Yamaguchi等[1-2]提出的一种非接触全场变形测量方法。DIC方法以其光路简单、抗干扰能力强、适合全场测量等特点,广泛应用于实验力学和其他相关应用领域[3-6]。为了在变形图像中测量出参考图像中某一点的位置,通常选择以该点为中心的正方形区域作为参考子区。由于变形后的参考子区形状发生了改变,使用变形函数来估计变形后图像子区的形状和位置。描述变形前后图像子区相似程度的互相关函数为变形参数矢量的非线性方程组,其采用牛顿拉普森(N-R)算法[7]、反向组合高斯牛顿 (IC-GN)算法或其他方法求解[8]。但是目前无论是N-R算法还是IC-GN算法,只有利用较好的初值估计才能使之快速收敛[9-10]。当目标子区的变形相对于参考子区不大时,采用相关的整像素搜索算法得到的位移初值作为N-R算法或IC-GN算法的迭代初值。当被测物体表面存在大的变形时,则容易陷入局部收敛[11]。目前存在的一些初值估计方法[11-13]是基于传统特征提取算法来估算初值,这些传统方法在进行特征点匹配时会存在一定的匹配误差,这些误差会使接下来的优化算法效率降低。另一方面,这些方法在估算初值后使用N-R算法进行优化求解,然而IC-GN算法在收敛时间和计算速度上都优于传统的N-R算法[9],故本文在估算初值后使用IC-GN算法进行优化,可以极大地提高算法的有效性。

计算机视觉中通过特征匹配技术来找到两幅图像之间的对应关系,这使得特征匹配技术可以很好地应用于DIC中[12-13]。目前最常用的几种特征检测算法有传统的SIFT(scale-invariant feature transform)[14]和SURF(speeded up robust feature)[15]算法。这些传统的特征提取算法是基于线性的高斯金字塔多尺度分解,但是高斯分解是以牺牲局部精度为代价,这就容易引起细节丢失、边界模糊等问题。KAZE算法通过非线性尺度分解可以在一定程度上避免这个问题[16]。本文对二维变形后图像的变形初值估计问题进行研究,通过KAZE算法定位图像变形前后的坐标点对,选取3组或以上不共线的特征点,利用仿射变换对其初值进行估计[11],将仿射变换得到的待测数据点的变形初值估计作为 IC-GN 算法的迭代初始值进行迭代。

2 DIC基本原理

图 1. 变形前后图像子区示意图

Fig. 1. Schematic diagram of subsets before and after deformation

下载图片 查看所有图片

DIC方法通过CCD相机采集变形前后的散斑图,测量加载散斑图前后的表面像素点位移变化,并计算物体的位移场与应变场。通常,将采集到的变形前图像称为参考图像,将变形后的图像称为目标图像。如图1所示,在参考图像中以待测点P(x0,y0)为中心,(x0,y0)为参考图像像素点,选取一个(2M+1)×(2M+1)大小的参考子区,M为以像素点为单位的子区尺寸,f(x0,y0)为该点灰度值,通过相关搜索在目标图像中匹配出与参考子区相关性最好的目标子区,该目标子区是以P'(x'0,y'0)为中心,(x'0,y'0)为目标图像像素点,目标子区大小为(2M+1)×(2M+1)。重复上述过程即可计算出图像的全场位移。

变形后图像子区不仅相对于参考子区中心点位置发生了改变,其形状也发生了变化,此时可采用一阶形函数来表征参考图像中任一点Q(x,y)与目标图像中点Q'(x',y')的对应关系,(x,y)为参考图像像素点,(x',y')为目标图像像素点,可表示为

x'=x0+u+Δx+uxΔx+uyΔyy'=y0+v+Δy+vxΔx+vyΔy,(1)

式中:u,v分别表示变形前后中心点Px,y方向的位移分量;Δxy为点Q(x,y)到参考图像子区中心点P(x0,y0)的距离; ux, uy, vx, vy表示变形后图像子区的位移梯度。目标则是计算变形矢量p= u,v,ux,uy,vx,vy

根据对相关文献的研究[17-18],考虑到抗干扰性、可操作性、可靠性、计算量小等因素,本文选择抗干扰性更强、单峰性更好的零均值归一化平方和函数(ZNSSD)作为匹配函数,即

CZNSSD(P)=i=-MM j=-MMf(xi,yj)-fmi=-MMj=-MM[f(xi,yj)-fm]2-g(x'i,y'j)-gmi=-MMj=-MM[g(x'i,y'j)-gm]2,(2)

式中:i为子区长度;j为子区宽度;f(xi,yj)为参考图像中任一点(xi,yj)的灰度值;g(x'i,y'j)为目标图像中任一点(x'i,y'j)的灰度值; fmgm分别为参考子区和目标子区的平均灰度值。

3 基于特征匹配的变形初值估计

为解决IC-GN迭代算法受初值影响且容易陷入局部最优的问题[10],本文提出了基于KAZE特征匹配的数字图像相关法。通过特征匹配技术估算出待测数据点的初值,将该初值代入IC-GN算法中进行优化,并计算出准确值。算法流程图如图2所示。

图 2. 基于特征匹配的DIC流程图

Fig. 2. Flow chart of DIC based on feature matching

下载图片 查看所有图片

3.1 KAZE算法

3.1.1 非线性扩散滤波

由于非线性偏微分方程没有解析解,需要通过数值分析的方法进行求解。传统的显示差分格式的求解方法收敛缓慢,计算复杂。KAZE算法中使用加性算子分裂 (AOS)[19]算法求解非线性方程。

非线性扩散滤波是在不同尺度上使用某种形式的流函数的散度表示图像像素亮度的变化:

Lt=div[c(x,y,t)·L],(3)

式中:div(·)为散度算子;Ñ为梯度算子;c(x,y,t)为传导函数;L表示图像亮度;t为尺度参数。设置合适的传导函数c(x,y,t)使得扩散自适应于图像的局部结构。Perona和Malik[20]提出了传导函数扩散方程:

c(x,y,t)=gLσ(x,y,t),(4)

式中:ÑLσ是经高斯平滑后的尺度图像Lσ的梯度,σ为尺度参数;在本文中,为了保留宽度较大的区域,定义扩散系数g

gLσ=11+Lσ2k2,(5)

式中:k为控制扩散尺度级别的对比度因子,其值越大,则保留的边缘信息越少。

3.1.2 非线性尺度空间

在构造KAZE特征的尺度空间时,其尺度空间的尺度级别按对数递增,一共有O组图像,每组有S个子层。KAZE的每一层都采用与原始图像相同的分辨率。以像素为单位的尺度参数σi

σi(o,s)=σ02o+sS,ο[0,,O-1],s[0,,S-1],i[0,,N],(6)

式中:o为分组数;s为分层数;σ0为尺度参数的初始基准值;N为尺度空间包含的图像总数,N=O×S。由于非线性扩散滤波是以时间为单位,所以还需进一步把以像素为单位的尺度参数σi转换成时间单位,其公式为

ti=12σi2,i=0,,N,(7)

式中:ti为进化时间。

图3所示,通过Alcantarilla等[16]对不同进化时间下高斯模糊和非线性模糊的模糊效果进行了对比,图中第一行图像是经过高斯滤波后的模糊效果,第二行图像是经过非线性扩散滤波后的模糊效果,由此可见非线性扩散滤波相比于传统的高斯滤波保留了更多的图像细节和边缘信息。

当输入一幅图像时,根据得到的一组进化时间,采用AOS(additive operator splitting)算法可得到非线性尺度空间下的所有图像,计算公式为

Li+1=I-(ti+1-ti)i=1mAi(Li)-1Li,(8)

式中:I为单位矩阵;m为图像数量;Ai为不同维度下的图像矩阵;Li为输入图像。

3.1.3 特征检测与描述

KAZE特征点检测通过搜寻在不同尺度下归一化后的Hessian矩阵局部极大值点来实现,即

LHessian=σ2(LxxLyy-Lxy2),(9)

式中:Lxx为图像水平方向的二阶偏导数;Lyy为图像垂直方向的二阶偏导数;Lxy为交叉偏导数。

图 3. 不同进化时间下高斯模糊和非线性模糊的模糊效果。(a) ti=5.12 s;(b) ti=20.48 s;(c) ti=81.92 s;(d) ti=130.04 s;(e) ti=206.42 s

Fig. 3. Blurring effects of Gaussian blurring and nonlinear blurring at different evolutionary times at different evolutionary time. (a) ti=5.12 s; (b) ti=20.48 s; (c) ti=81.92 s; (d) ti=130.04 s; (e) ti=206.42 s

下载图片 查看所有图片

在寻找局部极大值时,先在当前层像素点所在尺度及上下相邻尺度3×3邻域内进行比较判断,若此像素点比其周围8个像素点值都大,则接着采用该像素点与其上一层和下一层图像中对应的3×3图像进行极大值比较,若满足极大值要求,则取该点为关键点。

在找到特征点位置后,需要对子像素进行精确定位,图像亮度的空间尺度函数为

L(x)=L+LxTx+12xT2Lx2x(10)

进一步求解特征点的亚像素坐标,计算公式为

x^=-2Lx2-1Lx(11)

在确定特征点的主方向时,为了实现图像旋转不变性,采用与SURF算法类似的方法,在半径为6σi的圆形区域中寻找主导方向,特征点的尺度参数为σi。对搜索圈内所有邻点的一阶微分LxLy进行高斯加权,使越靠近特征点的位置,响应贡献越大。向量空间的点集则为这些微分值,接着在角度为π/3的滑动扇形区域内对点集进行向量叠加,如图4中阴影部分所示,再遍历圆形区域,得到的最长向量角度即为特征点主方向[14-15],如图4中较大的箭头所示。

图 4. 特征点主方向

Fig. 4. Main directions of feature points

下载图片 查看所有图片

对于尺度参数为σi的特征点,在图像上以尺度σi的特征点为中心取大小为24σi×24σi的矩形窗口,接着将该窗口划分为4×4个子区域,每个子区域大小为9σi×9σi,并且,每相邻的两个子区域有宽度为2σi的交叠带,子区域的描述向量用一个高斯核(σ1=2.5σi)加权得到,接着计算长度为4的子区域描述向量,计算公式为

dv=Lx,Ly,Lx,Ly(12)

最后通过4×4的高斯窗口对每个子区域向量dv进行加权,经过归一化处理后,得到了64维的描述向量。

3.2 反向组合高斯牛顿法

反向组合高斯牛顿法相对于传统牛顿迭代法,消除了Hessian的反复计算,在不失精度的情况下极大地提高了算法的速度[9-10],这使其被广泛应用于DIC中。

根据(1)式,将(2)式改写为

CZNSSD(Δp)=ξ[f[x+W(ξ;Δp)]-fmΔf-g[x+W(ξ;p)]-gmΔg],(13)

式中:fm= 1Nξf[x+W(ξp)],gm= 1Nξg[x+W(ξ;p)],其中,Δp为迭代增量,p为迭代结果;Δf、Δg分别为参考子区和目标子区的灰度变化,Δf= ξ{f[x+W(ξ;Δp)]}2-fmg= ξ{g[x+W(ξ;p)]}2-gm;x为子区内随机测试的整像素坐标值,x=[x,y,1]T;ξ为每个子区内像素的局部坐标,ξ=[Δxy,1]T;W(ξ;p)表示参考子区与目标子区的形函数,其一阶形式为

W(ξ;p)=1+uxuyuvx1+vyv001·ΔxΔy1,(14)

式中:ux,uy,vx,vy为子集位移梯度。

增量形函数W(ξp)的形式为

W(ξ;Δp)=1+ΔuxΔuyΔuΔvx1+ΔvyΔv001·ΔxΔy1,(15)

式中:Δuxuyvxvy为位移梯度变量;Δuv为位移变量。

当使用反向组合高斯牛顿法进行迭代优化时,首先在参考图像上施加增量W(ξp),接着对增量函数求逆W-1(ξp)并将其施加在目标图像子区上,迭代过程中Hessian矩阵一直保持不变,因此与正向牛顿迭代算法相比,反向算法在不失精度的同时有更快的计算速度,其匹配原理如图5所示。

图 5. 反向组合高斯牛顿算法匹配原理

Fig. 5. Matching principle of IC-GN algorithm

下载图片 查看所有图片

3.3 仿射变换估计初值

在参考图像中选取待测数据点t0= (x0,y0)T,将利用KAZE特征匹配得到的匹配点对作为控制点,则第i个控制点在参考图像和目标图像中的匹配位置矢量分别为di= (xi,yi)Tbi= (x'i,y'i)T,然后随机选取不共线的三对控制点代入仿射变换:

a11+a2a3a4a51+a6111x1x2x3y1y2y3=x'1x'2x'3y'1y'2y'3(16)

通过(16)式中三对控制点的坐标信息得到放射变换参数a1,a2,a3,a4,a5,a6的仿射变换,通过仿射变换可求得变形后待测数据点精确的位置,即得到变形前待测数据点的变形参数为

uuxuyvvxvy=a1+a2x0+a3y0a2a3a4+a5x0+a6y0a5a6(17)

将(17)式中u,v, ux, uy, vx, vy作为IC-GN算法的迭代初值,相对于传统方法,该方法有效地降低了迭代次数并且缩短了算法的收敛时间。

4 实验

为验证本文所提算法的有效性,使用计算机模拟散斑图以模拟真实的位移值[21],通过采用模拟散斑图可以在一定程度上避免图像采集过程中镜头畸变等因素对结果的影响。生成散斑图的尺寸为256 pixel×256 pixel,散斑大小为4 pixel,散斑数目为1200。在目标图像中选取201 pixel×201 pixel的区域作为感兴趣子区(ROI),选择图像子区大小为51 pixel×51 pixel。由在水平方向的位移u=0.2,0.4,0.6,0.8,1.0,5.0,10.0,15.0 pixel和竖直方向的位移v=2.5 pixel的位移图像构成一系列图像。现选择第一组位移图像(水平位移为0.2 pixel)作为实验对象,如图6所示。

以5 pixel的间距在图6(a)中参考图像感兴趣子区内进行网格化,每一个网格中心为一个数据点,共有41×41=1681个数据点,如图7(a)所示。将图7(b)、(c)提取到的特征点进行特征匹配,共得到751对较为稳健的特征点对,如图8所示。

图 6. 模拟散斑图。(a)参考图像及感兴趣子区;(b)目标图像

Fig. 6. Simulated speckle patterns. (a) Reference image and ROI; (b) target image

下载图片 查看所有图片

表 1. 数据点的计算结果

Table 1. Calculation results of data points

Data pointTraditional IC-GN algorithmProposed algorithm
Number ofiterationsMatchingtime /sCZNSSDNumber ofiterationsMatchingtime /sCZNSSD
(103,128)76.0820.002721.7820.0025
(183,203)87.1700.004521.7530.0026
(148,143)76.0970.003021.7460.0030
(203,208)86.6840.002621.6340.0026
(73,208)65.2090.002111.0110.0021

查看所有表

使用KAZE算法对图6中参考图像感兴趣子区和目标图像分别进行特征检测与提取,共获得了984和1540个鲁棒性较好的特征点,如图7(b)、(c)所示。

表 2. 测量位移和误差结果对比

Table 2. Comparison of measured displacement and error

AlgorithmTraditional IC-GN algorithmProposed algorithm
Theoretical displacement /pixel0.20.2
Measured displacement /pixel0.19980.2001
Absolute error /pixel-0.00020.0001
Relative error /%1.00.5

查看所有表

图 7. 实验结果。(a)网格中心采样数据点;(b)参考图像特征点;(c)目标图像特征点

Fig. 7. Experimental results. (a) Sampling data points at grid center; (b) feature points of reference image; (c) feature points of target image

下载图片 查看所有图片

图 8. 特征匹配点

Fig. 8. Feature matching points

下载图片 查看所有图片

图7(a)中选取采样得到的数据点t0= (x0,y0)T,然后在特征匹配结果点对中分别随机选取相邻不共线的3对匹配点作为参考图像控制点的位置矢量di= (xi,yi)T和目标图像控制点的位置矢量bi= (x'i,y'i)T。使用仿射变换对数据点t0= (x0,y0)T进行变形初值估计,之后将估计得到的估计初值作为IC-GN的迭代初值,计算结果如表1所示,位移测量结果及误差如表2所示。本文所提算法采用的运行软件为MATLAB 2018a,电脑配置为Intel(R) Core(TM) i5-4210M,8 G。

表1可知,本文所提出的基于KAZE特征匹配的算法使用IC-GN迭代优化得到估计初值,其和传统反向组合高斯牛顿法相比,在CZNSSD几乎一致的情况下,运算时间缩短,并且基于KAZE特征匹配的算法使得后续IC-GN算法的迭代次数大幅降低。

表2中可以看出,本文算法与传统IC-GN算法相比,测量误差几乎一致,在测量精度上都表现出了优异的性能。

之后对位移量分别为0.4,0.6,0.8,1.0,5.0,10.0,15.0 pixel的一系列图像进行重复实验,以证明该算法的有效性与可行性,计算结果如图9(a)、(b)所示。

图 9. 不同位移下的计算结果。(a)计算时间;(b)位移对比

Fig. 9. Calculation results under different displacements. (a) Computation time; (b) comparison of displacement

下载图片 查看所有图片

图9计算结果可知,本文所提出的算法和传统IC-GN迭代算法的理论位移值几乎一致,表明本文所提出的算法与传统IC-GN迭代算法在测量精度方面的准确性。但是由图9(a)可知,本文基于KAZE特征匹配的算法相比于传统算法在搜索时间上更加稳定且收敛速度得到了很大程度的提升。

5 结论

提出了一种基于KAZE特征匹配的数字图像相关算法,将该估计初值作为IC-GN算法的初值,在不失其精度的情况下,可以更加快速地收敛到精确的位移值。最后用模拟散斑图检验了该方法的稳健性与准确性。

参考文献

[1] Yamaguchi I. A laser-speckle strain gauge[J]. Journal of Physics E: Scientific Instruments, 1981, 14(11): 1270-1273.

[2] Peters W H, Ranson W F. Digital imaging techniques in experimental stress analysis[J]. Optical Engineering, 1982, 21(3): 213427.

[3] Pan B, Li K. A fast digital image correlation method for deformation measurement[J]. Optics and Lasers in Engineering, 2011, 49(7): 841-847.

[4] 葛朋祥, 叶沛, 李桂华. 基于遗传算法的数字图像相关法在微位移测量中的应用[J]. 光学学报, 2018, 38(6): 0612006.

    Ge P X, Ye P, Li G H. Application of digital image correlation method based on genetic algorithm in micro-displacement measurement[J]. Acta Optica Sinica, 2018, 38(6): 0612006.

[5] 陈肖, 陆锦玲, 李鹏程. 生物组织黏弹性激光散斑检测方法研究进展[J]. 中国激光, 2018, 45(2): 0207005.

    Chen X, Lu J L, Li P C. Viscoelasticity measurement of biological tissues using laser speckle techniques: a review[J]. Chinese Journal of Lasers, 2018, 45(2): 0207005.

[6] Dan X Z, Wang Y H, Bao S Y, et al. Measurement and evaluation for head injury of pedestrian impact using high-speed digital image correlation[J]. Optical Engineering, 2018, 57(7): 074102.

[7] Bruck H A. McNeill S R, Sutton M A, et al. Digital image correlation using Newton-Raphson method of partial differential correction[J]. Experimental Mechanics, 1989, 29(3): 261-267.

[8] Baker S, Matthews I. Lucas-kanade 20 years on: a unifying framework[J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

[9] Pan B, Li K, Tong W. Fast, robust and accurate digital image correlation calculation without redundant computations[J]. Experimental Mechanics, 2013, 53(7): 1277-1289.

[10] Pan B. An evaluation of convergence criteria for digital image correlation using inverse compositional Gauss-Newton algorithm[J]. Strain, 2014, 50(1): 48-56.

[11] 潘兵, 谢惠民, 夏勇, 等. 数字图像相关中基于可靠变形初值估计的大变形测量[J]. 光学学报, 2009, 29(2): 400-406.

    Pan B, Xie H M, Xia Y, et al. Large-deformation measurement based on reliable initial guess in digital image correlation method[J]. Acta Optica Sinica, 2009, 29(2): 400-406.

[12] Zhou Y H, Chen Y Q. Feature matching for automated and reliable initialization in three-dimensional digital image correlation[J]. Optics and Lasers in Engineering, 2013, 51(3): 213-223.

[13] 张华俊, 李桂华, 刘程, 等. 基于SURF特征匹配的数字图像相关变形初值可靠估计[J]. 光学学报, 2013, 33(11): 1112005.

    Zhang H J, Li G H, Liu C, et al. Reliable initial guess based on SURF feature matching in digital image correlation[J]. Acta Optica Sinica, 2013, 33(11): 1112005.

[14] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[15] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[16] Alcantarilla PF, BartoliA, Davison AJ. KAZE features[M] ∥Computer Vision-ECCV, New York: Springer, 2012, 7577: 214- 227.

[17] Tong W. An evaluation of digital image correlation criteria for strain mapping applications[J]. Strain, 2005, 41(4): 167-175.

[18] Pan B, Xie H M, Wang Z Y. Equivalence of digital image correlation criteria for pattern matching[J]. Applied Optics, 2010, 49(28): 5501-5509.

[19] Weickert J. Romeny B M T H, Viergever M A. Efficient and reliable schemes for nonlinear diffusion filtering[J]. IEEE Transactions on Image Processing, 1998, 7(3): 398-410.

[20] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

[21] Peng Z. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J]. Optical Engineering, 2001, 40(8): 1613-1620.

朱天天, 付中男, 张梅, 叶沛, 李桂华. 基于特征匹配的数字图像相关法在变形测量中的初值估计[J]. 激光与光电子学进展, 2020, 57(18): 181012. Tiantian Zhu, Zhongnan Fu, Mei Zhang, Pei Ye, Guihua Li. Initial Value Estimation of Digital Image Correlation Method in Deformation Measurement Based on Feature Matching[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181012.

本文已被 7 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!