基于特征匹配的数字图像相关法在变形测量中的初值估计 下载: 1057次
1 引言
数字图像相关(DIC)法是由日本Yamaguchi等[1-2]提出的一种非接触全场变形测量方法。DIC方法以其光路简单、抗干扰能力强、适合全场测量等特点,广泛应用于实验力学和其他相关应用领域[3-6]。为了在变形图像中测量出参考图像中某一点的位置,通常选择以该点为中心的正方形区域作为参考子区。由于变形后的参考子区形状发生了改变,使用变形函数来估计变形后图像子区的形状和位置。描述变形前后图像子区相似程度的互相关函数为变形参数矢量的非线性方程组,其采用牛顿拉普森(N-R)算法[7]、反向组合高斯牛顿 (IC-GN)算法或其他方法求解[8]。但是目前无论是N-R算法还是IC-GN算法,只有利用较好的初值估计才能使之快速收敛[9-10]。当目标子区的变形相对于参考子区不大时,采用相关的整像素搜索算法得到的位移初值作为N-R算法或IC-GN算法的迭代初值。当被测物体表面存在大的变形时,则容易陷入局部收敛[11]。目前存在的一些初值估计方法[11-13]是基于传统特征提取算法来估算初值,这些传统方法在进行特征点匹配时会存在一定的匹配误差,这些误差会使接下来的优化算法效率降低。另一方面,这些方法在估算初值后使用N-R算法进行优化求解,然而IC-GN算法在收敛时间和计算速度上都优于传统的N-R算法[9],故本文在估算初值后使用IC-GN算法进行优化,可以极大地提高算法的有效性。
计算机视觉中通过特征匹配技术来找到两幅图像之间的对应关系,这使得特征匹配技术可以很好地应用于DIC中[12-13]。目前最常用的几种特征检测算法有传统的SIFT(scale-invariant feature transform)[14]和SURF(speeded up robust feature)[15]算法。这些传统的特征提取算法是基于线性的高斯金字塔多尺度分解,但是高斯分解是以牺牲局部精度为代价,这就容易引起细节丢失、边界模糊等问题。KAZE算法通过非线性尺度分解可以在一定程度上避免这个问题[16]。本文对二维变形后图像的变形初值估计问题进行研究,通过KAZE算法定位图像变形前后的坐标点对,选取3组或以上不共线的特征点,利用仿射变换对其初值进行估计[11],将仿射变换得到的待测数据点的变形初值估计作为 IC-GN 算法的迭代初始值进行迭代。
2 DIC基本原理
DIC方法通过CCD相机采集变形前后的散斑图,测量加载散斑图前后的表面像素点位移变化,并计算物体的位移场与应变场。通常,将采集到的变形前图像称为参考图像,将变形后的图像称为目标图像。如
变形后图像子区不仅相对于参考子区中心点位置发生了改变,其形状也发生了变化,此时可采用一阶形函数来表征参考图像中任一点Q(x,y)与目标图像中点Q'(x',y')的对应关系,(x,y)为参考图像像素点,(x',y')为目标图像像素点,可表示为
式中:u,v分别表示变形前后中心点P在x,y方向的位移分量;Δx,Δy为点Q(x,y)到参考图像子区中心点P(x0,y0)的距离;
根据对相关文献的研究[17-18],考虑到抗干扰性、可操作性、可靠性、计算量小等因素,本文选择抗干扰性更强、单峰性更好的零均值归一化平方和函数(ZNSSD)作为匹配函数,即
式中:i为子区长度;j为子区宽度;f(xi,yj)为参考图像中任一点(xi,yj)的灰度值;g(x'i,y'j)为目标图像中任一点(x'i,y'j)的灰度值; fm和gm分别为参考子区和目标子区的平均灰度值。
3 基于特征匹配的变形初值估计
为解决IC-GN迭代算法受初值影响且容易陷入局部最优的问题[10],本文提出了基于KAZE特征匹配的数字图像相关法。通过特征匹配技术估算出待测数据点的初值,将该初值代入IC-GN算法中进行优化,并计算出准确值。算法流程图如
3.1 KAZE算法
3.1.1 非线性扩散滤波
由于非线性偏微分方程没有解析解,需要通过数值分析的方法进行求解。传统的显示差分格式的求解方法收敛缓慢,计算复杂。KAZE算法中使用加性算子分裂 (AOS)[19]算法求解非线性方程。
非线性扩散滤波是在不同尺度上使用某种形式的流函数的散度表示图像像素亮度的变化:
式中:div(·)为散度算子;Ñ为梯度算子;c(x,y,t)为传导函数;L表示图像亮度;t为尺度参数。设置合适的传导函数c(x,y,t)使得扩散自适应于图像的局部结构。Perona和Malik[20]提出了传导函数扩散方程:
式中:ÑLσ是经高斯平滑后的尺度图像Lσ的梯度,σ为尺度参数;在本文中,为了保留宽度较大的区域,定义扩散系数g为
式中:k为控制扩散尺度级别的对比度因子,其值越大,则保留的边缘信息越少。
3.1.2 非线性尺度空间
在构造KAZE特征的尺度空间时,其尺度空间的尺度级别按对数递增,一共有O组图像,每组有S个子层。KAZE的每一层都采用与原始图像相同的分辨率。以像素为单位的尺度参数σi为
式中:o为分组数;s为分层数;σ0为尺度参数的初始基准值;N为尺度空间包含的图像总数,N=O×S。由于非线性扩散滤波是以时间为单位,所以还需进一步把以像素为单位的尺度参数σi转换成时间单位,其公式为
式中:ti为进化时间。
如
当输入一幅图像时,根据得到的一组进化时间,采用AOS(additive operator splitting)算法可得到非线性尺度空间下的所有图像,计算公式为
式中:I为单位矩阵;m为图像数量;Ai为不同维度下的图像矩阵;Li为输入图像。
3.1.3 特征检测与描述
KAZE特征点检测通过搜寻在不同尺度下归一化后的Hessian矩阵局部极大值点来实现,即
式中:Lxx为图像水平方向的二阶偏导数;Lyy为图像垂直方向的二阶偏导数;Lxy为交叉偏导数。
图 3. 不同进化时间下高斯模糊和非线性模糊的模糊效果。(a) ti=5.12 s;(b) ti=20.48 s;(c) ti=81.92 s;(d) ti=130.04 s;(e) ti=206.42 s
Fig. 3. Blurring effects of Gaussian blurring and nonlinear blurring at different evolutionary times at different evolutionary time. (a) ti=5.12 s; (b) ti=20.48 s; (c) ti=81.92 s; (d) ti=130.04 s; (e) ti=206.42 s
在寻找局部极大值时,先在当前层像素点所在尺度及上下相邻尺度3×3邻域内进行比较判断,若此像素点比其周围8个像素点值都大,则接着采用该像素点与其上一层和下一层图像中对应的3×3图像进行极大值比较,若满足极大值要求,则取该点为关键点。
在找到特征点位置后,需要对子像素进行精确定位,图像亮度的空间尺度函数为
进一步求解特征点的亚像素坐标,计算公式为
在确定特征点的主方向时,为了实现图像旋转不变性,采用与SURF算法类似的方法,在半径为6σi的圆形区域中寻找主导方向,特征点的尺度参数为σi。对搜索圈内所有邻点的一阶微分Lx、Ly进行高斯加权,使越靠近特征点的位置,响应贡献越大。向量空间的点集则为这些微分值,接着在角度为π/3的滑动扇形区域内对点集进行向量叠加,如
对于尺度参数为σi的特征点,在图像上以尺度σi的特征点为中心取大小为24σi×24σi的矩形窗口,接着将该窗口划分为4×4个子区域,每个子区域大小为9σi×9σi,并且,每相邻的两个子区域有宽度为2σi的交叠带,子区域的描述向量用一个高斯核(σ1=2.5σi)加权得到,接着计算长度为4的子区域描述向量,计算公式为
最后通过4×4的高斯窗口对每个子区域向量dv进行加权,经过归一化处理后,得到了64维的描述向量。
3.2 反向组合高斯牛顿法
反向组合高斯牛顿法相对于传统牛顿迭代法,消除了Hessian的反复计算,在不失精度的情况下极大地提高了算法的速度[9-10],这使其被广泛应用于DIC中。
根据(1)式,将(2)式改写为
式中:fm=
式中:ux,uy,vx,vy为子集位移梯度。
增量形函数W(ξ;Δp)的形式为
式中:Δux,Δuy,Δvx,Δvy为位移梯度变量;Δu,Δv为位移变量。
当使用反向组合高斯牛顿法进行迭代优化时,首先在参考图像上施加增量W(ξ;Δp),接着对增量函数求逆W-1(ξ;Δp)并将其施加在目标图像子区上,迭代过程中Hessian矩阵一直保持不变,因此与正向牛顿迭代算法相比,反向算法在不失精度的同时有更快的计算速度,其匹配原理如
3.3 仿射变换估计初值
在参考图像中选取待测数据点t0=
通过(16)式中三对控制点的坐标信息得到放射变换参数a1,a2,a3,a4,a5,a6的仿射变换,通过仿射变换可求得变形后待测数据点精确的位置,即得到变形前待测数据点的变形参数为
将(17)式中u,v,
4 实验
为验证本文所提算法的有效性,使用计算机模拟散斑图以模拟真实的位移值[21],通过采用模拟散斑图可以在一定程度上避免图像采集过程中镜头畸变等因素对结果的影响。生成散斑图的尺寸为256 pixel×256 pixel,散斑大小为4 pixel,散斑数目为1200。在目标图像中选取201 pixel×201 pixel的区域作为感兴趣子区(ROI),选择图像子区大小为51 pixel×51 pixel。由在水平方向的位移u=0.2,0.4,0.6,0.8,1.0,5.0,10.0,15.0 pixel和竖直方向的位移v=2.5 pixel的位移图像构成一系列图像。现选择第一组位移图像(水平位移为0.2 pixel)作为实验对象,如
以5 pixel的间距在
图 6. 模拟散斑图。(a)参考图像及感兴趣子区;(b)目标图像
Fig. 6. Simulated speckle patterns. (a) Reference image and ROI; (b) target image
表 1. 数据点的计算结果
Table 1. Calculation results of data points
|
使用KAZE算法对
表 2. 测量位移和误差结果对比
Table 2. Comparison of measured displacement and error
|
图 7. 实验结果。(a)网格中心采样数据点;(b)参考图像特征点;(c)目标图像特征点
Fig. 7. Experimental results. (a) Sampling data points at grid center; (b) feature points of reference image; (c) feature points of target image
在
由
从
之后对位移量分别为0.4,0.6,0.8,1.0,5.0,10.0,15.0 pixel的一系列图像进行重复实验,以证明该算法的有效性与可行性,计算结果如
图 9. 不同位移下的计算结果。(a)计算时间;(b)位移对比
Fig. 9. Calculation results under different displacements. (a) Computation time; (b) comparison of displacement
由
5 结论
提出了一种基于KAZE特征匹配的数字图像相关算法,将该估计初值作为IC-GN算法的初值,在不失其精度的情况下,可以更加快速地收敛到精确的位移值。最后用模拟散斑图检验了该方法的稳健性与准确性。
[1] Yamaguchi I. A laser-speckle strain gauge[J]. Journal of Physics E: Scientific Instruments, 1981, 14(11): 1270-1273.
[2] Peters W H, Ranson W F. Digital imaging techniques in experimental stress analysis[J]. Optical Engineering, 1982, 21(3): 213427.
[4] 葛朋祥, 叶沛, 李桂华. 基于遗传算法的数字图像相关法在微位移测量中的应用[J]. 光学学报, 2018, 38(6): 0612006.
[5] 陈肖, 陆锦玲, 李鹏程. 生物组织黏弹性激光散斑检测方法研究进展[J]. 中国激光, 2018, 45(2): 0207005.
[6] Dan X Z, Wang Y H, Bao S Y, et al. Measurement and evaluation for head injury of pedestrian impact using high-speed digital image correlation[J]. Optical Engineering, 2018, 57(7): 074102.
[7] Bruck H A. McNeill S R, Sutton M A, et al. Digital image correlation using Newton-Raphson method of partial differential correction[J]. Experimental Mechanics, 1989, 29(3): 261-267.
[11] 潘兵, 谢惠民, 夏勇, 等. 数字图像相关中基于可靠变形初值估计的大变形测量[J]. 光学学报, 2009, 29(2): 400-406.
[13] 张华俊, 李桂华, 刘程, 等. 基于SURF特征匹配的数字图像相关变形初值可靠估计[J]. 光学学报, 2013, 33(11): 1112005.
[15] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.
[16] Alcantarilla PF, BartoliA, Davison AJ. KAZE features[M] ∥Computer Vision-ECCV, New York: Springer, 2012, 7577: 214- 227.
[17] Tong W. An evaluation of digital image correlation criteria for strain mapping applications[J]. Strain, 2005, 41(4): 167-175.
[18] Pan B, Xie H M, Wang Z Y. Equivalence of digital image correlation criteria for pattern matching[J]. Applied Optics, 2010, 49(28): 5501-5509.
[19] Weickert J. Romeny B M T H, Viergever M A. Efficient and reliable schemes for nonlinear diffusion filtering[J]. IEEE Transactions on Image Processing, 1998, 7(3): 398-410.
[20] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.
[21] Peng Z. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J]. Optical Engineering, 2001, 40(8): 1613-1620.
朱天天, 付中男, 张梅, 叶沛, 李桂华. 基于特征匹配的数字图像相关法在变形测量中的初值估计[J]. 激光与光电子学进展, 2020, 57(18): 181012. Tiantian Zhu, Zhongnan Fu, Mei Zhang, Pei Ye, Guihua Li. Initial Value Estimation of Digital Image Correlation Method in Deformation Measurement Based on Feature Matching[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181012.