激光与光电子学进展, 2020, 57 (10): 101103, 网络出版: 2020-05-08   

基于双目视觉与特征匹配跟踪的薄壁件振动测量 下载: 1023次

Vibration Measurement of Thin-walled Parts Based on Binocular Vision and Matching and Tracking of Features
作者单位
湖南科技大学机械设备健康维护湖南省重点实验室, 湖南 湘潭 411201
摘要
针对薄壁件振动测量的需求,将双目视觉与特征匹配跟踪结合,提出了一种较为准确的薄壁件振动测量方法。先利用双目相机连续采集薄壁件的振动图像,并进行滤波和二值化等图像预处理操作;再选取左右相机拍摄的第一帧图像,根据极线约束原理对图像上的特征点进行立体匹配;利用改进后的光流法对第一帧图像上的特征点进行跟踪,从而获得第二帧到最后一帧图像上特征点准确的像素坐标;最后根据双目视觉测量原理获得物体的三维振动位移信息。实验研究和分析结果表明,该方法能够准确测量薄壁件的振动位移信息,为进一步开展振动特性分析、减振优化设计和结构损伤识别等研究提供一种新的技术参考。
Abstract
Aim

ing at the requirement of vibration measurement of thin-walled parts, the binocular vision is combined with the matching and tracking of features to realize a more accurate method for measuring the vibration of thin-walled parts. First, the vibration images of thin-walled parts were continuously collected using a binocular camera, and image pre-processing operations, such as filtration and binarization, were performed. Second, the first frame image captured using the left and right cameras was selected, and the feature points on the image were stereo-matched according to the principle of epipolar constraint. Then, the improved optical flow method was used to track the feature points of the first frame image to obtain accurate pixel coordinates of the feature points from the second to the last frame images. Finally, the three-dimensional vibration displacement information of the object was obtained based on the binocular vision measurement principle. Experimental research and analysis show that the proposed method can accurately extract the vibration displacement information of thin-walled parts, thereby providing a new technical reference for further research on vibration characteristic analysis, vibration-damping optimization design, and structural damage identification.

1 引言

薄壁件具有结构紧凑和质量轻等优点,已广泛应用于汽车和航空航天等诸多工程领域[1]。同时,薄壁件还具有刚度低和强度弱等特点,这使得设备在运行过程中极易受外界环境影响而产生振动,长久便会造成薄壁件疲劳损伤甚至发生断裂[2],这将会给设备的安全运行带来极大的安全隐患,因此需对其进行准确振动测量。

目前,常见的接触式振动测量方法一般采用接触式传感器进行测量,如加速度传感器和压电陶瓷传感器等,传感器被粘贴在结构表面,结构产生了附加质量,导致其动态特性发生变化[3]。非接触式测量方法一般采用激光测量和机器视觉测量等,均能有效避免结构产生负载效应,其中激光测量一般测量单个目标点,机器视觉方法能对大范围和多目标点进行同步测量。

近年来,国内外学者对视觉测振方法进行了大量研究。Deng等[4]提出了一种用于轻型结构振动的立体视觉测量方法,悬臂梁实验结果表明,该方法能够准确测得结构的模态参数。Son等[5]提出了一种基于视觉的圆柱结构振动测量方法,并以管道作为实验对象,验证了该方法的有效性。Wu等[6]提出了一种基于视觉的位移测量方法,实现了对安装在振动台上的钢框架的振动测量。Dong等[7]提出了一种基于视觉的结构动态位移多点同步测量方法,基于视觉的系统和加速度计的对比实验结果表明,基于视觉的系统能够测得准确的位移信息。Kuddus等[8]提出了一种基于无目标视觉的振动测量方法,并对该方法进行了一系列实验测试,验证了所提方法的准确性和有效性。单宝华等[9]针对土木工程中的大型结构三维变形的动态响应监测需求,采用双CCD相机跟踪结构上测点的位置获取结构的振动信息,并通过拉索模型自由振动监测实验,验证了该方法的可行性。崔希民等[10]针对传统测量方法用于FAST舱索系统结构振动测量时,存在操作复杂和干扰性大等缺点,研究了基于双目视觉高速动态测频方法,并利用实验室中的缩比模型验证了该方法的准确性。陈忠等[11]提出了一种基于双目立体视觉与数字散斑图像相关的全场振动测量方法,实现了对正弦激励下物体的全场振动测量。邱志成等[12]针对柔性结构的低频振动问题,提出了一种基于双目视觉测量其低频振动和反馈的控制方法。上述研究主要基于双目视觉原理对物体的振动进行测量,尽管计算方法简单,但计算速度极易受图像数据量大小的影响,图像数据量越大,处理时间越长,效率也就越低,这将会给测量的实时性带来一定影响。

因此,本文针对薄壁件振动测量的需求,在总结和归纳当前已有视觉测振方法的基础上,将双目视觉与特征匹配跟踪结合,只进行一次立体匹配,再利用跟踪获得振动信息,从而减少了计算时间,提高了计算效率。在介绍了双目视觉测量原理及特征匹配跟踪方法的基础上,给出了整个振动测量方法的详细步骤,最后对相关的理论方法进行了实验研究和分析。

2 基本原理

2.1 双目视觉测量原理

双目立体测量的实质是利用两个相机同时观察同一点的过程。图1为双目视觉测量模型。空间中某一点P在左右相机图像中的像素点位置分别为P1P2

图 1. 双目视觉测量模型

Fig. 1. Binocular vision measurement model

下载图片 查看所有图片

双目视觉测量模型中像素坐标与世界坐标转换公式为[13]

Zc1u1v11=M1XWYWZW1=m111m121m131m141m211m221m231m241m311m321m331m341XWYWZW1,(1)Zc2u2v21=M2XWYWZW1=m112m122m132m142m212m222m232m242m312m322m332m234XWYWZW1,(2)

式中: Zc1Zc2分别为点P在左、右相机坐标系中的Z向坐标;M1M2分别为左右相机的投影矩阵,即相机的内外参数矩阵;(XW,YW,ZW)为空间点P的世界坐标;(u1,v1)为点P在左相机图像中的像素坐标;(u2,v2)为点P在右相机图像中的像素坐标。

消除Zc1Zc2,(1)式与(2)式可化简为

(m111-u1m311)XW+(m121-u1m321)YW+(m131-u1m331)ZW=u1m341-m141(m211-v1m311)XW+(m221-v1m321)YW+(m231-v1m331)ZW=v1m341-m241,(3)(m112-u2m312)XW+(m122-u2m322)YW+(m132-u2m332)ZW=u2m342-m142(m212-v2m312)XW+(m222-v2m322)YW+(m232-v2m332)ZW=v2m342-m242(4)

通过标定获得相机的内外参数后,如果已知同一特征点P在左右图像中的像素坐标,就可利用(3)式和(4)式中的四个方程求解世界坐标(XW,YW,ZW)的唯一解,由于存在噪声的影响,其解一般是通过最小二乘法求得的最优解。

2.2 特征匹配与跟踪

在待测物体表面上粘贴圆形标记点建立醒目特征,测量过程中,最关键的问题是左右图像中同一特征点立体匹配及图像序列中特征点跟踪。图2为提出的特征点匹配与跟踪方法。

图 2. 特征点匹配与跟踪示意图

Fig. 2. Schematic of feature point matching and tracking

下载图片 查看所有图片

2.2.1 特征点立体匹配

针对左右图像中同一特征点的立体匹配问题,为提高匹配效率,获得精确度较高的匹配点,利用极线约束[14]对左右相机图像上的特征点进行立体匹配。

先在待测物体上粘贴一行圆形标记点,获取图像数据后,选取其感兴趣区域(图2中虚线框部分),并对其进行滤波和二值化等图像预处理操作;再取出左相机拍摄的第一帧图像,通过角点检测算法获取粘贴标记点的像素坐标,并根据极线约束原理对右相机拍摄的第一帧图像上的特征点进行对应匹配,从而得到右相机拍摄图像上对应于左相机拍摄图像上同一标记点的位置。

2.2.2 特征点跟踪

对左右相机拍摄的第一帧图像上的特征点进行立体匹配后,针对第二帧到最后一帧图像序列中特征点的跟踪问题,如图2所示,在考虑图像存在噪声干扰因素的条件下,对光流法进行改进,并利用改进后的光流法对图像序列中的特征点进行跟踪,其具体原理如下。

t时刻原始图像上存在一特征点X,灰度值可表示为I(X,t),在tt时刻(Δt→0),该特征点运动到新的位置(XX),灰度值可表示为I(XX,tt)。根据光流的亮度恒定假设有[15]

I(X,t)=I(X+ΔX,t+Δt)(5)

实际操作过程中,由于图像存在噪声干扰,(5)式可修正为

I(X,t)+N(X)=I(X+ΔX,t+Δt),(6)

式中:N(X)为噪声干扰项。

由于ΔX值远小于X,故可对I(XX,tt)进行泰勒展开,去掉高阶项,只保留前两项可得

I(X+ΔX,t+Δt)=I(X,t)+IXΔX+ItΔt(7)

将(7)式代入(6)式中,有

I(X,t)+N(X)=I(X,t)+IXΔX+ItΔt,(8)

化简可得

N(X)=IXΔX+ItΔt(9)

在以点X为中心的邻域Ω中,根据光流的运动保持空间一致性假设,其邻域中各点的运动均为ΔX,故(9)式可写为

NΩ2=ΩIXΔX+ItΔt2,(10)

式中:N(Ω)为邻域Ω中所有点的噪声干扰项的和。

相机帧率一定时,其拍照时间间隔Δt为常数,最小化噪声干扰时,即 minNΩ2,可获得运动位移ΔX的最优解,此时可知当前帧图像上特征点的位置为(XX)。

已知第一帧图像上特征点位置的前提下,重复以上步骤,可得到第二帧至最后一帧图像序列中特征点的像素坐标。

3 测量方法

将双目视觉与特征匹配跟踪结合,提出了一种基于双目视觉与特征匹配跟踪的薄壁件振动测量方法,具体步骤如下。

Step1: 完成相机标定后,利用双目相机连续采集薄壁件的振动图像,并对其进行滤波和二值化等图像预处理操作。

Step2: 选取左右相机拍摄的第一帧图像,根据极线约束原理对图像上的特征点进行一次立体匹配。

Step3: 分别利用改进后的光流法对左右相机拍摄的第一帧图像上的特征点进行跟踪,从而获得第二帧至最后一帧图像序列上特征点的像素坐标。

Step4: 根据双目视觉测量原理计算得到待测物体的三维振动位移信息。

图3为双目视觉振动测量流程。

图 3. 双目视觉振动测量流程

Fig. 3. Flow chart of binocular vision vibration measurement

下载图片 查看所有图片

4 实验及分析

4.1 实验系统

实验系统如图4所示,一块尺寸为777 mm×50 mm×2 mm的铝制悬臂梁,一端被约束,其侧边粘贴一行圆形标记点,悬臂梁上方连接一台激振器,在激振器对悬臂梁进行激励的同时,通过型号为MS4231V1的双目相机进行连续图像采集,获取悬臂梁振动图像序列。

图 4. 实验系统

Fig. 4. Experiment system

下载图片 查看所有图片

4.2 双目视觉系统标定实验

双目视觉系统标定实验中,采用MATLAB标定工具箱对双目立体视觉系统进行标定。表1为标定后获得的相机内外参数。

4.3 薄壁件振动的双目视觉测量实验

完成双目视觉系统标定后,以正弦信号通过功率放大器驱动激振器对悬臂梁进行Y向正弦激励(设置激励频率为4 Hz),并使用两台相机同时采集悬臂梁振动图像。

表 1. 相机标定结果

Table 1. Camera calibration results

Calibration parameterValue
Left camera intrinsic matrix M11035.07901004.06101036.046560.578001
Right camera intrinsic matrix M21028.8100995.88301029.363568.632001
Left camera distortion matrix D1[-0.02679 0.06339 0.00112 0.00075 0]
Right camera distortion matrix D2[-0.00092 0.02020 0.00207 -0.00089 0]
Rotation structure matrix R1-0.00010.00120.00011-0.0042-0.00120.00421
Translation structure matrix T[-17.7684 -0.3513 0.3255]T

查看所有表

获取振动图像数据后,先利用标定参数进行畸变矫正;再选取如图5(a)中方框区域,即感兴趣区域,对其进行图像滤波和二值化等预处理操作,可获得图5(b)所示预处理后图像。

图5(b)中1#特征点为例,在进行特征点的匹配与跟踪后可获得特征点的像素坐标,根据双目视觉测量原理可得到图6所示1#特征点的振动位移时程。

图 5. 图像预处理。(a)选取感兴趣区域;(b)预处理后图像

Fig. 5. Image preprocessing. (a) Select region of interest; (b) preprocessed image

下载图片 查看所有图片

图 6. 1#特征点在不同方向上的振动位移时程。(a) X轴位移;(b) Y轴位移;(c) Z轴位移

Fig. 6. Vibration displacement time history of 1# feature point in different directions. (a) X-axis displacement; (b) Y-axis displacement; (c) Z-axis displacement

下载图片 查看所有图片

悬臂梁在Y方向上受激振器频率为4 Hz的正弦激励,故对1#特征点的Y轴向振动时程图[图6(b)]进行傅里叶变换,可得到图7所示1#特征点Y轴向位移频谱。由图7可以看到,实验测得Y轴向振动频率为3.933 Hz,与激振频率之间的相对误差为1.7%,频率相对误差较小,从而验证了所提测量方法的有效性。

图 7. 1#特征点的Y轴位移频谱图

Fig. 7. Y-axis displacement spectrum of 1# feature point

下载图片 查看所有图片

5 测量方法的准确性评价

为了更好地评价基于双目视觉与特征匹配跟踪的振动测量方法的准确性,已知某一特征点的三维振动信息的前提下,利用图3所示双目视觉振动测量流程进行逆向分析,具体分析步骤如下。

Step1: 假设某一特征点在空间的理论振动位置随时间t变化的方程为

x=2cos(10πt+π/3)y=2cos(10πt+π/4)z=15cos(10πt+π/8)+300(11)

Step2: 根据特征点的理论振动位置方程,结合表1中标定获得的双目相机内外参数,通过逆向运算获得该特征点在左右图像中的像素坐标。

Step3: 令特征点的像素坐标处灰度值为1(白点),其他灰度值为0(黑点),构建一系列特征点振动的图像序列。

Step4: 利用所提方法对图像数据进行处理,计算特征点的三维坐标。

Step5: 比较计算三维位置与理论振动位置的差异,获得误差大小。

通过以上步骤,可获得图8所示所提方法计算位移与理论振动位移对比。

图 8. 所提方法计算位移与理论振动位移对比。(a) X轴位移;(b) Y轴位移;(c) Z轴位移

Fig. 8. Comparison of calculated displacement and theoretical vibration displacement of the proposed method. (a) X-axis displacement; (b) Y-axis displacement; (c) Z-axis displacement

下载图片 查看所有图片

为了更清晰地看出各方向误差大小,定义理论位移与所提方法计算位移的各轴向误差大小分别为

EX=X'-X,(12)EY=Y'-Y,(13)EZ=Z'-Z,(14)

式中:(X,Y,Z)为特征点的理论位置;(X',Y',Z')为所提方法计算的特征点位置;EXEYEZ分别为XYZ轴方向的误差。

根据(12)~(14)式计算可得到图9所示1#特征点的各轴向位移误差。

图 9. 1#特征点的各轴向位移误差

Fig. 9. Each axial displacement error of 1# feature point

下载图片 查看所有图片

图8可以看到,所提方法计算位移曲线与理论位移曲线能够较好地重合,结合图9可知,XYZ轴向误差均在一定范围内波动,是一种系统误差,原因在于计算过程中对其亚像素值进行了整数化处理,导致其计算结果与理论值存在一定系统误差,误差值在可接受范围内,从而验证了所提振动测量方法的准确性。

6 结论

针对薄壁件振动测量的需求,提出了一种基于双目视觉与特征匹配跟踪的薄壁件振动测量方法。该方法主要是将双目视觉与特征匹配跟踪结合,根据极线约束原理对左右相机拍摄的第一帧图像上的特征点进行立体匹配,利用改进后的光流法对第一帧图像上的特征点进行跟踪,从而获得第二帧到最后一帧图像上特征点准确的像素坐标,最后根据双目视觉测量原理计算获得物体的三维振动位移信息。搭建了双目视觉测量系统,并通过相关实验研究和分析验证了该方法的有效性和准确性,可为薄壁件的振动测量提供一种新的振动测量方法。

参考文献

[1] 解则晓, 王晓东, 宫韩磊. 基于双目视觉的薄壁零件圆孔轮廓的测量[J]. 中国激光, 2019, 46(12): 1204004.

    Xie Z X, Wang X D, Gong H L. Research on round hole profile measurement technology of thin-walled parts based on binocular vision[J]. Chinese Journal of Lasers, 2019, 46(12): 1204004.

[2] 伍济钢, 张双健, 蒋勉, 等. 基于曲率尺度空间角点检测与匹配的薄壁件振动模态测试方法[J]. 激光与光电子学进展, 2017, 54(8): 081001.

    Wu J G, Zhang S J, Jiang M, et al. Vibration modal testing method of thin-walled components based on curvature scale space corner detecting and matching[J]. Laser & Optoelectronics Progress, 2017, 54(8): 081001.

[3] Diamond D H, Heyns P S, Oberholster A J. Accuracy evaluation of sub-pixel structural vibration measurements through optical flow analysis of a video sequence[J]. Measurement, 2017, 95: 166-172.

[4] Deng H X, Wang J, Zhang J, et al. A stereovision measurement for large deformation of light structures[J]. Measurement, 2019, 136: 387-394.

[5] Son K S, Jeon H S, Park J H, et al. Vibration displacement measurement technology for cylindrical structures using camera images[J]. Nuclear Engineering and Technology, 2015, 47(4): 488-499.

[6] Wu L J, Casciati F, Casciati S. Dynamic testing of a laboratory model via vision-based sensing[J]. Engineering Structures, 2014, 60: 113-125.

[7] Dong C Z, Ye X W, Jin T. Identification of structural dynamic characteristics based on machine vision technology[J]. Measurement, 2018, 126: 405-416.

[8] Kuddus M A, Li J, Hao H, et al. Target-free vision-based technique for vibration measurements of structures subjected to out-of-plane movements[J]. Engineering Structures, 2019, 190: 210-222.

[9] 单宝华, 申宇. 基于双目视觉的拉索模型自由振动监测试验[J]. 土木工程学报, 2012, 45(11): 105-111.

    Shan B H, Shen Y. Free vibration monitoring testing of a stayed-cable model based on binocular vision[J]. China Civil Engineering Journal, 2012, 45(11): 105-111.

[10] 崔希民, 王强, 李辉, 等. 基于双目视觉技术的FAST舱索系统模型振动测量方法[J]. 科技导报, 2016, 34(18): 270-274.

    Cui X M, Wang Q, Li H, et al. Measuring FAST cabin-cable system model's vibrations using binocular camera's technology[J]. Science & Technology Review, 2016, 34(18): 270-274.

[11] 陈忠, 陈教豆. 基于双目立体视觉与数字散斑图像相关的全场振动测量[J]. 振动与冲击, 2015, 34(13): 121-126.

    Chen Z, Chen J D. Full-field vibration measurement based on binocular stereo vision and digital speckle image correlation[J]. Journal of Vibration and Shock, 2015, 34(13): 121-126.

[12] 邱志成, 汪先锋. 基于双目视觉的振动测量及控制[J]. 振动、测试与诊断, 2018, 38(1): 51-58.

    Qiu Z C, Wang X F. Vibration measurement and control based on binocular vision[J]. Journal of Vibration,Measurement & Diagnosis, 2018, 38(1): 51-58.

[13] Li J. Relative pose measurement of moving rigid bodies based on binocular vision[J]. Optik, 2019, 180: 159-165.

[14] 单宝华, 霍晓洋, 刘洋. 一种极线约束修正数字图像相关匹配的立体视觉测量方法[J]. 中国激光, 2017, 44(8): 0804003.

    Shan B H, Huo X Y, Liu Y. A stereovision measurement method using epipolar constraint to correct digital image correlation matching[J]. Chinese Journal of Lasers, 2017, 44(8): 0804003.

[15] Patel D, Upadhyay S. Optical flow measurement using lucas kanade method[J]. International Journal of Computer Applications, 2013, 61(10): 6-10.

伍济钢, 邵俊, 周根, 阳德强, 成远. 基于双目视觉与特征匹配跟踪的薄壁件振动测量[J]. 激光与光电子学进展, 2020, 57(10): 101103. Jigang Wu, Jun Shao, Gen Zhou, Deqiang Yang, Yuan Cheng. Vibration Measurement of Thin-walled Parts Based on Binocular Vision and Matching and Tracking of Features[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101103.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!