基于双目视觉与特征匹配跟踪的薄壁件振动测量 下载: 1023次
ing at the requirement of vibration measurement of thin-walled parts, the binocular vision is combined with the matching and tracking of features to realize a more accurate method for measuring the vibration of thin-walled parts. First, the vibration images of thin-walled parts were continuously collected using a binocular camera, and image pre-processing operations, such as filtration and binarization, were performed. Second, the first frame image captured using the left and right cameras was selected, and the feature points on the image were stereo-matched according to the principle of epipolar constraint. Then, the improved optical flow method was used to track the feature points of the first frame image to obtain accurate pixel coordinates of the feature points from the second to the last frame images. Finally, the three-dimensional vibration displacement information of the object was obtained based on the binocular vision measurement principle. Experimental research and analysis show that the proposed method can accurately extract the vibration displacement information of thin-walled parts, thereby providing a new technical reference for further research on vibration characteristic analysis, vibration-damping optimization design, and structural damage identification.
1 引言
薄壁件具有结构紧凑和质量轻等优点,已广泛应用于汽车和航空航天等诸多工程领域[1]。同时,薄壁件还具有刚度低和强度弱等特点,这使得设备在运行过程中极易受外界环境影响而产生振动,长久便会造成薄壁件疲劳损伤甚至发生断裂[2],这将会给设备的安全运行带来极大的安全隐患,因此需对其进行准确振动测量。
目前,常见的接触式振动测量方法一般采用接触式传感器进行测量,如加速度传感器和压电陶瓷传感器等,传感器被粘贴在结构表面,结构产生了附加质量,导致其动态特性发生变化[3]。非接触式测量方法一般采用激光测量和机器视觉测量等,均能有效避免结构产生负载效应,其中激光测量一般测量单个目标点,机器视觉方法能对大范围和多目标点进行同步测量。
近年来,国内外学者对视觉测振方法进行了大量研究。Deng等[4]提出了一种用于轻型结构振动的立体视觉测量方法,悬臂梁实验结果表明,该方法能够准确测得结构的模态参数。Son等[5]提出了一种基于视觉的圆柱结构振动测量方法,并以管道作为实验对象,验证了该方法的有效性。Wu等[6]提出了一种基于视觉的位移测量方法,实现了对安装在振动台上的钢框架的振动测量。Dong等[7]提出了一种基于视觉的结构动态位移多点同步测量方法,基于视觉的系统和加速度计的对比实验结果表明,基于视觉的系统能够测得准确的位移信息。Kuddus等[8]提出了一种基于无目标视觉的振动测量方法,并对该方法进行了一系列实验测试,验证了所提方法的准确性和有效性。单宝华等[9]针对土木工程中的大型结构三维变形的动态响应监测需求,采用双CCD相机跟踪结构上测点的位置获取结构的振动信息,并通过拉索模型自由振动监测实验,验证了该方法的可行性。崔希民等[10]针对传统测量方法用于FAST舱索系统结构振动测量时,存在操作复杂和干扰性大等缺点,研究了基于双目视觉高速动态测频方法,并利用实验室中的缩比模型验证了该方法的准确性。陈忠等[11]提出了一种基于双目立体视觉与数字散斑图像相关的全场振动测量方法,实现了对正弦激励下物体的全场振动测量。邱志成等[12]针对柔性结构的低频振动问题,提出了一种基于双目视觉测量其低频振动和反馈的控制方法。上述研究主要基于双目视觉原理对物体的振动进行测量,尽管计算方法简单,但计算速度极易受图像数据量大小的影响,图像数据量越大,处理时间越长,效率也就越低,这将会给测量的实时性带来一定影响。
因此,本文针对薄壁件振动测量的需求,在总结和归纳当前已有视觉测振方法的基础上,将双目视觉与特征匹配跟踪结合,只进行一次立体匹配,再利用跟踪获得振动信息,从而减少了计算时间,提高了计算效率。在介绍了双目视觉测量原理及特征匹配跟踪方法的基础上,给出了整个振动测量方法的详细步骤,最后对相关的理论方法进行了实验研究和分析。
2 基本原理
2.1 双目视觉测量原理
双目立体测量的实质是利用两个相机同时观察同一点的过程。
双目视觉测量模型中像素坐标与世界坐标转换公式为[13]
式中: Zc1、Zc2分别为点P在左、右相机坐标系中的Z向坐标;M1与M2分别为左右相机的投影矩阵,即相机的内外参数矩阵;(XW,YW,ZW)为空间点P的世界坐标;(u1,v1)为点P在左相机图像中的像素坐标;(u2,v2)为点P在右相机图像中的像素坐标。
消除Zc1和Zc2,(1)式与(2)式可化简为
通过标定获得相机的内外参数后,如果已知同一特征点P在左右图像中的像素坐标,就可利用(3)式和(4)式中的四个方程求解世界坐标(XW,YW,ZW)的唯一解,由于存在噪声的影响,其解一般是通过最小二乘法求得的最优解。
2.2 特征匹配与跟踪
在待测物体表面上粘贴圆形标记点建立醒目特征,测量过程中,最关键的问题是左右图像中同一特征点立体匹配及图像序列中特征点跟踪。
2.2.1 特征点立体匹配
针对左右图像中同一特征点的立体匹配问题,为提高匹配效率,获得精确度较高的匹配点,利用极线约束[14]对左右相机图像上的特征点进行立体匹配。
先在待测物体上粘贴一行圆形标记点,获取图像数据后,选取其感兴趣区域(
2.2.2 特征点跟踪
对左右相机拍摄的第一帧图像上的特征点进行立体匹配后,针对第二帧到最后一帧图像序列中特征点的跟踪问题,如
设t时刻原始图像上存在一特征点X,灰度值可表示为I(X,t),在t+Δt时刻(Δt→0),该特征点运动到新的位置(X+ΔX),灰度值可表示为I(X+ΔX,t+Δt)。根据光流的亮度恒定假设有[15]
实际操作过程中,由于图像存在噪声干扰,(5)式可修正为
式中:N(X)为噪声干扰项。
由于ΔX值远小于X,故可对I(X+ΔX,t+Δt)进行泰勒展开,去掉高阶项,只保留前两项可得
将(7)式代入(6)式中,有
化简可得
在以点X为中心的邻域Ω中,根据光流的运动保持空间一致性假设,其邻域中各点的运动均为ΔX,故(9)式可写为
式中:N(Ω)为邻域Ω中所有点的噪声干扰项的和。
相机帧率一定时,其拍照时间间隔Δt为常数,最小化噪声干扰时,即
已知第一帧图像上特征点位置的前提下,重复以上步骤,可得到第二帧至最后一帧图像序列中特征点的像素坐标。
3 测量方法
将双目视觉与特征匹配跟踪结合,提出了一种基于双目视觉与特征匹配跟踪的薄壁件振动测量方法,具体步骤如下。
Step1: 完成相机标定后,利用双目相机连续采集薄壁件的振动图像,并对其进行滤波和二值化等图像预处理操作。
Step2: 选取左右相机拍摄的第一帧图像,根据极线约束原理对图像上的特征点进行一次立体匹配。
Step3: 分别利用改进后的光流法对左右相机拍摄的第一帧图像上的特征点进行跟踪,从而获得第二帧至最后一帧图像序列上特征点的像素坐标。
Step4: 根据双目视觉测量原理计算得到待测物体的三维振动位移信息。
4 实验及分析
4.1 实验系统
实验系统如
4.2 双目视觉系统标定实验
双目视觉系统标定实验中,采用MATLAB标定工具箱对双目立体视觉系统进行标定。
4.3 薄壁件振动的双目视觉测量实验
完成双目视觉系统标定后,以正弦信号通过功率放大器驱动激振器对悬臂梁进行Y向正弦激励(设置激励频率为4 Hz),并使用两台相机同时采集悬臂梁振动图像。
表 1. 相机标定结果
Table 1. Camera calibration results
|
获取振动图像数据后,先利用标定参数进行畸变矫正;再选取如
以
图 5. 图像预处理。(a)选取感兴趣区域;(b)预处理后图像
Fig. 5. Image preprocessing. (a) Select region of interest; (b) preprocessed image
图 6. 1#特征点在不同方向上的振动位移时程。(a) X轴位移;(b) Y轴位移;(c) Z轴位移
Fig. 6. Vibration displacement time history of 1# feature point in different directions. (a) X-axis displacement; (b) Y-axis displacement; (c) Z-axis displacement
悬臂梁在Y方向上受激振器频率为4 Hz的正弦激励,故对1#特征点的Y轴向振动时程图[
5 测量方法的准确性评价
为了更好地评价基于双目视觉与特征匹配跟踪的振动测量方法的准确性,已知某一特征点的三维振动信息的前提下,利用
Step1: 假设某一特征点在空间的理论振动位置随时间t变化的方程为
Step2: 根据特征点的理论振动位置方程,结合
Step3: 令特征点的像素坐标处灰度值为1(白点),其他灰度值为0(黑点),构建一系列特征点振动的图像序列。
Step4: 利用所提方法对图像数据进行处理,计算特征点的三维坐标。
Step5: 比较计算三维位置与理论振动位置的差异,获得误差大小。
通过以上步骤,可获得
图 8. 所提方法计算位移与理论振动位移对比。(a) X轴位移;(b) Y轴位移;(c) Z轴位移
Fig. 8. Comparison of calculated displacement and theoretical vibration displacement of the proposed method. (a) X-axis displacement; (b) Y-axis displacement; (c) Z-axis displacement
为了更清晰地看出各方向误差大小,定义理论位移与所提方法计算位移的各轴向误差大小分别为
式中:(X,Y,Z)为特征点的理论位置;(X',Y',Z')为所提方法计算的特征点位置;EX、EY和EZ分别为X、Y和Z轴方向的误差。
根据(12)~(14)式计算可得到
从
6 结论
针对薄壁件振动测量的需求,提出了一种基于双目视觉与特征匹配跟踪的薄壁件振动测量方法。该方法主要是将双目视觉与特征匹配跟踪结合,根据极线约束原理对左右相机拍摄的第一帧图像上的特征点进行立体匹配,利用改进后的光流法对第一帧图像上的特征点进行跟踪,从而获得第二帧到最后一帧图像上特征点准确的像素坐标,最后根据双目视觉测量原理计算获得物体的三维振动位移信息。搭建了双目视觉测量系统,并通过相关实验研究和分析验证了该方法的有效性和准确性,可为薄壁件的振动测量提供一种新的振动测量方法。
[1] 解则晓, 王晓东, 宫韩磊. 基于双目视觉的薄壁零件圆孔轮廓的测量[J]. 中国激光, 2019, 46(12): 1204004.
[2] 伍济钢, 张双健, 蒋勉, 等. 基于曲率尺度空间角点检测与匹配的薄壁件振动模态测试方法[J]. 激光与光电子学进展, 2017, 54(8): 081001.
[3] Diamond D H, Heyns P S, Oberholster A J. Accuracy evaluation of sub-pixel structural vibration measurements through optical flow analysis of a video sequence[J]. Measurement, 2017, 95: 166-172.
[4] Deng H X, Wang J, Zhang J, et al. A stereovision measurement for large deformation of light structures[J]. Measurement, 2019, 136: 387-394.
[5] Son K S, Jeon H S, Park J H, et al. Vibration displacement measurement technology for cylindrical structures using camera images[J]. Nuclear Engineering and Technology, 2015, 47(4): 488-499.
[6] Wu L J, Casciati F, Casciati S. Dynamic testing of a laboratory model via vision-based sensing[J]. Engineering Structures, 2014, 60: 113-125.
[7] Dong C Z, Ye X W, Jin T. Identification of structural dynamic characteristics based on machine vision technology[J]. Measurement, 2018, 126: 405-416.
[8] Kuddus M A, Li J, Hao H, et al. Target-free vision-based technique for vibration measurements of structures subjected to out-of-plane movements[J]. Engineering Structures, 2019, 190: 210-222.
[9] 单宝华, 申宇. 基于双目视觉的拉索模型自由振动监测试验[J]. 土木工程学报, 2012, 45(11): 105-111.
Shan B H, Shen Y. Free vibration monitoring testing of a stayed-cable model based on binocular vision[J]. China Civil Engineering Journal, 2012, 45(11): 105-111.
[10] 崔希民, 王强, 李辉, 等. 基于双目视觉技术的FAST舱索系统模型振动测量方法[J]. 科技导报, 2016, 34(18): 270-274.
Cui X M, Wang Q, Li H, et al. Measuring FAST cabin-cable system model's vibrations using binocular camera's technology[J]. Science & Technology Review, 2016, 34(18): 270-274.
[11] 陈忠, 陈教豆. 基于双目立体视觉与数字散斑图像相关的全场振动测量[J]. 振动与冲击, 2015, 34(13): 121-126.
Chen Z, Chen J D. Full-field vibration measurement based on binocular stereo vision and digital speckle image correlation[J]. Journal of Vibration and Shock, 2015, 34(13): 121-126.
[12] 邱志成, 汪先锋. 基于双目视觉的振动测量及控制[J]. 振动、测试与诊断, 2018, 38(1): 51-58.
Qiu Z C, Wang X F. Vibration measurement and control based on binocular vision[J]. Journal of Vibration,Measurement & Diagnosis, 2018, 38(1): 51-58.
[13] Li J. Relative pose measurement of moving rigid bodies based on binocular vision[J]. Optik, 2019, 180: 159-165.
[14] 单宝华, 霍晓洋, 刘洋. 一种极线约束修正数字图像相关匹配的立体视觉测量方法[J]. 中国激光, 2017, 44(8): 0804003.
[15] Patel D, Upadhyay S. Optical flow measurement using lucas kanade method[J]. International Journal of Computer Applications, 2013, 61(10): 6-10.
Article Outline
伍济钢, 邵俊, 周根, 阳德强, 成远. 基于双目视觉与特征匹配跟踪的薄壁件振动测量[J]. 激光与光电子学进展, 2020, 57(10): 101103. Jigang Wu, Jun Shao, Gen Zhou, Deqiang Yang, Yuan Cheng. Vibration Measurement of Thin-walled Parts Based on Binocular Vision and Matching and Tracking of Features[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101103.