基于双目视觉的弱纹理液压元件尺寸测量 下载: 992次
1 引言
随着《中国制造2025》强国战略的提出,核心基础零部件精密测量的紧迫性更加突出。在塑料机械、工程机械、农业机械、冶金矿山机械等各类主机产品和技术装备中,液压系统应用十分广泛。液压元件是液压系统的重要组成部分,其几何形状与尺寸决定了它的工作性能,因此构件表面的机械加工处理对其表面轮廓精度要求较高。
目前针对零部件的测量大多采用三坐标测量机的检测方法,何雪明等[1]将三坐标测量机的测量点拓扑生成扫描线,该方法是通过将扫描线不断拟合为样条曲线来自适应预测下一个测量点,并用以指导自动测量。刘书桂等[2]使用REVO五轴扫描测头(Renishaw公司生产的动态测头)解决了在非正交悬臂式整体叶盘原位测量机下探测姿态不正确的问题。传统的接触式检测虽然精度较高,但操作流程复杂,自动化水平及检测效率低;同时,接触式测量对于工件表面可能会产生划伤,影响液压元件的使用寿命:因此传统的接触式测量只能用于元件抽检,不适于批量的在线检测。近年来,随着生产线自动化水平日益提高,对高端液压元件三维轮廓的高精度非接触式检测的需求日益增多。解则晓等[3]通过圆孔轮廓识别和外极线约束,得到圆孔的孔径。但该方法只针对圆孔孔径,不适用于需同时测量多个参数的零部件。
针对液压元件因加工方法与材料特性等原因导致元件表面出现弱纹理或无纹理的问题:郑淼等[4]利用光场子孔径图像匹配估计无纹理区域的视差,并采用量化后光场子孔径图像之间的几何关系来代替像素值进行立体匹配;杜英魁等[5]设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计;乔玉晶等[6]也提出了光照补偿结合深度图像的重建方法,结合光照方向和光照强度的参数估计,确定高光区域并对光照作匀化处理,最后根据激光点的变化轨迹修正均值漂移算法的漂移区域。以上研究均是通过改进算法提高弱纹理或无纹理情形下的检测精度,但改进后的算法较为复杂,测量时间较长,不能满足流水线生产过程中实时检测的需求。
基于上述弱纹理零部件检测过程中存在的问题,本文提出了双目视觉的检测方法,通过设置红外双目成像和彩色图像成像的三目同步方式,针对弱纹理的液压元件开展了非接触式的测量研究,并在成像之前,采用随机斑点法[7]向目标场景照射处于红外波段的纹理图案,以增强液压元件的纹理。测量过程中首先对得到的红外图像和彩色图像进行校正,并对校正后的红外图像进行立体匹配,生成视差图;其次对视差图与校正后的彩色图像进行配准以确定每个彩色像素点的深度值;最后利用GetPcd函数得出液压元件在相机坐标系下的三维坐标,进而同时得到弱纹理液压元件的多个测量尺寸。
2 双目立体视觉测量系统
2.1 测量系统的构成
本双目立体视觉测量系统,可以用于弱纹理液压元件的测量,其主要由双目相机、三坐标工作台、工控机等组成。为了排除外界强光对测量精度的干扰,该测量系统首先采用双目相机对液压元件表面进行亮度检测,通过自动调整补光,得到清晰的红外图像成像和彩色图像成像;其次基于极线约束,采用归一化协方差相关算法[8-9]完成特征提取和立体匹配,最终实现液压元件的三维重建。
2.2 双目立体视觉测量原理
双目立体测量原理[10-12]如
设视差为D=xl-xr,可得到相机坐标系中实际位置和成像平面上物理坐标之间的关系为
世界坐标系(OW)表示客观实体世界的绝对坐标,点P在世界坐标系中的坐标为[XW,YW,ZW,1],在相机坐标系中的坐标为[XC,YC,ZC,1],两种坐标系中的坐标转换关系为
根据(1)~(3)式,可以得到像素坐标和世界坐标之间的关系,即
2.3 相机标定
相机标定是视觉测量、三维重建等机器视觉应用中的基础环节,采用何种标定板对标定结果有至关重要的影响[13]。目前,视觉测量中常用到的标定板大多为棋盘格和圆阵列。为了将图像上检测到的角点坐标与其世界坐标对应,必须保证全部角点都能同时被检测到;同时,当图像畸变太大或者有一定的离焦模糊时,角点检测的精度会明显下降,因此,基于圆阵列容易在固定的面积上排布更多特征点的优势,本研究选择圆阵列标定板来进行相机标定。
本标定板采用的圆阵列,其上设有若干个特征圆点,特征圆点中定义3个特征圆点为特定特征圆点,将其绘制成空心圆环,以区分其他特征圆点。为了方便特征提取,采用白底黑圆+黑色圆环的方式增强对比度,正常光照条件下的相机标定板如
2.4 匹配算法
由于随机散斑图像的微小邻域可以唯一标定液压元件表面任意一点的深度信息,基于此特性,采用归一化协方差相关算法在极限约束后进行像素匹配。
图 3. 像素匹配的原理。(a)左图像;(b)右图像
Fig. 3. Principle of pixel matching. (a) Left image; (b) right image
其相似程度用邻域像素的归一化协方差相关系数来进行衡量。设Il(i,j)和Ir(i,j)表示
其中d为视差。根据双目视觉系统结构,参考平面的位置和液压元件的初始高度,可以确定一个视差搜索范围(d-,d+),大大减少了相关计算量,提高了匹配效率。C的取值范围为[0,1],取值越大,说明两点的匹配性越好。实验过程中,设置一个相关阈值t,仅当C(ml,mr)>t时,认为两点是可能的匹配点,将该点的相关信息记录下来,之后选择其中相关值最大的匹配点,作为正确的匹配点。
3 实验与分析
3.1 实验过程
基于双目立体视觉的液压元件测量系统的检测流程如
图 4. 双目立体视觉测量系统检测流程图
Fig. 4. Test flow chart of binocular stereo vision measurement system
3.1.1 实验平台的搭建
红外双目相机采用红外增透膜,能够透过更多红外波段的光。通过红外图像互补金属氧化物半导体(CMOS)传感器感应红外波段形成红外图像,同时,采用可见光截止膜截止可见光,形成清晰的红外图像。RGB相机同样采用红外截止膜和可见光增透膜形成清晰的彩色图像。通过Zhang平面标定法[14],计算左相机坐标系与RGB相机坐标系的空间位置关系,获取旋转变换矩阵R和平移变换矩阵T,为视差图与三维点云图之间的转换提供准确的信息支持。相机相关信息如下:测量距离为1 m,水平和垂直视场角分别为68°和47°,相机分辨率是1280 pixel×800 pixel。
3.1.2 相机标定
首先将圆阵列相机标定板置入相机视场中拍摄,得到多张标定图像。其次利用轮廓查找的方法对标定图像进行分割和滤波降噪处理[15],以排除非标定板区域,提升算法计算效率,从而提高特征检测的成功率。最后,利用OpenCV的SimpleBlobDetector斑点检测算法[16]从标定图像中提取出特定特征圆点,并以特定特征圆点为起点,按扩散的方式逐步实现标定图像中其余特征圆点的坐标匹配,继而得到所需的标定数据。
标定时,将标定板从不同的角度、不同的高度采集图像共17幅,红外标定和RGB标定的部分采集图如
表 1. 相机标定结果
Table 1. Camera calibration results
|
3.1.3 弱纹理液压元件的测量
根据左图和右图像素点的梯度信息,计算左图像素点的梯度信息与右图中聚合窗内所有像素点的梯度信息的差的绝对值之和(SAD),选取SAD值最小的像素点作为匹配代价结果[18];依据左图像素点和右图匹配代价结果得到视差值,并采用大小为5×5的方形聚合窗口对输出视差作中值滤波[19];随后将所述视差图与校正后的彩色图像进行配准,以确定每个彩色像素点的深度值。
由于视差图和深度图都是灰度图,为了便于观察图像的拍摄效果,需要由深度图转换为伪彩图,由
3.2 实验结果分析
经过相机标定和双线性插值校正畸变之后,采用三目同步的方式,与校正后的彩色图像进行配准,确定每个彩色像素点的深度值,得到清晰的点云数据。对点云图建立坐标系并进行多次测量,得到的尺寸测量值如
表 2. 隔膜泵缸盖直径尺寸
Table 2. Diameter dimensions of cylinder head of diaphragm pump
|
表 3. 螺栓孔尺寸
Table 3. Bolt hole dimensions
|
4 结论
研究了采用双目立体视觉测量系统的弱纹理液压元件的测量方法,使用新型圆阵列标定板得到标定图像,并利用轮廓查找对标定图像进行分割和滤波降噪处理,进而得到相机的内外参数。测量中,首先采用三目同步的方式对表面被投射有随机斑点的液压元件进行成像,利用归一化协方差相关算法在极限约束后完成像素匹配;选用Sobel梯度算子对图像进行卷积运算,并采用中值滤波对由SAD最小值和像素点得到的视差值进行处理,得到视差图;最后利用GetPcd函数将得到的深度值转化为点云数据,对点云数据进行测量即可获得液压元件尺寸。实验结果表明,本双目立体视觉测量系统适用于弱纹理液压元件尺寸的实时测量,在液压元件检测中有一定的应用价值,后续将通过算法改进进一步提高测量精度。
[1] 何雪明, 李咏平, 武美萍, 等. 基于三坐标测量机双参数向自适应测量自由曲面[J]. 中国机械工程, 2017, 28(5): 525-531.
He X M, Li Y P, Wu M P, et al. Adaptive measurement of free-form surfaces based on CMM double parameter directions[J]. China Mechanical Engineering, 2017, 28(5): 525-531.
[2] 刘书桂, 张海涛, 苏智琨. REVO测头在非正交式三坐标测量机中的探测矢量修正算法[J]. 天津大学学报(自然科学与工程技术版), 2016, 49(9): 956-960.
Liu S G, Zhang H T, Su Z K. Correction of detecting vector of REVO applied in non-orthogonal coordinate measuring machine[J]. Journal of Tianjin University (Science and Technology), 2016, 49(9): 956-960.
[3] 解则晓, 王晓东, 宫韩磊. 基于双目视觉的薄壁零件圆孔轮廓测量[J]. 中国激光, 2019, 46(12): 1204004.
[4] 郑淼, 赵红颖, 杨鹏, 等. 基于光场数据的无纹理景物视差估计方法[J]. 北京大学学报(自然科学版), 2018, 54(2): 336-340.
Zheng M, Zhao H Y, Yang P, et al. Disparity estimation method for free-texture scenes based on light field[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2018, 54(2): 336-340.
[5] 杜英魁, 刘成, 田丹, 等. 弱纹理环境双目视觉稠密视差鲁棒估计方法[J]. 光学精密工程, 2017, 25(4): 1086-1094.
[6] 乔玉晶, 张思远, 赵宇航. 高光弱纹理物体表面鲁棒重建方法[J]. 光子学报, 2019, 48(12): 1212002.
[7] GiordanoA, NwubaA, Chiang FP. Digital projection speckle technique for fringe generation[M] ∥Advancements in Optical Methods & Digital Image Correlation in Experimental Mechanics. Cham: Springer International Publishing, 2019: 1- 7.
[8] Xu JH, Mao Z H. Multilabel feature extraction algorithm via maximizing approximated and symmetrized normalized cross-covariance operator[J/OL]. IEEE Transactions on Cybernetics, 2019: 1-14. [2020-03-15]. https://ieeexplore.ieee.org/document/8703436.
[9] 李美菊. 投影数字散斑双目视觉系统的立体匹配[D]. 成都: 四川大学, 2005.
Li MJ. Stereo matching based on a speckle-projected stereovision system[D]. Chengdu: Sichuan University, 2005.
[10] 陈爱鸾. 基于SIFT算子的双目视觉三维测量技术研究[D]. 广州: 广东工业大学, 2015.
Chen AL. Research of 3D-measurement technology by binocular stereo vision based on sift operator[D]. Guangzhou: Guangdong University of Technology, 2015.
[11] 张志强, 施文华. 改进的尺度不变特征变换算法并行加速双目测距系统及其实现[J]. 激光与光电子学进展, 2019, 56(14): 141502.
[12] 蔡成涛, 王峰. 基于双目相机的直线运动轨迹快速测量算法[J]. 激光与光电子学进展, 2019, 56(5): 051502.
[13] 汪首坤, 赵金枝, 姜明, 等. 基于圆形阵列标定板的张氏相机标定法[J]. 北京理工大学学报, 2019, 39(8): 859-863.
Wang S K, Zhao J Z, Jiang M, et al. Zhang's camera calibration method based on circular array calibration board[J]. Transactions of Beijing Institute of Technology, 2019, 39(8): 859-863.
[14] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[15] 李健, 丁小奇, 陈光, 等. 基于改进高斯滤波算法的叶片图像去噪方法[J]. 南方农业学报, 2019, 50(6): 1385-1391.
Li J, Ding X Q, Chen G, et al. Blade image denoising method based on improved Gauss filtering algorithm[J]. Journal of Southern Agriculture, 2019, 50(6): 1385-1391.
[16] 吴冏, 张然然, 魏舒罕, 等. 改进的斑点检测算法[J]. 计算机工程与设计, 2010, 31(22): 4851-4854.
Wu J, Zhang R R, Wei S H, et al. Improved blotch detection method[J]. Computer Engineering and Design, 2010, 31(22): 4851-4854.
[17] 苗晓孔, 王春平. 改进Sobel算子的单帧红外弱小目标检测[J]. 光电工程, 2016, 43(12): 119-125.
[18] 刘洋, 王立, 华宝成, 等. 着陆避障中双目立体匹配方法与仿真[J]. 空间控制技术与应用, 2018, 44(3): 73-78.
Liu Y, Wang L, Hua B C, et al. Stereo-vision matching-techniques and simulation for hazard detection during planetary landing[J]. Aerospace Control and Application, 2018, 44(3): 73-78.
[19] 万丰丰, 周国民, 周晓. 一种去除椒盐噪声的自适应模糊中值滤波算法[J]. 浙江大学学报(理学版), 2019, 46(4): 445-453.
Wan F F, Zhou G M, Zhou X. An adaptive fuzzy median filtering algorithm for salt and pepper noise removal[J]. Journal of Zhejiang University (Science Edition), 2019, 46(4): 445-453.
Article Outline
雷经发, 韦旺, 李永玲, 张淼, 何玉. 基于双目视觉的弱纹理液压元件尺寸测量[J]. 激光与光电子学进展, 2020, 57(18): 181511. Jingfa Lei, Wang Wei, Yongling Li, Miao Zhang, Yu He. Dimensionality Measurement of Weak Texture Hydraulic Components Based on Binocular Vision[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181511.