中国激光, 2019, 46 (1): 0102001, 网络出版: 2019-01-27   

基于遗传算法的激光视觉焊缝特征点提取 下载: 1027次

Feature Points Extraction of Laser Vision Weld Seam Based on Genetic Algorithm
作者单位
中国计量大学计量测试工程学院, 浙江 杭州 310018
摘要
提出了一种基于遗传算法的平面焊缝特征点提取方法。采用中值滤波、阈值分割法对焊缝图像进行预处理, 以减少噪声; 利用种子填充法进行图像分割, 提取出激光条纹连通域, 根据连通域特征抽象出激光条纹骨架提取的数学模型; 重点研究基于遗传算法的骨架提取方法, 并采用法向直线扫描法沿骨架方向提取中心点坐标; 对骨架中心点进行直线拟合, 并利用拉依达准则迭代剔除噪声点, 获得激光条纹骨架的准确位置和焊缝特征点坐标。经试验验证可知, 该方法能够有效消除焊缝图像中多种噪声及激光条纹宽度的干扰, 快速准确地检测出焊缝特征点的位置。
Abstract
A method for feature points extraction of planar weld seams based on genetic algorithm is proposed. In order to reduce the image noises, we use median filtering method and threshold segmentation method to preprocess welding images. The seed filling method is used for the image segmentation, and the mathematical model of laser stripe skeleton extraction is obtained according to the characteristics of the image. The skeleton extraction method of laser stripe based on genetic algorithm is mainly studied, and the coordinate of center point is extracted with linear scanning method. The Pauta criterion is used during the linear fitting of the skeleton to iteratively eliminate the noise data, and the accurate position of the skeleton and feature points are obtained. The experimental results show that the method can effectively eliminate many noises and the interference of laser stripe width in weld image and can extract the weld feature points quickly and accurately.

1 引言

对于形状复杂、易变形或定位误差较大的焊缝,对其进行跟踪是实现自动化焊接的关键技术之一[1-2]。基于激光视觉系统的测量跟踪方式具有结构简单、测量精度高、适用范围广等优点,受到了国内外学者的广泛关注[3-4],其关键问题之一是通过数字图像处理技术,实现噪声环境下激光条纹与焊缝特征点(即激光条纹与焊缝坡口的交点)的准确提取。对于平面焊缝,理想状态下的激光条纹为边缘规则且具有一定宽度的直线型条纹。作为经典的几何检测方法,Hough变换是焊缝特征点检测的常用方法之一。Kiddee等[5]和叶震等[6]在图像预处理的基础上,采用Hough变换对焊缝边缘进行识别,利用边缘信息采用几何中心法获得了激光条纹中心线的位置,进而得出了焊缝特征点的位置。该方法需要预先对激光条纹图像进行腐蚀、膨胀等形态学处理,并采用类焊缝边缘查找法进一步消除与焊缝边缘连接的噪声部分,存在时间复杂度高、图像信息易丢失、过度依赖图像预处理等缺点。针对这些问题,张振杰等[7]提出了一种改进的Hough直线检测法,利用Hough一维空间变换对直线边缘进行检测并编组,再通过对直线组的精确处理解决了过连接、端点确定等问题。除Hough法外,洪磊等[8]利用斜率分析法,通过斜率变化特征计算了光点在各条纹直线上的分布数量,并完成了点集划分,拟合后得出了焊缝特征点。李琳等[9]利用小波变换模极大值理论确定了焊缝特征点的初始位置,并从该位置出发进行最小二乘法拟合。Shah等[10]提出了一种基于轮廓提取的区域点生成算法,根据面积阈值提取出焊缝区域后进行插值计算,拟合得到了焊缝特征点信息。江永付等[11]利用加权灰度重心法获得了腐蚀细化后激光条纹中心的初始点,并采用多项式曲线拟合获得了其亚像素中心坐标。

近年来,随着计算机图像分析与处理能力的加强以及各类机器学习算法的成熟,机器学习在激光视觉领域的研究也得到了重视。杨雪等[12]提出了一种基于差图像的阈值分割方法,并将阈值分割后的结构光轮廓通过神经网络进行细化处理。邹媛媛等[13]提出了一种基于支持向量机的三线结构光视觉传感器标定方法,通过设计相应的标靶提取特征点信息,并采用基于支持向量机的方法建立特征点的图像坐标与三维空间坐标的映射模型,实现了对三线结构光视觉传感器的标定工作。邹焱飚等[14]研究了基于深度分层特征的焊缝检测和跟踪系统,利用深度卷积神经网络精确地从图像中确定焊缝位置。Aviles-Viñas等[15]提出了一种基于神经网络的工业机器人焊接自动学习系统,并设计了基于激光视觉传感器的实时处理算法来提取训练模式,实验结果表明,在经过若干次训练后,该系统可以精确测量当前焊缝的几何外形、尺寸等。

在激光条纹与焊缝特征点的提取过程中,Hough变换法、斜率分析法、直线拟合法等传统图像处理方法对外部环境的适应性较差,处理过程较为繁琐,算法复杂度较高。而学习类算法在处理速度、识别率上具有较大优势,但也存在模型构建难度大、训练成本高等缺点。针对这一问题,本文提出了一种基于遗传算法的激光视觉焊缝特征点提取方法。针对预处理后的焊缝图像,采用改进的遗传算法提取激光条纹骨架的初始位置,再通过法线方向上的扫描进一步提取出准确的骨架中心点坐标,最后利用拉依达准则迭代剔除噪声点并进行直线拟合,获得了激光条纹的准确位置及焊缝特征点的坐标。

2 系统构成及工作原理

图1所示,激光视觉系统由防溅挡板、滤光片、线激光器和工业摄像机等器件构成。有机玻璃制成的防溅挡板可以有效阻挡焊接中的飞溅物,起到保护摄像机的作用。摄像机带有滤光片,可以滤掉焊接弧光和自然光,仅透过激光。线激光器通过安装支架固定于传感器探头内,通过安装支架来调节其位置。选用波长范围为610~700 nm的线激光器,在该波长范围内焊接的电弧辐射强度相对较弱,同时也较为稳定[16]。线激光器发射出的激光照射到焊接工件表面并相交形成激光条纹。采用工业摄像机采集包含焊缝特征点的激光条纹图像,通过信号线实时传输给计算机进行处理。连接法兰用于与机器人等的连接。

图 1. 激光视觉系统结构示意图

Fig. 1. Structure diagram of laser vision system

下载图片 查看所有图片

3 焊缝图像预处理与数学模型的建立

3.1 图像预处理

图像预处理能够有效消除原始图像中的噪声,降低激光条纹中心点提取的复杂程度,提高提取结果的准确性。如图2所示,图像预处理按顺序包含滤波降噪、阈值分割等步骤。

黑白工业摄像机采集到的原始图像为灰度图。焊接过程中的飞溅、电弧光等产生的高频前景噪声多呈离散态。对于离散噪声,中值滤波器具有较好的去噪效果。阈值分割的实质是将灰度图像转化为二值图像,从而进一步降低数据的冗杂程度。使用Otsu法[17]选取二值化阈值,该算法简单且不易受图像亮度、对比度的影响。图像预处理过程的效果如图3所示。

3.2 图像分割

图像预处理无法完全消除工业现场复杂的光照环境所产生的噪声。采用连通域提取法,根据面积特征对各部分进行识别,将激光条纹以外的区域进行背景色填充,以实现图像分割。焊缝图像对连通

图 2. 图像预处理流程图

Fig. 2. Image preprocessing procedure

下载图片 查看所有图片

图 3. 图像预处理效果。(a)焊缝激光检测的原始图像;(b)中值滤波结果;(c) Otsu法阈值分割结果

Fig. 3. Image preprocessing effect. (a) Original image of weld laser detection; (b) median filtering results; (c) threshold segmentation results with Otsu method

下载图片 查看所有图片

域提取的精度与速度均有一定要求,故采用种子填充法进行连通域分析。种子填充法的基本思路为:选取一个前景像素点作为种子,然后根据连通区域的两个基本条件(像素值相同、位置相邻)将与种子相邻的前景像素合并到同一个像素集合中,最后得到的该像素集合为一个连通区域。

通过种子填充法对连通域进行扫描,扫描完毕后利用连通域面积参数进行甄别。根据图像特征可知,含有激光条纹与焊缝的连通域的面积一般为最大的两个值。如图4所示,保留面积最大的两部分区域,将其余部分填充为背景色,即可消除小面积噪声。但在实际的焊接环境中,电弧光、环境杂光、工作平台抖动等因素会使图像背景更加复杂,且激光条纹的亮度、形状等参数也并非稳定不变,这些因素都会影响图像分割的结果,从而出现如图5所示的情况:背景噪声面积更大,位置更复杂,连通域提取与填充后仍与激光条纹混合,无法完全分离。若要将噪声完全滤除,需要更加复杂的图像分割方法,这将增大算法的复杂度,降低处理速度。为解决该问题,本课题组从另一方向入手,即进行初步的连通域提取与填充后保留面积较大的部分区域,其中含有噪声、激光条纹等区域,然后采用速度更快、容错率更高的直线扫描法对图像进行扫描。初步提取出激光条纹的骨架位置后,再在法线方向进行扫描,精确提取激光条纹的中心点坐标,并采用拉依达准则(3σ准则,其中的σ为标准偏差估计值)迭代剔除噪声与误差点数据,最终可消除复杂背景噪声的影响。

图 4. 连通域的提取与填充。(a)提取结果;(b)填充结果

Fig. 4. Extraction and filling of connected domain. (a) Extraction result; (b) filling result

下载图片 查看所有图片

3.3 激光条纹骨架的提取

对图像进行预处理与分割后,线激光在焊接平面上所成图像为一条具有一定宽度的直线型条纹。为了获得激光条纹与焊缝坡口交点(即特征点)的位

图 5. 复杂噪声环境下连通域的提取与填充。(a)原始图像;(b)连通域填充结果

Fig. 5. Extraction and filling of connected domain in complex noise environments. (a) Original image; (b) connected domain filling result

下载图片 查看所有图片

图 6. 扫描直线位置确定示意图。(a) α∈[0°,90°];(b) α=90°;(c) α∈(90°,180°)

Fig. 6. Scanning line position determination diagrams. (a) α∈[0°,90°); (b) α=90°; (c) α∈(90°,180°)

下载图片 查看所有图片

置坐标信息,需要提取出激光条纹骨架信息。

本课题组提出了一种利用直线扫描提取激光条纹骨架的算法,具体步骤如下。

步骤1):建立如图6所示的图像坐标系平面。取图像平面左上角为坐标原点O,x轴正向水平向右,y轴正向竖直向下。图像尺寸为xmax×ymax。为了便于说明,将图片背景与激光条纹进行反色,仅保留激光条纹的边缘部分,对焊缝坡口部分进行放大。

步骤2):确定坐标平面上扫描直线与x轴正向的夹角α,α∈[0°,180°)。

步骤3):根据参数α构造扫描直线组lb

α∈[0°, 90°)时,如图6(a)所示,取b=0时的第1条扫描直线lb0过图像左下角(0, ymax)点,此时该直线方程为

y=xtanα+ymax(1)

b=1时,根据预先设定的两直线间的距离参数s,可求得与第1条直线平行的第2条扫描直线lb1y轴上的截距I

I=ymax-s1+tan2α(2)

根据截距与斜率可求得该直线方程。由任意两条直线间距s可推知任意一条直线在y轴上的截距。根据该点坐标与斜率即可构造扫描直线方程。任意一条扫描直线的方程为

y=xtanα+ymax-bs1+tan2α(b=0,1,2,),(3)

s的取值范围根据角度α取值的不同有相应的变化。当α∈[0°, 90°]时,扫描直线组的第1条直线过点(0, ymax),直线组平移方向为从图像左下角到右上角,故过点(xmax, 0)的直线为该组直线的最后一条扫描直线,此时两直线间的距离即为smax。当s=smax时,该组扫描直线与图像内部无交点,无法进行扫描。故s的取值范围为(0, xmaxsinα+ymaxcosα)。为兼顾扫描效率与扫描效果,s的初始值通常介于w/2与w之间(w为激光条纹的宽度)。

α=90°时,如图6(b)所示,此时扫描直线组lb的方程为

x=bs(b=0,1,2,)(4)

此时s的取值范围为(0,xmax)。

α∈(90°,180°)时,如图6(c)所示。取b=0时的第1条扫描直线lb0过图像左上角(0,0)原点。此时该直线方程为

y=xtanα(5)

同理,根据s值可求得任意一条直线在x轴上的截距。则扫描直线组lb的方程为

y=xtanα+bs1+tan2(α-90)(b=0,1,2,)(6)

此时s的取值范围为(0, xmaxsinα-ymaxcosα)。

步骤4):根据构造的扫描直线组对激光条纹图像进行扫描,步骤如伪代码算法1所示。

算法1 激光条纹骨架扫描步骤如下:

输入:参变量αs,b的初始值为0;

输出:重合度Nmax

1.begin

2. if 当前直线lb与图像相交,then

3. {

4. 对该直线上每一像素点的灰度值进行判断,统计灰度值与激光条纹一致的点的数量N;

5. b = b+1;

6. 返回步骤3,根据αsb值,构造下一条直线;

7. 返回第1步继续迭代;

8. }

9. else //若当前直线lb与图像不相交,说明本组扫描直线扫描完毕

10. {

11. 找出直线组l中与激光条纹重合度最高的直线与其对应的N值,该直线作为ls,保存其对应的参数αs,令Nmax=N

12. }

13. end

经过以上步骤,可以确定激光条纹骨架提取的目标函数为

Nmax=f(α,s)s(0,xmaxsinα+ymaxcosα),ifα[0°,90°)s(0,xmax),ifα=90°s(0,xmaxsinα-ymaxcosα),ifα(90°,180°),(7)

式中αs均为整数。

4 基于遗传算法的骨架提取

4.1 基本原理

受变量个数、取值范围等因素的影响,多变量最值问题的求解需要对大规模的数据进行处理,而一般的算法难以满足要求。基于生物在天然环境中遗传、进化过程的研究,遗传算法的概念被提出,其本质是一种最优解搜索算法[18]。遗传算法具有良好的全局优化能力,可直接根据结构对象运行,对优化函数的连续性、可导性并无特殊要求,通常被用来处理多变量函数的近似最优解问题。

针对提出的目标,本课题组设计了一种改进的遗传算法来处理焊缝骨架直线的提取问题。首先把整体分为若干个相互独立的子种群,在高层部分,利用分层遗传算法进行优化,同时加入最优保存策略,使适应程度最高的个体,即与激光条纹具有最佳重合度的个体得以保留。在分层遗传算法的低层,各组种群是相互独立的,故采用自适应遗传算法。各遗传算子可根据实际情况动态改变,从而可以有效避免局部最小问题的干扰。

4.2 高层编解码设计

编码方式将直接影响算法的执行效率与最终结果[19]。根据数据特征,在高层遗传算法中共涉及αs两个决策变量,且它们在各自的取值范围内具有连续渐变的取值方向,故采用浮点数编码方法。设定每一个个体都具有两个相互独立的基因αs,并分别用其取值范围内原数值对应的浮点数表示。

4.3 高层适应度函数

适应度函数作为遗传算法执行过程中的唯一依据,它的选择至关重要。针对函数最大值的求解问题,在设计分层遗传算法的高层时,以目标函数作为适应度函数,即

F[f(x)]=Nmax=f(α,s)(8)

4.4 高层初始种群设计

分层遗传算法的基本思想是对原始种群按某一特征进行分层,不同层间的种群互相独立,且可单独编码,运行时每层中可有多个不同种群同时进行遗传算法的相关操作。其中,初始种群的设计与进化过程息息相关。初始种群的生成过程如下:在初始状态下,α∈[0°,180°],将α角在取值范围内以15°为间隔设定子群,共有12个子群(0°、15°、30°、45°、60°、75°、90°、105°、120°、135°、150°、165°),记为Gi(i=1,2,…,12)。在每一个子群中,选定参数d=10j(j=1,2,…,10),共产生10个样本,记每个样本为Uij。试验结果表明,根据激光条纹的角度与宽度特征,用该方法选定的初始种群能够在样本量较小的前提下保持较高的覆盖率,便于后续操作。

4.5 低层自适应遗传算法设计

编解码设计。扫描直线与图像坐标系x轴正向的夹角α、扫描直线线间距s共同构成解空间。将(α,s)进行编码,根据αs的特征,选取二进制编码方法。其中原始图像的大小为736 pixel×480 pixel,角度α的取值范围为[0,180],αs的取值均为整数,故角度α采用8位二进制编码表示,s采用10位二进制编码表示,一个染色体串共18位。二进制串与实际值的对应关系可用解码公式表示,即

α=decimalα18028-1,9

s=1+decimal(s)7362×4802-1210-1,(10)

式中:decimal(α)、decimal(s)分别代表变量αs的十进位值。

适应度函数的确定。将目标函数转化为适应度。对于最大值求解问题,适应度即目标函数,可表示为

ev(Uij)=Nmax=f(α,s)(11)

选择概率的确定。选用最优解保存策略与轮盘赌法结合的方式,把每组子种群中适应度最高的个体原样保留。若组内多个个体的适应度值相等且为最大值,则优先选取其中αs值均较大的个体。轮盘赌法又称比例选择法,用于其余个体的筛选。通过计算各组组内样本的适应度值ev(Uij),得到各组子群体的适应度值总和为

Fi=j=110ev(Uij),(i=1,2,,12)(12)

则此时组内对应每个样本的选择概率为

Pij=ev(Uij)Fi,i=1,2,,12,j=1,2,,10(13)

此时组内单一个体的累计概率为

Qij=t=1jPij,i=1,2,,12,j=1,2,,10(14)

选择新种群的个体按以下过程完成。

1) 生成一个[0,1]间的随机数r;

2) 如果rQi1,就选择个体Ui1;否则,选择第t个个体,使得

Qi,t-1rQi,t,i=1,2,,12,t=2,3,,10(15)

交叉概率Pc和变异概率Pm的确定。基于分层遗传算法低层各子种群相互独立的特性,在过程中可引入自适应遗传算法来动态确定PcPm的取值,将人为因素的影响降到最低。PcPm的表达式分别为

Pc=k1(fmax-f')fmax-favg,ffavgk2,f<favg,(16)

Pm=k3(fmax-f)fmax-favg,ffavgk4,f<favg,(17)

式中:fmax为每一子种群中最大适应度的数值;favg为每代种群平均适应度的数值;f'为每一子种群中选定执行交叉操作的个体中较大的适应度数值;f为每一子种群中选定执行变异个体的适应度数值;参数k1k2k3k4取(0,1)区间内的任意值。

交叉运算采取两点交叉方法。为提高运行效率,同时因为高层遗传算法分组时已对α值在取值范围内进行了覆盖性强的均匀选取,故在低层遗传算法组内只针对s值进行相关交叉运算。将每组内的个体两两配对,随机选取染色体中9~18位数字中的两位作为一对个体的交叉节点。根据交叉概率Pc进行交叉操作。

变异运算采取基本位变异方法。在组内同样只针对s值进行变异运算。随机确定染色体9~18位中变异点的位置,根据变异概率Pm进行操作,即可产生新一代个体。

经实验验证后可知,通过10代左右的进化后,组内的最佳适应度值趋于一致,此时得到最佳个体。根据初始化的参数进行低层自适应遗传算法的相关操作,如伪代码算法2——低层自适应遗传算法所示:

输入:12个初始子群Gi(i=1,2,…,12)、适应度函数ev(Uij)、交叉概率Pc、变异概率Pm;

输出:12个新子群Gi(i=1,2,…,12)。

1. begin

初始化相关参数,产生第一代子群Gi(i=1,2,…,12),i初始值为1,G表示终止进化代数,初始值为1

2. do

3. {

4. i=1

5. do

6. {

7. 根据最优解保存策略,保存Gi中适应度最高的个体

8. 根据轮盘赌法,对Gi内剩余个体进行选择

9. 在Gi中随机选取两个个体

10. if random(0,1)<Pc

11. { 将2个个体染色体中9~18位按交叉概率Pc执行交叉操作 }

12. if random(0,1)<Pm

13. { 将2个个体染色体中9~18位按变异概率Pm执行变异操作 }

14. 将新个体加入原种群Gi

15. i=i+1

16. } until (i = 13)

17. G=G+1

18. } until (G = 11)

19. end

4.6 高层遗传算子设计

当每一子种群的组内遗传算法进行指定操作后,将最终种群记录在二维数组R[1,…,i,1,…,j](i=1,2,…,12;j=1,2,…,10)中,R[m,n](m=1,2,…,12;n=1,2,…,10)表示Gi的结果种群中的第j个个体。同时,各子种群的平均适应度值保存在数组A[1,…,i]中。

高层遗传算法选择概率的确定。基于数组A[1,…,i]对结果种群R进行选择。设计选用最优解保存策略与随机竞争法结合的方式,把所有子种群中含有最高适应度个体的一组原样保留在下一代中。随机竞争法适用于其余子种群的筛选,即按照轮盘赌法,将i-1个子种群两两结合,按照结果选取组内个体适应度最大值较大的一组。经过该过程后,一些结果种群由于适应度较高而被保留,另一些结果种群由于适应度较低而被淘汰。

高层遗传算法交叉概率Pch和变异概率Pmh的确定。由于自适应遗传算法的优异性,仍采用(16)、(17)式来计算对应的交叉概率和变异概率。此时,fmax为所有结果种群中最大适应度值最大的数值,favg为所有结果种群中最大适应度值的平均值,f'为选定执行交叉的两个结果种群中较大的最大适应度数值,f为选定执行变异的结果种群的最大适应度数值。其中,k1k2k3k4取(0,1)内的任意值。

高层遗传算法交叉运算采取两点交叉方法。根据数组R[m,n](m=1,2,…,i;n=1,2,…,j),在不同组的种群中根据交叉概率Pch选择作为交叉父辈的个体。

对所有的交叉父辈个体进行两两任意配对后,在个体编码串中随机设定两个交叉点位置。个体编码采用浮点数编码,根据设定的两交叉点位置,用于交叉的染色体部分共有三种情况:只交叉个体的α部分染色体;只交叉个体的s部分染色体;个体的αs染色体部分均进行交叉。

高层遗传算法的变异运算采取基本位变异方法。根据变异概率Pmh,在αs的取值范围内随机产生相应的值组成新个体,替代R[m,n](m=1,2,…,i,n=1,2,…,j)中随机抽取的个体。

经实验验证可知,当高层遗传算法进化到10代以上时,可满足收敛条件。此时得到参数αs,并可由此得出最大适应度对应的直线方程,该直线即为提取出的激光条纹骨架直线ls。高层遗传算法的执行过程与低层遗传算法相似。整体算法流程如图7所示。

图 7. 遗传算法激光条纹骨架提取的流程图

Fig. 7. Flow chart of laser stripe skeleton extraction based on genetic algorithm

下载图片 查看所有图片

5 焊缝特征点的提取

5.1 激光条纹骨架的直线拟合

由于激光条纹具有一定宽度,边缘与缺口部分通常带有噪声数据,因此得到的直线ls仅能大致反映骨架的位置信息,还需进一步精确扫描。

图8所示,根据提取出的激光条纹骨架ls位置,在图像范围内构造一组与ls垂直且等间隔(间隔为r)分布的q条平行直线再次进行扫描。以每条垂直直线与激光条纹重合部分的中心点数据构造点集{Pk|k=1,2,3,…,q},并将其作为对激光条纹骨架进行直线拟合的初始数据。

图 8. 激光条纹中心点扫描示意图

Fig. 8. Center points scanning of laser stripe

下载图片 查看所有图片

图像中大面积的明显噪声已通过图像预处理与图像分割进行处理,但由于内外部噪声的存在,在激光条纹中心点点集{Pk}中同样包含有与激光条纹部分连通的噪声,该部分噪声引起的误差会对最终的检测结果产生明显的影响,必须予以剔除。

将{Pk}中噪声引起的偏离实际骨架中心线位置较大的点视为包含粗大误差。处理并判别粗大误差有多种方法和准则,如3σ准则、狄克松准则、格罗布斯准则等。3σ准则是常用的统计判断准则,该准则假设一组检测数据只含有随机误差,计算其标准偏差并按一定概率确定一个区间,凡超过这个区间的误差就不属于随机误差,而是粗大误差。含有该粗大误差的数据应予以剔除[20],算法如下:

步骤1):采用最小二乘法[21]对骨架中心点点集{Pk}进行直线拟合,得到拟合直线le

步骤2):计算点集中每个中心点到直线le的距离dk及其平均值`d,计算每个点对应的残差vk=dk-d。由贝塞尔公式计算d的标准偏差估计值σ,即

σ=1m-1k=1mvk2,(18)

式中m为中心点个数。

步骤3):判断条件为

|vk=dk-d-|3σ(19)

对于点集{Pk},若所有的中心点的残差均满足(19)式,则判断此时的拟合直线le为最终的骨架中心线。否则,将点集中不满足的中心点剔除后,重新回到步骤1)进行直线拟合。最终拟合得到的激光骨架中心线le图9所示。

图 9. 直线拟合与误差点剔除示意图

Fig. 9. Schematic of line fitting and error points elimination

下载图片 查看所有图片

5.2 焊缝特征点的提取

得到准确的激光条纹中心点后,就可进行焊缝特征点坐标的提取,如图10所示。焊缝特征点位于激光条纹的中心线上,该位置是激光条纹与焊缝坡口的交点,因此激光条纹会出现缺口,焊缝特征点的提取位置为激光条纹中心线上灰度值与背景色一致的区域的中心点坐标。

图 10. 焊缝特征点提取示意图

Fig. 10. Feature point extraction of the weld seam

下载图片 查看所有图片

6 焊缝检测试验及结果分析

为验证所提焊缝特征点提取方法的效果,对含有曲线与直线等不同形状的平面焊缝进行特征点提取。试验采用的激光视觉传感器由MER-132-30GM CCD系列工业相机和波长为650 nm的MTO-laser一字线型激光器组成,摄像机配置8 mm的FA工业镜头。传感器通过连接法兰固定在工业机器人上。采用含有V形坡口的铝合金板作为焊件,板厚为3 mm,V形坡口的宽度为5 mm,焊缝总长度为1000 mm。

试验现场如图11所示。试验过程中,传感器位于焊接工件上方100 mm处,水平方向上距离当前焊接位置30~40 mm处。采用ZX7-200系列焊机进行焊接,焊条的直径为2.5 mm,焊接电流为80~100 A,额定输出电压为25.6 V,输出功率为2000~2500 W,焊接速率为180~220 mm/min。

经过标定可知,当传感器位于焊接工件上方100 mm时,其偏移1 mm在图像坐标系中对应15 pixel。焊接过程中每隔10 mm提取一次特征点,共提取100组数据。将试验结果与Hough法焊缝特征点提取结果进行比较。Hough法采用相同的预处理与图像分割步骤,采用腐蚀、膨胀等形态学处理对激光条纹进行细化,采用类焊缝边缘查找法进一步消除与焊缝边缘连接的噪声,采用几何中心法拟合获取激光条纹中心线的位置,最终从激光条纹中心线上提取焊缝特征点的位置。

图 11. 激光视觉系统现场工作示意图。(a)待焊接;(b)焊接中

Fig. 11. Field working diagram of laser vision system. (a) To be welded; (b) welding

下载图片 查看所有图片

图 12. 试验过程中采集到的具有代表性的图像。(a)所提方法;(b) Hough法

Fig. 12. Representative images collected during the test. (a) Proposed method; (b) Hough method

下载图片 查看所有图片

试验过程中采集到的具有代表性的图像如图12所示,其直线为提取出的激光条纹中心线,十字方框的中心点为提取的特征点位置。通过对比可知:当采集图12(a4)、(a5)、(b4)、(b5)的图像时,Hough法与所提方法具有相同的精度;当焊接环境噪声较为复杂,飞溅等环境噪声与激光条纹两区域有连接时,如图12(a1)、(a3)、(a6)、(b1)、(b3)、(b6)所示,Hough法提取的激光条纹精度会受到一定影响,条纹偏离中心位置,且多数位于激光条纹的边缘部分;在更为极端的情况下,如图12(a2)、(b2)所示,当电弧光产生大面积噪声且与激光条纹区域连通时,在预处理过程中无法完全剔除噪声,此时Hough法已无法进行激光条纹与焊缝特征点的提取,而所提方法受到的影响较小,仍可准确提取激光条纹与焊缝特征点的位置。

提取100组特征点后,剔除因环境过于复杂而无法检测的情况(Hough法16组,所提方法3组),根据标定结果分别统计所提方法与Hough法的位置误差,结果如图13所示。分别计算两种方法的平均偏差与偏差标准差,结果如表1所示。试验结果表明,所提方法的稳定性好,适应性强,能够有效消除环境杂光以及电弧、飞溅等的干扰,激光条纹宽度对焊缝特征点提取精度的影响较低,在精度与环境适应度上均优于通用的Hough法。

图 13. 焊缝特征点提取偏差统计图。(a)所提方法;(b) Hough法

Fig. 13. Statistical graph of weld feature points extraction deviation. (a) Proposed method; (b) Hough method

下载图片 查看所有图片

表 1. 焊缝特征点提取偏差统计表

Table 1. Statistical table of feature points extraction deviation of weld seam

MethodAverageerror /mmStandarddeviation /mm
Hough method0.480.26
Proposed method0.200.11

查看所有表

在主频为3.4 GHz、内存为4 GB的计算机上运行时,图像传感器的采集频率可达30 Hz,从采集每帧图片到提取出焊缝特征点平均用时0.32 s,优于Hough法的平均用时(0.53 s),能够满足一般焊接速度下的实时性要求。

7 结论

提出了一种基于遗传算法的激光视觉焊缝特征点提取方法。针对预处理后的激光焊缝图像,采用遗传算法提取激光条纹骨架,再进行扫描得出中心点位置,最后根据3σ准则迭代剔除噪声数据后进行直线拟合,获得激光条纹的准确位置及焊缝特征点的坐标。对比试验结果后可知,所提方法能够有效消除焊缝图像中多种噪声及激光条纹自身宽度的干扰,可快速准确地提取出焊缝特征点的位置。

参考文献

[1] 吕学勤, 张轲, 吴毅雄. 焊缝自动跟踪的发展现状与展望[J]. 机械工程学报, 2003, 39(12): 80-85.

    Lü X Q, Zhang K, Wu Y X. Development status and prospects automatic seam tracking[J]. Mechanical Engineering, 2003, 39(12): 80-85.

[2] Sharif LH, YamaneS, HinoY, et al. Sensing and digital control of weld pool with visual welding robot[C]. The 26th Annual Conference of the IEEE Industrial Electronics Society, 2000: 1521- 1526.

[3] 郭吉昌, 朱志明, 于英飞, 等. 焊接领域激光结构光视觉传感技术的研究及应用[J]. 中国激光, 2017, 44(12): 1200001.

    Guo J C, Zhu Z M, Yu Y F, et al. Research and application of visual sensing technology based on laser structured light in welding industry[J]. Chinese Journal of Lasers, 2017, 44(12): 1200001.

[4] Muhammad J, Altun H, Abo-Serie E. Welding seam profiling techniques based on active vision sensing for intelligent robotic welding[J]. The International Journal of Advanced Manufacturing Technology, 2017, 88(1/2/3/4): 127-145.

[5] KiddeeP, FangZ, TanM. A geometry based feature detection method of V-groove weld seams for thick plate welding robots[C]. 2nd International Conference on Control and Robotics Engineering, 2017: 43- 48.

[6] 叶震, 余焕伟, 陈华斌, 等. 一种获取焊缝偏差的图像处理方法[J]. 上海交通大学学报, 2013, 47(5): 775-778.

    Ye Z, Yu H W, Chen H B, et al. An image processing method for seam offset extraction[J]. Journal of Shanghai Jiaotong University, 2013, 47(5): 775-778.

[7] 张振杰, 郝向阳, 刘松林, 等. 基于Hough一维变换的直线检测算法[J]. 光学学报, 2016, 36(4): 0412005.

    Zhang Z J, Hao X Y, Liu S L, et al. Line detection based on hough one-dimensional transform[J]. Acta Optica Sinica, 2016, 36(4): 0412005.

[8] 洪磊, 杨小兰, 钟冬平. 基于斜率分析法的焊缝条纹直线特征提取分析[J]. 焊接学报, 2017, 38(8): 91-94.

    Hong L, Yang X L, Zhong D P. Straight line feature extraction and analysis of weld line based on slope analysis method[J]. Transactions of the China Welding Institution, 2017, 38(8): 91-94.

[9] 李琳, 林炳强, 邹焱飚. 基于条纹式激光传感器的机器人焊缝跟踪系统研究[J]. 中国激光, 2015, 42(5): 0502005.

    Li L, Lin B Q, Zou Y B. Study on seam tracking system based on stripe type laser sensor and welding robot[J]. Chinese Journal of Lasers, 2015, 42(5): 0502005.

[10] Shah H N M, Sulaiman M, Shukor A Z. Autonomous detection and identification of weld seam path shape position[J]. The International Journal of Advanced Manufacturing Technology, 2017, 92(9/10/11/12): 3739-3747.

[11] 江永付, 江开勇, 林俊义. 线结构光光条中心亚像素精确提取方法[J]. 激光与光电子学进展, 2015, 52(7): 071502.

    Jiang Y F, Jiang K Y, Lin J Y. Extrication method for sub-pixel center of linear structured light stripe[J]. Laser & Optoelectronics Progress, 2015, 52(7): 071502.

[12] 杨雪, 于晓洋, 杨明极, 等. 结构光截面轮廓测量中激光条纹的处理[J]. 计算机工程, 2007, 33(16): 162-163.

    Yang X, Yu X Y, Yang M J, et al. Laser stripe processing in measurement system based on structured-light[J]. Computer Engineering, 2007, 33(16): 162-163.

[13] 邹媛媛, 李鹏飞, 左克铸. 三线结构光视觉传感器现场标定方法[J]. 红外与激光工程, 2018, 47(6): 94-99.

    Zou Y Y, Li P F, Zuo K Z. Field calibration method for three-line structured light vision sensor[J]. Infrared and Laser Engineering, 2018, 47(6): 94-99.

[14] 邹焱飚, 周卫林, 陈向志. 基于深度分层特征的激光视觉焊缝检测与跟踪系统研究[J]. 中国激光, 2017, 44(4): 0402009.

    Zou Y B, Zhou W L, Chen X Z. Research of laser vision seam detection and tracking system based on depth hierarchical feature[J]. Chinese Journal of Lasers, 2017, 44(4): 0402009.

[15] Aviles-Viñas J F, Rios-Cabrera R, Lopez-Juarez I. On-line learning of welding bead geometry in industrial robots[J]. The International Journal of Advanced Manufacturing Technology, 2016, 83(1/2/3/4): 217-231.

[16] 包顺东, 张轲, 吴毅雄. 电弧光谱分布特征及激光传感器的光源选择[J]. 光电子·激光, 2009, 20(4): 504-508.

    Bao S D, Zhang K, Wu Y X. A detailed analysis of welding arc spectrum distribution characteristics to choose light sources of laser sensors[J]. Journal of Optoelectronics·Laser, 2009, 20(4): 504-508.

[17] 齐继阳, 李金燕, 陆震云, 等. 改进的Otsu法在焊接图像分割中的应用[J]. 焊接学报, 2016, 37(10): 97-100.

    Qi J Y, Li J Y, Lu Z Y, et al. Application of improved Otsu method in welding image segmentation[J]. Transactions of the China Welding Institution, 2016, 37(10): 97-100.

[18] 刘浩然, 赵翠香, 李轩, 等. 一种基于改进遗传算法的神经网络优化算法研究[J]. 仪器仪表学报, 2016, 37(7): 1573-1580.

    Liu H R, Zhao C X, Li X, et al. Study on a neural network optimization algorithm based on improved genetic algorithm[J]. Chinese Journal of Scientific Instrument, 2016, 37(7): 1573-1580.

[19] 杨健, 赵宏宇. 浮点数编码改进遗传算法在平面度误差评定中的研究[J]. 光学精密工程, 2017, 25(3): 706-711.

    Yang J, Zhao H Y. The research of floating-point coding improver genetic algorithm in flatness error evaluation[J]. Optics and Precision Engineering, 2017, 25(3): 706-711.

[20] 尹爱军, 赵磊, 吴宏钢. 相关法动平衡校正中的3σ准则误差处理方法[J]. 重庆大学学报, 2013, 36(10): 22-26.

    Yin A J, Zhao L, Wu H G. Error process based on 3σ rule used in balancing by correlation theory[J]. Journal of Chongqing University(Natural Science Edition), 2013, 36(10): 22-26.

[21] 田垅, 刘宗田. 最小二乘法分段直线拟合[J]. 计算机科学, 2012, 39(6A): 482-484.

    Tian L, Liu Z T. Least square piecewise linear fitting[J]. Computer Science, 2012, 39(6A): 482-484.

张斌, 常森, 王桔, 王倩. 基于遗传算法的激光视觉焊缝特征点提取[J]. 中国激光, 2019, 46(1): 0102001. Zhang Bin, Chang Sen, Wang Ju, Wang Qian. Feature Points Extraction of Laser Vision Weld Seam Based on Genetic Algorithm[J]. Chinese Journal of Lasers, 2019, 46(1): 0102001.

本文已被 13 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!