1 引言

自动焊接技术已被广泛应用于****、航天航空、车船制造等领域。焊缝跟踪是自动化焊接的关键技术^[1-4]。基于激光视觉的焊缝跟踪技术具有非接触、特征明显、精度高等优点,是目前焊缝跟踪的主要研究方向。但在焊接过程中,焊缝图像会受弧光、烟雾、飞溅等的干扰而产生大量噪声,导致焊缝特征不明显,难以精确获取焊缝的位置,从而影响焊缝跟踪的质量。从强干扰的焊缝图像中准确地获取焊缝的位置信息是焊缝跟踪的关键。

通常采用图像处理方法,如滤波、分割、中心提取等,从激光条纹的灰度分布或几何形状中获取焊缝的关键位置信息^[5-8]。申俊琦等^[9]提出了一种有效去除焊缝图像中噪声的自适应中值滤波算法。陈海永等^[10]提出了基于阈值变换和自适应形态学的算法,并用该算法来分割焊缝条纹;结果发现,该算法在获取焊缝特征点的同时有效地消除了噪声的干扰。江南春等^[11]提出了一种针对搭接焊缝的图像处理技术,该技术通过形态学细化、Hough变换拟合直线和模板匹配来获取焊缝的特征点。胡金等^[12]在边缘检测的基础上提出了一种基于方向梯度直方图的焊缝边缘检测方法,该方法能检测出焊缝的主要信息,并能较好地抑制噪声。Carlson等^[13]依据实时更新的特征模板和图像相关性,采用粒子滤波实现了对焊缝的跟踪。邹焱彪等^[14]利用概率连续模型进行焊缝跟踪,这种方法可以实时获取焊缝特征,而且跟踪准确。

在基于视觉的焊缝自动跟踪过程中,相邻两帧图像中焊缝激光条纹的形态具有连续性,因此焊缝是可以进行检测和跟踪的。但受弧光、飞溅等干扰,焊缝位置的准确识别与检测会很困难。不同的焊缝特征描述有不同的检测与跟踪效果,因此选择更准确的焊缝特征提取算法对于焊缝的识别和跟踪来说极为重要。

本文利用具有良好的几何和光学形变不变性的方向梯度直方图^[15-16](Hog)特征来描述V型焊缝信息,并结合焊缝序列图像位置信息的连续性,提出了一种基于Hog进行粒子滤波的V型焊缝跟踪方法。该方法首先针对V型焊缝图像目标区域提取Hog特征,建立目标模板;然后采用粒子滤波^[17-19]方法在目标区域进行先验性采样,再将采样结果与目标模板进行匹配计算,得到下一帧目标的位置信息,最终实现焊缝的准确跟踪。

2 方向梯度直方图

在进行自动焊接时,通常依据焊缝坡口边沿信息进行焊接。典型V型坡口焊缝的激光条纹如图1所示。在焊缝图像中,焊缝边沿的位置特征通常位于激光条纹的拐点处,即激光条纹发生偏折的地方,因此,激光条纹的拐点区域就是跟踪的目标区域。这一特征具有明确的方向性。在焊接过程中采集了如图2所示的受弧光和飞溅等噪声强烈影响或干扰的焊缝图像,可见:在目标区域,焊缝激光条纹的拐点处具有很强的方向性。焊缝特征描述的准确性和抗干扰能力是焊缝跟踪的关键。因此,通过提取焊缝拐点处具有方向性的目标特征,可以提高焊缝跟踪结果的准确度,从而提高焊缝图像的抗干扰能力。

图 1. 典型V型坡口焊缝的激光条纹

Fig. 1. Laser fringe of a typical V-shaped weld

下载图片 查看所有图片

图 2. 有干扰的焊缝激光条纹图像

Fig. 2. Laser stripe image of weld with interference

下载图片 查看所有图片

由于图像的方向性可由边缘的梯度来表示,因此,焊缝条纹拐点处具有方向性变化的特征能够被梯度或边缘的方向密度分布很好地描述。Hog特征就是利用边缘方向或者像素强度梯度来表现图像特征的,因此能很好地描述焊缝条纹图像的方向性。同时,Hog在图像局部区域的方格单元上对边缘梯度进行统计计算,具有对空域粗采样、对方向性精采样以及局部归一化的特点,因此对图像的几何和光学形变都能保持良好的不变性,能很好地统计局部区域方格的方向性特征。只要焊缝形状不发生大的形变,焊缝微小的形变以及干扰信号就可以被抑制,从而提高检测效果。因此,Hog能够很好地描述焊缝条纹图像的方向性特征,适合有干扰下的焊缝跟踪。

图3和图4所示分别为提取到的无干扰和强噪声干扰下的目标Hog特征。尽管噪声在局部区域带来了严重干扰,但焊缝坡口左右两侧的拐点区域依然能够很好地表达焊缝激光条纹的方向特征,目标的Hog特征具有优良的抗干扰能力。因此,为了提高焊缝跟踪的抗干扰能力,本文拟将Hog特征应用于焊缝跟踪算法中。

图 3. 无干扰下焊缝拐点区域的Hog特征

Fig. 3. Hog characteristics of weld flex point area without interference

下载图片 查看所有图片

图 4. 强干扰下焊缝拐点区域的Hog特征

Fig. 4. Hog characteristics of weld flex point area with strong interference

下载图片 查看所有图片

3 跟踪原理

在实际焊接中,焊缝图像位置的变化十分微弱,且不会有较大的突变,即焊缝位置具有平滑性、连续性和可预测性。因此,可以通过粒子滤波预测和修正的方法进行焊缝的跟踪,即:先根据焊缝的连续性预测下一帧焊缝的候选位置;然后在候选位置附近进行粒子采样,根据不同采样的Hog特征与目标Hog特征的相似度分配权值,再根据粒子对目标位置的贡献加权计算得到焊缝的目标位置。可见,焊缝跟踪原理可以分为预测和更新修正两个步骤。

1) 预测:对焊缝进行实时跟踪时,相邻两帧图像上焊缝的位置变化不大,因此焊缝拐点位置是可预测的。根据上一帧k-1时刻焊缝的状态信息x_k-1预测下一帧k时刻焊缝的状态信息x_k。可以利用服从高斯分布的运动模型p(x_k|x_k-1)来预测候选状态。

2) 更新修正:根据实际采集的k时刻的焊缝图像计算观测值z_k,然后通过观测似然概率p(z_k|x_k)和先验概率p(x_k-1|z_1:k-1),计算k时刻的后验概率p(x_k|z_1:k),并通过统计修正计算出焊缝最优的状态 x^k。

因此,焊缝跟踪可以看成是后验概率的状态估计问题。也就是说,利用观测数据和前一时刻的后验概率来估计当前的后验概率,进而实现目标跟踪。通过预测和更新这两个步骤就可以解决通过观测似然概率p(z_k|x_k)和先验概率p(x_k-1|z_1:k-1)推导后验概率p(x_k|z_1:k-1)的问题,即得出当前时刻待跟踪目标位置的最优解。由此可知,在焊缝跟踪过程中,观测似然概率p(z_k|x_k)的计算对最优解计算的影响巨大,即焊缝特征描述的准确性和抗干扰能力是影响焊缝跟踪结果的关键,因此,将Hog特征向量作为焊缝特征的观测矢量。在实际的焊缝跟踪过程中,无法求解出后验概率的解析解。利用基于蒙特卡罗采样原理的粒子滤波方法,通过随机采样产生的粒子状态来逼近真实状态的后验概率分布。因此,为了实现焊缝目标的准确跟踪,本文采用基于Hog的粒子滤波算法。

4 基于Hog粒子滤波的焊缝跟踪算法

根据跟踪原理设计了基于Hog粒子滤波的焊缝跟踪算法。算法流程如图5所示。

图 5. 基于Hog粒子滤波的焊缝跟踪算法流程图

Fig. 5. Flow chart of seam tracking algorithm based on particle filter with histogram of oriented gradient

下载图片 查看所有图片

根据滤波流程图,具体的滤波过程如下:

1) 目标区域初始化

焊接过程中,焊缝的预测跟踪将以焊缝拐点为中心的合适大小的矩形区域作为目标区域,提取目标区域的Hog特征向量T,建立目标的特征模板。

2) 粒子初始化

根据设定的粒子数目N,依据先验分布概率p(x₀)=1/N,初始化粒子集{ x0i,N^-1}i=1N。

3) 状态转移

在粒子从k-1时刻到k时刻的状态转移过程中,采用高斯分布的运动模型p(x_k|x_k-1)预测粒子位置: x0i~p(x_k|x_k-1)=N(x_k;x_k-1)。

4) 权值更新

依据粒子的Hog特征与目标特征的相似度对粒子状态的权值进行更新。k时刻粒子权值的更新公式通过k-1时刻的粒子权重 wk-1i和系统观测概率p( xki|zki)递推计算并归一化得到,具体公式为

wki=wk-1i·p(xki|zki)。(1)

权值归一化公式为

w^ki=wki∑i=1nwki。(2)

利用Hog特征得到的系统观测概率模型中的系统观测概率p( xki|zki)的计算公式为

p(xki|zki)=12πRexp-d22R,(3)

其中,

d=1-ρ(zki,T),(4)

式中:R为系统的观测噪声;d为评价采样与目标模板Hog特征相似度的巴氏距离,它可作为相似性的衡量标准;ρ为粒子采样得到的Hog特征向量 zki与目标模板的特征向量T进行比较得到的相似度,其表达式为

ρ(zki,T)=∑j=1Mzki(j)T(j),(5)

式中:M为提取的特征向量的维数。经过相似性计算后,可根据(1)~(5)式实现粒子权重的计算与更新。

5) 重采样

为了避免迭代计算导致粒子退化,对粒子集进行重采样得到新的粒子集。重采样后的粒子数目不变,且每个粒子的权值均为1/N,用新的粒子集去估计系统状态,进入循环跟踪。

6) 状态估计

①利用公式 x^k=∑i=1Nwkixki进行目标状态的估计,计算得到最终预测的最优位置。

②判断迭代是否继续,若继续,则更新时刻k=k+1,转移步骤2);若不继续,目标跟踪结束。

5 实验与分析

5.1 实验系统

本文以典型的V型焊缝进行跟踪实验。实验采用的自动焊接系统如图6(a)所示。系统由爬行和横摆两轴运动的移动焊接小车、线激光视觉传感器和焊枪组成。在直径为250 mm的管道上完成焊接实验,管道上V型焊缝的最大缝宽为25 mm。跟踪实验主要是对V型焊缝的拐点位置进行提取,并对焊枪横摆运动进行纠偏控制,以实现焊缝的准确跟踪。因此,本实验采取的控制策略是利用增量式PID控制规律根据V型焊缝左右拐点位置的变化进行纠偏控制。焊枪尖部与线激光视觉传感器的距离为25 mm。由于存在一定的距离滞后,因此在PID控制策略中引入预估控制器,以减小距离滞后对跟踪误差的影响。同时,根据现场焊接工艺要求,为避免焊接偏差过小时纠偏引起的振荡,纠偏输出采用带死区的PID进行控制,死区值设定为0.3 mm。

进行自动焊接时,焊枪依据焊缝坡口的边沿信息进行焊接。因此,跟踪目标选择为焊缝坡口两边的拐点区域。如图6(b)所示,激光线显示了V型焊缝的特征,左右拐点处为V型焊缝的边缘位置,因此选取焊缝拐点区域作为跟踪目标。

图 6. 自主移动焊接机器人实验装置与实际自主焊接过程,以及焊缝跟踪区域示意图。(a)实验装置与自主焊接过程;(b)焊缝跟踪区域示意图

Fig. 6. Experimental device of autonomous mobile welding robot and actual autonomous welding process, and schematic of seam tracking area. (a) Experimental device and actual autonomous welding process; (b) schematic of seam tracking area

下载图片 查看所有图片

5.2 跟踪实验

对跟踪目标进行初始化需要准确获取焊缝目标拐点的精确位置,并以拐点位置确定焊缝跟踪的目标区域。针对首帧获取的无弧光干扰的焊缝激光条纹图像,采用Steger算法^[20]得到激光条纹的中心点,然后利用V型焊缝的形状特点,将中心点分为A、B、C、D四部分点集,如图7(a)所示。对于A点集和B点集,分别通过拟合直线求取两条直线的交点^[21],即为目标1的中心点,也就是焊缝的左拐点,如图7(b)所示。对于C点集和D点集,分别通过拟合直线求取两条直线的交点,即为目标2的中心点,也就是焊缝的右拐点,如图7(c)所示。

图 7. 点集和拐点示意图。(a)将中心点分成四部分点集;(b)焊缝的左拐点;(c)焊缝的右拐点

Fig. 7. Schematics of point sets and flex points. (a) Divide the center point into four point sets; (b) left flex point of weld; (b) right flex point of weld

下载图片 查看所有图片

通过对焊缝激光条纹进行上述处理,就实现了首帧图像焊缝拐点的自动识别以及目标区域的自动选取。在目标区域提取如图3所示的Hog特征,进而建立目标模板。

跟踪过程如图8所示。框内散落点为粒子滤波过程中的采样粒子。将采样粒子的Hog特征与模板进行匹配,利用巴氏距离系数计算当前目标模板与参考模板之间的相似度,同时计算对应粒子的权值,并对权值进行归一化处理。根据权值就可以估计出焊缝的最优位置,实现焊缝的跟踪。

图 8. 跟踪过程中的粒子分布图

Fig. 8. Particle distribution map during tracking

下载图片 查看所有图片

跟踪结果如图9所示,框图为预测的目标区域,其中心点为跟踪过程中预测的目标位置。从图9中可以看到实际的跟踪效果比较准确,能在有强烈弧光干扰的情况下实现焊缝的自动跟踪。

图 9. 焊缝跟踪结果示意图

Fig. 9. Schematics of seam tracking results

下载图片 查看所有图片

5.3 实验分析

5.3.1 粒子数的选取

采用粒子滤波的方式对跟踪目标区域进行焊缝跟踪。本文采用的基于Hog的粒子滤波跟踪算法的处理时间主要受采样粒子数的影响。平均跟踪误差随粒子数的变化曲线如图10所示,可见,跟踪粒子数越多,跟踪误差越小。

图 10. 跟踪误差随粒子数量的变化

Fig. 10. Variation of tracking error with number of particles

下载图片 查看所有图片

每帧处理时间随粒子数的变化如图11所示,可见,跟踪粒子越多,处理时间越长。依据图11所示的规律,在保证跟踪精度的前提下尽可能减少图像的处理时间。因此,本文选择粒子数为100进行焊缝跟踪,跟踪误差小于0.3 mm,图像处理时间为0.37 s。本实验的跟踪过程是移动焊接小车沿着焊道方向作爬行运动和沿着V型焊缝两个拐点作横摆运动实现的。因此,单帧焊缝图像的处理时间要少于焊接小车沿焊缝横摆一个来回的时间。现场焊接工艺要求焊缝横摆的最快速度是40 mm/s,峰宽为10 mm的焊缝横摆一个来回的行程为20 mm,要求焊缝图像的处理时间小于0.5 s;若缝宽增加,则可以允许图像处理时间有一定的增加。因此,本文选择粒子数为100可以满足实时性要求。

图 11. 每帧图像处理时间随粒子数的变化

Fig. 11. Variation of processing time of each frame image with the number of particles

下载图片 查看所有图片

5.3.2 跟踪精度

为了定量分析基于Hog粒子滤波的焊缝跟踪算法的跟踪效果,根据选定的粒子数100,统计分析了60帧焊缝目标图像的跟踪结果。通过计算得到了预测点与真实点的距离,如图12示。

图 12. 焊缝跟踪误差曲线图

Fig. 12. Diagram of seam tracking error curve

下载图片 查看所有图片

目标1跟踪分析:预测点与真实位置误差的最大值为第31帧,最大误差为3.261个像素。目标2跟踪分析:预测点与真实位置误差的最大值为第11帧,最大误差为2.670个像素。跟踪实验中真实点的像素坐标是通过多人对实验图片进行人工标注后取平均值得到的。像素坐标到真实坐标的转化是以焊缝左右拐点横坐标之间的距离与焊缝真实宽度进行标度变换后得到的。实验中的焊缝坡口经过精密加工得到,加工精度为10 μm级,焊缝坡口宽度为25 mm;图像中坡口的平均宽度为350个像素,单位像素对应的实际距离为0.071 mm。跟踪结果中出现的最大误差为3.261个像素,对应的跟踪误差小于0.2315 mm。

5.3.3 对比实验

为了验证本文所提算法在提高跟踪精度和抗干扰能力方面的有效性,将其与基于图像灰度特征的粒子滤波跟踪算法、基于KCF的算法进行对比,对比结果如图13示。

在无干扰情况下,三种算法均能够准确地跟踪目标,如图13(a1)、(a2)、(a3)所示。在有弧光、飞溅等噪声干扰的情况下,基于灰度特征的粒子滤波跟踪算法虽然能够跟踪,但产生了较大的跟踪误差,如图13(b1)所示;基于KCF算法和本文算法的跟踪更准确,如图13(b2)、(b3)所示,能够保证较高的跟踪精度。在有强烈噪声干扰的情况下,基于灰度特征的粒子滤波跟踪算法产生了较大偏差,无法满足跟踪要求,如图13(c1)所示;基于KCF的算法和本文算法仍能够准确跟踪,且具有较高的精度,如图13(c2)、(c3)所示。

综上,本文所提算法的跟踪效果与基于KCF的算法比较接近,跟踪结果满足要求。

图 13. 焊缝跟踪对比图

Fig. 13. Comparison charts of seam tracking

下载图片 查看所有图片

为了定量分析基于灰度特征的粒子滤波算法、基于KCF的算法与本文算法的跟踪效果,统计分析了这三种算法在60帧焊缝图像中的跟踪结果。通过计算得到的三种算法的跟踪误差如图14所示。

图 14. 焊缝跟踪误差的对比

Fig. 14. Contrast of seam tracking error

下载图片 查看所有图片

由图14所示的跟踪数据可知:本文算法与基于图像灰度特征的跟踪算法相比,误差曲线相对比较平稳,且跟踪误差较小,更能满足焊缝跟踪的精度要求;本文所提算法的跟踪数据与基于KCF的算法比较接近,因此在实际的焊缝跟踪中是可行的。

6 结论

本文针对自动焊接过程中弧光、飞溅等噪声严重影响焊缝跟踪质量的现象,利用具有良好几何和光学形变不变性的Hog来描述V型焊缝激光条纹在拐点处的方向性特征,提出了一种基于Hog粒子滤波的焊缝跟踪算法;经实验验证后可知,该方法能够在严重噪声干扰的环境下准确识别焊缝特征,精准定位焊缝位置,且目标跟踪效果具有良好的稳定性和较高的精度。将本文算法与基于灰度特征的粒子滤波跟踪算法进行对比后可知,本文算法能够有效避免焊接过程中噪声干扰的影响,跟踪精度能达到0.240 mm,具有更好的精度和鲁棒性。本文算法为工业现场的自动焊接提供了一种可靠且有效的焊缝跟踪算法。