焊缝信息的快速准确获取是实现自动化焊接的首要问题。然而，在实际焊接过程中，电弧、飞溅、强反射光等噪声会严重污染采集的图像，导致焊缝定位偏移，最终导致跟踪失败。为了提高跟踪过程中的焊缝定位精度与图像处理速度，本文提出了一种将激光条纹分割与焊缝特征点定位相结合的轻量级多任务深度学习模型。该模型由编码器和解码器组成，激光条纹分割子任务与焊缝特征点定位子任务共用编码器主干网络，解码器包含激光条纹分割分支和基于可微空间到数值转换（DSNT）的焊缝特征点定位分支，整个模型遵从轻量化设计思想，同时利用多个子任务之间的相关信息，进一步提升各子任务的性能。实验结果表明，所提模型能够有效克服各类焊接噪声，完成焊缝特征的提取，单幅图像的处理时间约为11.45 ms，特征点定位精度可达0.1872 pixel，在自动化焊接方面具有广阔的应用前景。

基于激光结构光视觉传感的焊缝跟踪技术将焊缝定位转化为结构光条纹特征点的定位，具有较强的普适性。然而，实时焊缝跟踪中弧光（焊接电弧产生的强烈可见光）、飞溅（溅射焊渣）、烟尘等噪声对结构光图像造成了严重的污染，从而影响了焊缝定位的精度和鲁棒性。滤除结构光图像中的噪声对于提升焊缝定位的精度和鲁棒性具有重要作用。为滤除焊缝结构光图像中的噪声，本文提出了一种基于轻量化DeepLab v3+语义分割网络的焊缝结构光图像分割方法，通过分割出结构光条纹的前景图像来达到噪声滤除的目的。采用浅层Resnet-18网络替代DeepLab v3+的原始深层骨干网络，以提高分割效率；以像素占比的补数为权重设计了加权交叉熵损失函数，以提高结构光条纹分割的像素准确率。实验结果表明：所提方法的平均单张图像推理时间为15.9 ms，结构光条纹的像素准确率为96.47%，结构光条纹的平均交并比为89.04%，可以实现高效、精确、鲁棒的结构光图像分割，从而达到焊缝结构光图像中弧光、飞溅、烟尘等噪声滤除的目的。

为了提高工业上管道焊接的自动化水平，快速准确地识别焊缝是关键，针对此问题设计了一种针对管道母线焊缝的激光视觉引导的焊缝跟踪系统。利用CCD工业相机获取包含激光条纹的焊缝图像，对图像进行数字化滤波、阈值分割、感兴趣区域提取后确定激光条纹的位置；然后对激光条纹使用改进的几何中心算法进行细化处理，利用曲线拟合和特征点识别算法获取焊点的二维坐标；最后根据相机成像原理对焊缝特征点进行三维重建，将焊点坐标从图像坐标系转换到机器人基坐标系下指导机器人自动焊接。实验结果表明，该系统对焊点的识别误差均在0.5 mm之内，识别效率和焊缝特征点提取精度高，满足机器人自动焊接的生产要求。

针对线激光视觉传感的焊缝跟踪系统在焊接过程中易受弧光、飞溅等噪声干扰而出现焊缝位置识别精度不高的问题，本研究团队提出了一种基于核相关/卡尔曼滤波算法的焊缝路径识别方法。利用图像处理方法提取焊缝中心区域，在焊接过程中利用核相关滤波(KCF)算法实时定位焊缝中心，根据响应图峰值旁瓣比(PSR)对焊缝目标模板进行自适应更新，以提高模板的抗干扰能力。采用状态扩增法建立带有色观测噪声的焊缝中心位置的卡尔曼滤波模型，对焊缝中心进行最优估计，进一步提高系统在强噪声环境下的焊缝路径识别精度。分别进行对接焊缝和搭接焊缝路径识别试验，试验结果表明：所提算法能在有强烈弧光和飞溅的工况下实现焊缝路径的准确识别，识别误差能分别控制在0.137 mm和0.105 mm以内。

自动焊接时,为提高焊缝坡口关键位置的检测精度和抗干扰能力,基于卷积神经网络设计了焊缝特征点提取网络。该网络通过卷积、池化操作对图像中焊缝激光线的位置信息和拐点特征信息进行提取;引入先验框,将焊缝特征点检测从全局定位转为局部定位;识别定位模块通过结合特征点位置预测与特征点存在置信度预测,抑制了噪声干扰。为保证实际的焊接效率,融合相关滤波算法完成了焊缝关键位置的自动追踪。核相关滤波通过快速傅里叶变换降低了算法的时间复杂度,引入循环矩阵循环移位样本进行充分训练,保证了跟踪速度和精度。实验结果表明,焊缝特征点定位的均方根误差为0.207 mm,最大定位误差为0.71 mm。本文所提算法的定位精度较高,而且适用性和抗噪声干扰能力较强,能够满足焊缝自动跟踪系统的要求。

为了解决基于线激光视觉传感的焊缝中心位置定位精度不高的问题, 采用了一种基于改进跟踪-学习-检测（TLD）算法的焊缝跟踪方法。由激光视觉传感器实时获取焊缝图像, 采用将跟踪器与检测器结合的TLD算法实时跟踪焊缝特征点, 同时通过在线学习机制更新分类器参量。在此基础上对激光条纹图像截取感兴趣区域, 大幅减少检测器的搜索区域; 根据激光条纹光强分布特性, 结合纠偏方向选取跟踪器有效特征点, 以此提高算法效率, 对不锈钢板V型焊缝和搭接焊缝进行跟踪试验。结果表明, 跟踪与检测可实现共同定位焊缝中心位置, 其融合的焊缝跟踪方法能够准确地提取焊缝特征点, 两种焊缝跟踪平均绝对误差分别为0.062mm和0.052mm。此方法为提高焊缝跟踪精度提供了依据。

针对自动焊接过程中焊缝跟踪因受弧光、飞溅等噪声干扰而导致跟踪精度低的问题,提出了一种基于方向梯度直方图(Hog)粒子滤波的V型焊缝跟踪算法。Hog具有良好的几何和光学形变不变性,所提算法用它来描述焊缝激光条纹在拐点处的方向性特征。本算法首先通过提取焊缝目标区域的Hog建立目标模板,然后利用焊缝序列图像位置信息的连续性预测焊缝的候选状态,再通过粒子采样计算候选状态下的Hog特征,并将其与目标模板进行相似度计算,得到最优的焊缝位置,实现焊缝的跟踪。对典型的V型焊缝图像进行了跟踪实验,实验结果显示:所提算法在有强烈弧光、飞溅等噪声干扰的环境下,能够准确定位焊缝的目标位置,跟踪误差小于0.24 mm。

基于深层卷积神经网络的特征学习能力,提出了一种基于全卷积神经网络的焊缝特征提取方法。该方法利用全卷积神经网络将包含焊缝特征信息的像素预测出来,通过融合低层与高层特征信息来补充焊缝边缘的特征信息。研究结果表明:所提方法能在强烈弧光和烟尘干扰下准确地提取出焊缝位置,具有抗干扰能力强、识别准确的优点。

随着机器人自动焊接技术的快速发展,机器视觉技术的需求越来越强,一方面导致了机器视觉技术的应用领域扩大化,另一方面对该技术的要求也更加严格和健全,这有力的推动了该技术的发展。简述了机器视觉系统的概念及典型组成,结合机器视觉技术在自动化焊接领域中的应用现状,综述了焊缝识别与定位技术,激光焊缝跟踪技术,熔池视觉形态监测,熔透与熔深智能控制技术,焊缝缺陷监测及控制技术的研究现状及发展趋势。

针对V型坡口中厚板对接焊,研究一种噪声环境下应用径向基函数(Radial Basis Function,RBF)神经网络补偿卡尔曼滤波(Kalman Filter,KF)误差的焊缝跟踪方法。根据三角测量原理设计激光结构光视觉传感器并采集焊缝图像,对受噪声干扰的焊缝图像进行预处理。采用基于光强度分布特性的灰度平方加权重心法提取结构光条纹中心线,通过道格拉斯-普克算法(Douglas-Peucker algorithm)和最小二乘法相结合的方法提取焊缝特征点。建立描述焊缝中心位置的系统状态方程与测量方程,运用RBF神经网络补偿卡尔曼滤波模型误差及噪声统计不确定性造成的滤波误差,修正卡尔曼滤波估计值。试验结果表明,RBF神经网络补偿卡尔曼滤波能够减小噪声干扰的影响,提高焊缝跟踪精度,有效抑制卡尔曼滤波发散。