基于激光结构光视觉传感的焊缝跟踪技术将焊缝定位转化为结构光条纹特征点的定位，具有较强的普适性。然而，实时焊缝跟踪中弧光（焊接电弧产生的强烈可见光）、飞溅（溅射焊渣）、烟尘等噪声对结构光图像造成了严重的污染，从而影响了焊缝定位的精度和鲁棒性。滤除结构光图像中的噪声对于提升焊缝定位的精度和鲁棒性具有重要作用。为滤除焊缝结构光图像中的噪声，本文提出了一种基于轻量化DeepLab v3+语义分割网络的焊缝结构光图像分割方法，通过分割出结构光条纹的前景图像来达到噪声滤除的目的。采用浅层Resnet-18网络替代DeepLab v3+的原始深层骨干网络，以提高分割效率；以像素占比的补数为权重设计了加权交叉熵损失函数，以提高结构光条纹分割的像素准确率。实验结果表明：所提方法的平均单张图像推理时间为15.9 ms，结构光条纹的像素准确率为96.47%，结构光条纹的平均交并比为89.04%，可以实现高效、精确、鲁棒的结构光图像分割，从而达到焊缝结构光图像中弧光、飞溅、烟尘等噪声滤除的目的。

为了提高工业上管道焊接的自动化水平，快速准确地识别焊缝是关键，针对此问题设计了一种针对管道母线焊缝的激光视觉引导的焊缝跟踪系统。利用CCD工业相机获取包含激光条纹的焊缝图像，对图像进行数字化滤波、阈值分割、感兴趣区域提取后确定激光条纹的位置；然后对激光条纹使用改进的几何中心算法进行细化处理，利用曲线拟合和特征点识别算法获取焊点的二维坐标；最后根据相机成像原理对焊缝特征点进行三维重建，将焊点坐标从图像坐标系转换到机器人基坐标系下指导机器人自动焊接。实验结果表明，该系统对焊点的识别误差均在0.5 mm之内，识别效率和焊缝特征点提取精度高，满足机器人自动焊接的生产要求。

为了解决基于线激光视觉传感的焊缝中心位置定位精度不高的问题, 采用了一种基于改进跟踪-学习-检测（TLD）算法的焊缝跟踪方法。由激光视觉传感器实时获取焊缝图像, 采用将跟踪器与检测器结合的TLD算法实时跟踪焊缝特征点, 同时通过在线学习机制更新分类器参量。在此基础上对激光条纹图像截取感兴趣区域, 大幅减少检测器的搜索区域; 根据激光条纹光强分布特性, 结合纠偏方向选取跟踪器有效特征点, 以此提高算法效率, 对不锈钢板V型焊缝和搭接焊缝进行跟踪试验。结果表明, 跟踪与检测可实现共同定位焊缝中心位置, 其融合的焊缝跟踪方法能够准确地提取焊缝特征点, 两种焊缝跟踪平均绝对误差分别为0.062mm和0.052mm。此方法为提高焊缝跟踪精度提供了依据。

针对自动焊接过程中焊缝跟踪因受弧光、飞溅等噪声干扰而导致跟踪精度低的问题,提出了一种基于方向梯度直方图(Hog)粒子滤波的V型焊缝跟踪算法。Hog具有良好的几何和光学形变不变性,所提算法用它来描述焊缝激光条纹在拐点处的方向性特征。本算法首先通过提取焊缝目标区域的Hog建立目标模板,然后利用焊缝序列图像位置信息的连续性预测焊缝的候选状态,再通过粒子采样计算候选状态下的Hog特征,并将其与目标模板进行相似度计算,得到最优的焊缝位置,实现焊缝的跟踪。对典型的V型焊缝图像进行了跟踪实验,实验结果显示:所提算法在有强烈弧光、飞溅等噪声干扰的环境下,能够准确定位焊缝的目标位置,跟踪误差小于0.24 mm。

基于深层卷积神经网络的特征学习能力,提出了一种基于全卷积神经网络的焊缝特征提取方法。该方法利用全卷积神经网络将包含焊缝特征信息的像素预测出来,通过融合低层与高层特征信息来补充焊缝边缘的特征信息。研究结果表明:所提方法能在强烈弧光和烟尘干扰下准确地提取出焊缝位置,具有抗干扰能力强、识别准确的优点。

随着机器人自动焊接技术的快速发展,机器视觉技术的需求越来越强,一方面导致了机器视觉技术的应用领域扩大化,另一方面对该技术的要求也更加严格和健全,这有力的推动了该技术的发展。简述了机器视觉系统的概念及典型组成,结合机器视觉技术在自动化焊接领域中的应用现状,综述了焊缝识别与定位技术,激光焊缝跟踪技术,熔池视觉形态监测,熔透与熔深智能控制技术,焊缝缺陷监测及控制技术的研究现状及发展趋势。

针对V型坡口中厚板对接焊,研究一种噪声环境下应用径向基函数(Radial Basis Function,RBF)神经网络补偿卡尔曼滤波(Kalman Filter,KF)误差的焊缝跟踪方法。根据三角测量原理设计激光结构光视觉传感器并采集焊缝图像,对受噪声干扰的焊缝图像进行预处理。采用基于光强度分布特性的灰度平方加权重心法提取结构光条纹中心线,通过道格拉斯-普克算法(Douglas-Peucker algorithm)和最小二乘法相结合的方法提取焊缝特征点。建立描述焊缝中心位置的系统状态方程与测量方程,运用RBF神经网络补偿卡尔曼滤波模型误差及噪声统计不确定性造成的滤波误差,修正卡尔曼滤波估计值。试验结果表明,RBF神经网络补偿卡尔曼滤波能够减小噪声干扰的影响,提高焊缝跟踪精度,有效抑制卡尔曼滤波发散。

针对自适应性低的焊缝跟踪系统在实际焊接环境中易受噪声干扰的问题, 结合深度卷积神经网络强大的特征表达能力和自学习功能, 研究了基于深度分层特征的焊缝检测和跟踪系统, 该系统可精确地从噪声污染的时序图像中确定焊缝位置。为彻底解决焊枪依循计算轨迹运动所出现的抖振问题, 设计了模糊免疫自适应的智能跟踪控制算法。实验结果显示, 在强烈弧光和飞溅的干扰下, 传感器测量频率达20 Hz, 焊缝跟踪精度约为0.2060 mm,且焊接过程中焊枪末端运行平稳。该系统能实现焊缝平滑的实时跟踪, 抗干扰能力强, 焊缝轨迹跟踪准确, 能满足焊接应用要求。

针对自动焊接过程中焊缝特征点的检测问题, 提出了一套由工业相机和三线激光发生器组成的焊缝实时跟踪传感器设计方案。基于三角测量原理, 设计传感器的机械结构, 推导得出由激光条纹特征点像素坐标计算出焊缝特征点三维坐标的数学模型, 为有效抵抗在焊接过程中存在的弧光和飞溅的干扰, 采用高斯核相关(KCF)目标跟踪算法, 实时跟踪计算出图像中焊缝特征点的位置。实验结果表明, 采用最大焊接电流350 A的MIG焊, 在有强烈弧光和飞溅的工况下, 该装置能实现焊缝实时准确跟踪, 激光条纹与焊接熔池的最小距离可达20 mm, 传感器采样频率最高可达20 Hz, 跟踪误差小于0.42 mm, 能满足在实际焊接过程的使用要求。

设计了一套由三轴直角坐标机器人、线激光传感器和工业计算机组成的焊缝跟踪系统。研究了该系统所涉及的测量原理、特征点测量方法和基于模糊自适应的控制方法。通过高斯核相关算法(KCF)在焊接过程中实时检测焊缝特征点, 并根据测量原理计算获得特征点相对于相机坐标系的三维坐标值。设计了一种自适应模糊控制器, 通过自适应模糊控制器计算坐标的偏差值和偏差变化率得到焊枪末端运动轨迹的控制量, 同时对模糊控制器的输入输出论域、模糊规则和隶属函数进行实时动态更新。实施了焊缝跟踪实验。结果显示: 采用最大焊接电流为350 A的惰性气体保护焊(MIG), 在强烈弧光和飞溅的干扰下, 该系统能实时跟踪焊接工件, 跟踪精度为0.325 3 mm, 传感器测量频率为20 Hz。焊接过程中焊枪末端运行平稳, 焊缝轨迹跟踪准确, 且抗干扰能力, 能满足焊接应用要求。