1　引　　言

目前，对复杂曲面焊接区域的打磨几乎完全依靠有经验的钳工手工作业。打磨过程中，工人需要观察被打磨区域的位置及形状，实时调整打磨头的姿态、位置^［1］以及施加力的大小，效率低且质量一致性较差^［2］；此外打磨时火花四溅，导致现场作业环境十分恶劣，对工人的身体健康会造成一定影响。基于现有打磨工艺的打磨机器人视觉识别任务就是自动对数据进行采集分析，找到焊缝区域的起始与终止位置。这是自动打磨的第一步，对打磨工艺起着不可或缺的作用。焊缝位置定位主要分为示教和视觉引导两种方式。视觉引导定位可根据实际的焊缝形状特征自动调节实现定位^［3］，在柔性制造及智能制造中起到关键作用，是一种非常有发展前景的定位方法。

基于视觉的引导定位方法中，方艳等^［4］利用缺陷边界特征生成初始缺陷边界，进而对初始缺陷边界不连续、多分支、锯齿状等特点进行分析，得到高精度破损零件的缺陷边界。朱振友等^［5］使用模板匹配方法寻找焊缝的起始点，但该方法精度较低且对模板的依赖性强。Lü等^［6］基于最小二乘法的斜率分析法检测焊缝坡口图像的特征，并根据提取的特征点计算焊缝的尺寸信息。Geng等^［7］在解决检测焊接螺柱问题时设计了自适应阈值计算二值图像，然后利用骨架线提取算法和形态学滤波法提取图像，但该算法仅适用于有特定结构的图像特征提取。陈海永等^［8］利用边缘检测及霍夫变换得到焊接点圆形的感兴趣区域，然后将像素值较高的白色区域作为寻找的焊接点，降低了算法对光照等外部干扰的影响，鲁棒性较强。Qi等^［9］先通过8连接区域处理方法标记焊接区域，然后提取周长、面积及圆度等参数特征提高焊接区域的辨识度。郭吉昌等^［10］采用极大值抑制方式提取熔池边界，实现宽度测量，可适用于线特征的定位。Metwally等^［11］通过计算拓扑能量的方式突显出焊缝缺陷位置，增强了图像对比效果。刘子腾等^［12］通过分段拟合直线求交点的方法寻找焊缝位置，可适用于直线或平面相交的焊缝形状，但不适用于不规则曲线，原因是不规则曲线的拟合比较复杂，且两曲线的交点不突出。邹焱飚等^［13］结合深度卷积神经网络（CNN）研究了基于深度分层特征的焊缝检测和跟踪系统，从被噪声污染的时序图中确定焊缝位置。杨雪君等^［14］利用灰度值突变定位V型焊缝上部的两个拐点，然后在这两点间拟合直线，并通过寻找交点的方式找到特征点。这种方式可去掉干扰点，大大提高特征点的提取精度。Li等^［15］利用序列重力法（SGM）提取更平滑的焊缝中心线，可减少干扰的影响，增强算法的提取精度。Zhu等^［16］通过熔池图像轮廓的尖端找到坡口间隙的中心，并利用导线轮廓中心坐标与熔池图像轮廓尖端坐标之间的水平距离估计焊接偏差。

现有研究成果大多根据点、线或规则形状焊缝本身的几何属性进行识别，不能满足工业领域对复杂曲面焊缝进行打磨的要求。近年来，针对复杂曲面的测量研究日益增多，如复杂曲面的表面动态测量修复^［17-18］。本文从焊缝表面的纹理特征出发，结合实际工艺要求，针对不规则曲面提出了一种鲁棒性强、精度高的识别算法及深度图像增强算子，可实现曲面焊缝区域的识别及深度图像的特征表达效果。

2　问题描述

图1为需要进行打磨的工件（workpiece），耳板的末端与工件本体通过焊接工艺连接在一起。焊接完成后，需要将焊接表面（target area）打磨成与耳板表面圆滑过渡的区域。图1主要展现的是工件焊接后的表面特征，寻找焊缝的起始位置与终止位置，本质上就是设计一种特征对其进行跟踪定位并确定其位置^［19］，以便机器人进行打磨作业。

图 1. 原始工件

Fig. 1. Original workpiece

下载图片 查看所有图片

3　算法原理

需要打磨的位置位于耳板末端，线结构光扫描仪扫描得到的是工件表面的三维点云数据。从耳板的实物图及设计图可知，耳板表面模型在焊接前是光滑（数学定义）连续曲面。焊接后，焊接区域会变得凹凸不平，表面特征与未焊接表面有明显差异。表面点云模型如图2所示，可以发现，焊接区域几乎都是凹凸不平的曲面，而焊缝上部的耳板表面及下部的工件本体为连续光滑的曲面。

图 2. 耳板表面的点云数据

Fig. 2. Point cloud data on the surface of the ear plate

下载图片 查看所有图片

文献［4-5，12］在识别、检测线形焊缝时利用斜率突变特征找到焊缝的起始位置与终止位置。检测曲面上的打磨区域时，斜面某点的曲率半径与该点切平面的法向量共线。从微分角度考虑，当曲面分割得足够小时，微分的微小曲面就是该点的切平面。因此，可将曲率突变法扩展至三维空间中。曲面上某点曲率的变化量与其法向量的夹角变化量成正比，为了简化运算，可利用法向量的夹角将曲率突变法（算法1）和本算法（算法2）进行对比分析。

3.1　算法1

根据工件表面曲率突变信息寻找焊缝区域的算法步骤：1）数据预处理；2）滤波；3）降采样；4）分割出耳板点云并将其沿耳板宽度方向切片；5）平面拟合各切片并求出拟合后平面的法向量；6）计算相连两个切片法向量的夹角；7）根据两个法向量夹角的突变位置判断焊缝的起始和终止位置；8）根据具体的打磨工艺，输出机器人所需的位置点。

3.2　算法2

工件表面及耳板表面均为相对平滑的金属表面，但焊接工艺会导致焊缝所在的局部区域形成斑点或凹凸不平的曲面，可通过表面的平滑程度定位焊缝的起始和终止位置。数据的标准差可表示数据的波动程度，因此，利用车间使用的线结构光扫描仪得到焊缝表面的高度信息，从而计算耳板的表面平滑程度，标准差越大，表明表面越不平滑。

为了验证本算法的可行性及工件表面的实际粗糙情况，设计了一种增强显示深度图表面平滑特征的算子，以处理原始扫描仪生成的深度图（像素的强度值为工件表面的高度）。实验证明该算子的效果很好，不仅能凸显出工件表面的特征，还能展现工件表面的纹理信息。

3.2.1　算子的处理过程

图3为增强算子对图像的处理过程，具体步骤如下。

图 3. 增强算子的处理流程

Fig. 3. Processing flow of the enhancement operator

下载图片 查看所有图片

1） 对原始图像中的异常值进行判断

被测量表面的一些特性及线结构光的特性会导致扫描不到某些点，从而出现异常值。因此需要先判断是否存在异常值，若存在，则对异常值进行标记。图4为该增强算子对图像的具体处理过程，其中，o为核kernel的中心像素值，a~h为中心像素的8邻域像素值，o_new为处理后的新像素值。

图 4. 增强算子的具体处理流程

Fig. 4. Specific processing flow of the enhancement operator

下载图片 查看所有图片

2） 明确异常值的处理方式后，对图像进行处理。若图像的尺寸为M×N，首先通过在图像周围增加一层像素值为0的像素或在边界补充临近值的方式补充边界，将图像的长和宽各增加1 pixel，新图像的尺寸为（M+2）×（N+2）。然后从原始图像的第1个元素开始，在以该像素为中心的9宫格内，用中心像素值分别减去周围8个点的像素值，取绝对值之和作为中心元素的新像素值。从左到右、从上到下依次遍历整幅图像，9宫格每次的滑动步长为1 pixel。最后去除最外层边界，将图像恢复为原始尺寸M×N。

3） 设置合适的阈值，保留需要的纹理特征。从原理上看，经增强算子处理的图像中灰度越大（越暗），表明表面越光滑；相反，灰度越小（越亮），表明表面越凹凸。

图5（a）为线结构光扫描仪生成的原始深度图像，图5（b）为经增强算子处理后的图像。可以看出，线结构光相机获得的原始深度图表面高度值接近且表面粗糙程度不明显，而经增强算子处理后的图像工件表面信息得到了增强。工件本体表面及耳板上部的灰度较小，相对比较平滑，而焊接区域出现明显的纹理特征，这表明该区域的表面相对粗糙。与实际工件图像进行对比后发现，两者的纹理特征基本一致。且从右下角的细节处可知，工件上的焊接斑点也得到了很好的显示。这表明利用增强算子可区分焊接区域与非焊接区域，考虑到数据通过线结构光采集，因此实验利用每行数据的波动变化设计算法。

图 5. 增强算子的效果图。（a）原始图像；(b)增强算子处理后的图像

Fig. 5. Effect diagram of the enhancement operator. (a) Original image; (b) image obtained after enhancement operator processing

下载图片 查看所有图片

3.2.2　利用表面特征设计算法

1） 滤波及异常值的处理：为了去除异常值对数据的影响，需考虑到数据的标准差，可表示为

式中，xi为第i个数据点的高度值，r为平均高度值，N为每行点云的个数。

令异常值（扫描到的点）等于每行数据的平均值，实验证明，用平均值处理异常值的效果较好。同时用平均值代替异常值还可以避免某行大部分数据是异常值，从而减少部分数据的波动带来的影响。

2） 计算每行数据的标准差或方差：以行为单位依次计算每行高度数据的标准差或方差，并以此表征耳板表面的平滑程度。

3） 将步骤2）中得到的数据进行拟合，找到突变较大的位置。

4） 找到满足步骤3）的值并与现实工件进行转换，得到焊接区域的边界值。

4　算法实验及分析

4.1　算法1

算法1用4组样本以多个曲率进行分析，选取最优结果，实验结果如图6所示，图7为相邻两切片的夹角分布情况。可以发现，在焊接区域存在曲率突变的情况，因此可以大致找到焊缝的起始位置和终止位置。但识别出的部分位置是一条倾斜的线，与实际焊缝不能重合，即找到的焊缝位置不准确。其次，该算法容易受空洞点及切片宽度的影响，且无法定量控制检测出的误差。当切片过小时，焊接区域的局部特征更明显，而焊接区域的局部区域粗糙程度会掩盖焊接边缘处的特征。图6（b）识别出的焊缝倾斜程度较大，原因是分区过大，利用两平面的交线作为焊缝的起始或终止位置时偏差也较大。

图 6. 算法1的实验结果。（a）~（d）样本1~样本4

Fig. 6. Experimental results of the algorithm1. (a)‒(d) Sample1‒sample4

下载图片 查看所有图片

图 7. 不同样本的曲率。（a）~（d）样本1~样本4

Fig. 7. Curvature of different samples. (a)‒(d) Sample1‒sample4

下载图片 查看所有图片

综上所述，算法1在处理点云数据时鲁棒性较差且与切片的大小有十分密切的关系。理论上讲，切片越小，将发生突变的两个曲面交线作为要寻找的线越准确。但实际情况下，焊接区域并不光滑，曲面曲率的特征突变会被焊接区域的凹凸不平掩盖。切片如果较大，则会产生较大的误差。

4.2　算法2

图8为利用本算法处理得到的实验结果，可以发现，图8（a）、图8（c）及图8（d）中存在明显的空洞及异常值问题，但未对实验结果造成影响。对比图8（a）与图6（a）可知，本算法可以很好地解决算法1中存在的空洞点或异常值问题。为了更清晰地表现出算法的效果，计算了每行数据的标准差s，结果如图9所示。

图 8. 算法2的实验结果。（a）~（d）样本1~样本4

Fig. 8. Experimental results of the algorithm2. (a)‒(d) Sample1‒sample4

下载图片 查看所有图片

图 9. 不同样本的标准差。（a）~（d）样本1~样本4

Fig. 9. Standard deviation of different samples. (a)‒(d) Sample1‒sample4

下载图片 查看所有图片

对比图7和图9可以发现，标准差能很好地显示出目标区域与工件其他部分的特征差异，经滑动自适应最小二乘窗口去拟合得到的数据可使打磨区域与其他位置的特征差异更明显^［20］。相比算法1的曲率特征，本算法显示出的特征更明显且不易被异常值及空洞点干扰，具有较强的鲁棒性。同时算法的精度仅取决于数据的硬件精度，满足工业现场打磨的精度要求且可定量化控制识别精度。

5　现场打磨误差分析

实际车间进行打磨时，在打磨的起始位置和终止位置处寻找几个位点，设计打磨工艺，然后进行打磨。将识别出的点与实际位置的偏移量作为误差衡量值，结果如表1所示，实验中选择起始与终止位置处的中点作为参考。实验采用的线结构光扫描仪精度有限，很大程度上影响了本算法精度的提高，增加实验设备的精度可进一步缩小误差。

6　结　　论

提出了一种基于表面相对平滑度识别焊缝位置的算法，该算法在复杂焊接曲面上有很强的鲁棒性，同时可以满足打磨机器人工艺的像素级精度，包含测量误差在内，最大误差为10 pixel（每个像素的长度为0.1 mm）。相比传统算法，本算法综合考虑了曲面的特征，不仅对孤立的线与点进行分析，还提出了增强深度图像表面纹理特征的算子，很好地增强了图像的表面特征。还可作为对深度图像的基础性预处理，增强显示出焊接区域的表面纹理分布。本算法在缺失值的填充部分还存在不足，若采集到的数据在横向的缺失较大会影响最后的实验结果，接下来的工作可利用深度学习的数据拟合功能进行三维数据点的填充。