基于全卷积神经网络的焊缝特征提取

张永帅; 杨国威; 王琦琦; 马雷; 王以忠

doi:doi:10.3788/CJL201946.0302002

中国激光, 2019, 46 (3): 0302002, 网络出版: 2019-05-09

基于全卷积神经网络的焊缝特征提取下载： 1619次

Weld Feature Extraction Based on Fully Convolutional Networks

论文大纲

张永帅 ^*杨国威王琦琦马雷王以忠

作者单位

天津科技大学电子信息与自动化学院, 天津 300222

图像处理卷积神经网络焊缝跟踪自动焊接系统深度学习 image processing convolutional neural network seam tracking automatic welding system deep learning

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

基于深层卷积神经网络的特征学习能力,提出了一种基于全卷积神经网络的焊缝特征提取方法。该方法利用全卷积神经网络将包含焊缝特征信息的像素预测出来,通过融合低层与高层特征信息来补充焊缝边缘的特征信息。研究结果表明:所提方法能在强烈弧光和烟尘干扰下准确地提取出焊缝位置,具有抗干扰能力强、识别准确的优点。

Abstract

Based on the feature learning ability of deep convolutional neural networks, a weld feature extraction method based on fully convolutional networks is proposed. In this method, the fully convolutional networks is used to predict the pixels containing the feature information of the weld, and the edge feature information of weld is supplemented by the fusion of low-level and high-level feature information. The results show that the method can get the weld position accurately under the interference of strong arc and soot particles, and has the advantages of strong anti-interference ability and accurate recognition.

1 引言

随着制造行业自动化进程的迅速发展,金属焊接成为生产过程中必不可少的环节。为满足自动化焊接生产的要求,需要实时获得焊接过程中焊缝的宽度、中心线等位置信息。基于激光视觉的焊缝跟踪已成为自动焊接领域的研究热点^[1-3]。激光视觉传感技术是将激光投射在焊缝表面,形成包含焊缝轮廓信息的焊缝条纹图像,然后进行特征分析。在焊接过程中,因为受到强烈弧光、飞溅、烟尘等的干扰,采集到的图像受噪声污染比较严重,难以准确定位,从而直接影响到了焊接的质量。因此,在自动焊接过程中,准确获得焊缝位置信息变得尤为重要。

应用于焊缝激光线特征提取的方法很多,有按照目标和背景不同级灰度值分割的阈值法和灰度重心法,有提取目标边缘的边缘法和提取图像中心的几何中心法^[4],以及利用Steger算法求光条纹的像素位置等^[5]。南方等^[6]利用自适应阈值法提取条纹区域,通过随机霍夫变换与法线计算出光条纹区域的宽度,根据不同的宽度值分别设定参数进行Steger算法提取。霍平等^[7]先对滤波后的焊缝图像进行阈值分割,去除图像噪声,再用二值形态学进行边缘检测,通过对检测边缘的上下边界取平均值来提取光条纹的中心线。袁攀等^[8]针对V型焊接坡口的采集图片进行预处理,提出了一种两步式组合滤波的方法,并采用该方法去噪,对二值化后的图像进行卷积,再通过一种面积统计法去除剩余噪声。刘习文等^[9]通过对图像进行Radon变换来消除飞溅及弧光噪声,采用最大类间方差法(Ostu)提取除噪后的激光条纹。雷正龙等^[10]提出了一种基于自动阈值的自适应中值滤波方法,该方法保护了条纹数据特征,减小了识别难度。工业现场复杂焊接过程引起的焊缝图像特征变化以及弧光等噪声对焊缝特征提取算法提出了更高的要求,使得焊缝特征提取算法研究从传统的单一的或特定的几何特征提取算法向具有广泛学习能力的多层次特征提取的智能学习算法方向发展,以提高焊缝特征提取的自适应性以及抗干扰能力。近年来,基于深度学习的目标提取方法开始应用于焊缝检测。邹焱彪等^[11]利用深度卷积神经网络特征的学习能力与表达能力,对含有焊缝信息的激光条纹进行提取,用相应的卷积核获得特征图,并采用非极大值抑制策略进行最终定位。该方法具有很强的畸变容忍能力,能够有效地提取焊缝位置。

本文提出了一种基于全卷积神经网络(FCN)^[12]的焊缝激光线特征提取方法,该方法将通过视觉传感器采集的投射到焊缝上的线激光图像作为训练集,去训练一个能够达到像素级分类的全卷积神经网络模型;用训练好的模型预测焊缝图片中每一个像素的所属类别,将焊缝特征提取出来,再采用反卷积策略恢复图像尺寸,从而实现了在受噪声污染严重的图片中准确地得到焊缝位置信息。该方法大大提升了抗干扰能力,保证了焊接质量。

2 全卷积神经网络

以传统卷积神经网络为基础提出的全卷积神经网络能够做到每一个像素与它对应位置的像素点端对端的训练,实现像素级分类。受其启发,将其引入到焊缝的提取中,从大量样本中学习焊缝的激光线特征信息,实现焊缝像素级别的提取。

卷积神经网络的数据层一般是一个H×W×D的三维数组,其中H为行,W为列,D为通道数。卷积神经网络具有平移不变的特性,输入图像在相应位置进行卷积、池化、激励等操作,记x^l∈ $\begin{matrix} R^{H^{l} \times W^{l} \times D^{l}} \end{matrix}$ 表示三维输入集合R中的某一数据在卷积神经网络第l层的输入。x^l经过第l层操作处理后输出y,可以表示为

\begin{matrix} y = f_{ks} (x^{l}), x^{l} \in R^{H^{l} \times W^{l} \times D^{l}}, (1) \end{matrix}

式中:k为卷积核大小;s为步长或降采样因子;f_ks为操作处理类型。全卷积神经网络只通过这样的操作层进行数据传递,与传统卷积神经网络最大的不同是没有全连接层。以本研究所基于的VGG-net(该网络由牛津大学的Visual Geometry Group提出,并由此得名)^[13]为例,VGG-net采用多个小卷积层堆叠的方式,能够提取更深层的特征信息。全卷积神经网络将VGG-net最后三个全连接层表示为卷积层,如图1中虚线框所示。这样的转化使得网络可以接受任意尺寸的输入图像,不受全连接层的限制,同时又保留了空间信息,使得输出图像为二维分类图而不是一维标量,实现了输出映射与原始图像端对端的训练。图像经过多次卷积池化以后会降低像素的大小,为了将输出的特征映射维度还原为原始图像维度,对最后一层进行上采样操作。

图 1. 基于VGG-net的全卷积神经网络

Fig. 1. Fully convolutional networks based on VGG-net

下载图片查看所有图片

上采样可通过插值的方法进行,如双线性插值法^[14],本研究是通过反卷积层实现的。反卷积操作为卷积的逆过程,同样包括卷积核与步长等。图像经过5组卷积和池化以后,它的大小依次缩小为原来的1/2、1/4、1/8、1/16、1/32。对于最后一层的输出图像,需要进行32倍上采样的反卷积操作恢复到原来的大小,由此得到的图像称为FCN-32s。在不断的卷积池化过程中,图像的特征信息会丢失很多,如边缘信息、目标位置等。焊缝特征提取要求能够提供准确的位置信息以及激光线的边缘特征,FCN-32s的图像精度不能够满足需要。为得到更加精细的结果,利用卷积神经网络低层的感知也能够提供目标的更多具体细节这一特点,结合低层与高层输出进行了相加的特征融合。于是,在池化层Pool4后添加卷积核为1×1的卷积层来产生额外预测(为了使低层输出与高层特征映射维度保持一致),与卷积层Conv8的特征映射图2倍上采样后进行特征融合,之后对特征融合图进行16倍上采样的反卷积操作得到FCN-16s。同理,在池化层Pool3后添加卷积核为1×1的卷积层进行与上述类似的操作,得到FCN-8s。通过进行特征融合补充局部细节特征,得到最终的焊缝提取效果图。由于进行更深的提取后,效果的提升也十分有限,所以不再进行下去。上采样与特征融合过程如图2所示,其中Conv、Pool、Deconv分别为卷积层(convolution layer)、池化层(pooling layer)、反卷积层(deconvolution layer)的缩写。

图 2. 上采样与特征融合过程

Fig. 2. Process of upsampling and feature fusion

下载图片查看所有图片

3 基于全卷积神经网络的焊缝提取

3.1 数据集准备

全卷积神经网络和传统卷积神经网络一样,是一个监督学习的过程,需要大量的训练样本,使用视觉传感器采集的原图与人工进行标注的分割图片对模型进行训练。数据集的获取是进行网络训练的前提。在大量的采集图像中选择具有代表性的图片进行训练,使网络模型能够提取不同的特征,具有更好的泛化能力。单一类型的图像训练出来的网络模型不能准确地从复杂图像中分割出焊缝位置。本研究针对的是V型坡口钢材,坡口顶端最宽为25 mm,深度为15 mm。焊接工艺为钨极惰性气体保护焊,传感器内置650 nm线激光器,采集相机为acA1280-60gm相机,采集了200张焊缝图片(1280 pixel×1024 pixel),并在保证不影响原图焊缝特征的情况下,通过对图像进行翻转变换、平移变换等操作将数据扩充到1000张,涵盖了提取过程中焊缝的基本特征。采集的部分图像数据集如图3所示。

采集好图片后,另一个重要的环节是对采集的图片进行人工标注。这些图片本身没有标签,必须进行人工标注后才能用于监督训练。在获取的图片中,需要标注的类别只有两类,焊缝对应的颜色为红色,背景对应的为黑色。原图与对应的标注图如图4所示。

图 3. 部分图像数据集

Fig. 3. Partial image datasets

下载图片查看所有图片

图 4. (a)原图及(b)对应的标注图

Fig. 4. (a) Original image and (b) corresponding label image

下载图片查看所有图片

3.2 全卷积神经网络模型参数

本研究所使用的全卷积神经网络如图2所示,主要包含卷积层(Conv1~Conv8)、最大池化层(Pool1~Pool5)以及5个反卷积层(Deconv1~Deconv5),均采用具有稀疏激活性的矫正线性单元(Relu)作为激活函数。Conv1~Conv5用堆叠的卷积方式,每个卷积层后设置1~2个完全相同的卷积层堆叠。为防止过拟合,提高模型的稳健性,在Conv6和Conv7两层后加入Dropout层,使一部分神经元的输出为0,不参与网络传播,以提高泛化能力。此外,为保持卷积前后的图像大小一致,需要对图像周围做补零填充处理,各层卷积核大小(kernel)、卷积核移动步长(stride)、补零填充层数(pad)的详细参数如表1所示,由于网络层数较多,将其部分层数进行合并表示。

3.3 全卷积神经网络模型的训练

本研究中基于全卷积神经网络的焊缝特征提取是在Caffe^[15]深度学习框架上实现的。Caffe深度学习框架提供了Python接口,所提算法通过Python编程实现。本研究所使用的环境配置为Ubuntu 16.04操作系统,内存为32 GB DDR4,显卡为GPU TITAN XP,CPU E5-2640V4。

训练时,采集的原图和对应的人工分割图片采用有监督的学习方式进行训练。本次实验将1000张数据集分为750张训练数据集和250张测试数据集。为加快模型的收敛速度,采用预训练的策略进行参数微调。将在大规模含标签数据集ImageNet^[16]中训练好的VGG16网络模型作为预训练模型,结合焊缝图像训练数据集训练好FCN-32s模型,保存模型参数。用该参数作为FCN-16s的预训练模型和焊缝图像训练数据集再次训练FCN-16s模型,依次递进,得到FCN-8s模型,以此加快收敛速度,减少训练时间,得到最终效果较好、精度较高的模型。本实验所有训练过程的训练参数如下:训练次数为10000次,权重衰减系数为0.0005,确定的权值参数的学习率为10^-12,使用随机梯度下降法更新权值。训练结束后,将训练好的权值参数保存在caffemodel文件中。为更好地衡量分割结果,采用文献[ 12]中的评价标准,用像素准确率(PACC)、平均准确率(MACC)和平均重叠率(MIU)三个指标来判定模型的分割精度。记n_ij为属于i类而被判为j类的像素点个数,n_cl为类别总数(本研究只有焊缝与背景两类),t_i= $\begin{matrix} \sum_{i} \end{matrix}$ n_ij为属于i类像素点的总个数。定义像素准确率为

\begin{matrix} V_{PACC} = \sum_{i} n_{ii} / \sum_{i} t_{i} 。 (2) \end{matrix}

定义平均准确率为

\begin{matrix} V_{MACC} = (1 / n_{cl}) \sum_{i} (n_{ii} / t_{i}) 。 (3) \end{matrix}

定义平均重叠率为

\begin{matrix} V_{MIU} = (1 / n_{cl}) \sum_{i} n_{ii} / (t_{i} + \sum_{j} n_{ji} - n_{ii}) 。 (4) \end{matrix}

表 1. 网络结构参数

Table 1. Parameters of network structure

Layer	Kernel (width×height×numbers)	Stride	Pad
Conv1	3×3×64,3×3×64	1,1	1,1
Pool1	2×2	2	0
Conv2	3×3×128,3×3×128	1,1	1,1
Pool2	2×2	2	0
Conv3	3×3×256,3×3×256,3×3×256	1,1,1	1,1,1
Pool3	2×2	2	0
Conv4	3×3×512,3×3×512,3×3×512	1,1,1	1,1,1
Pool4	2×2	2	0
Conv5	3×3×512,3×3×512,3×3×512	1,1,1	1,1,1
Pool5	2×2	2	0
Conv6-Conv8	1×1×4096,1×1×4096,1×1×2	1,1,1	0,0,0
Deconv1-Conv3	32×32×2,16×16×2,8×8×2	32,16,8	0,0,0
Deconv4-Deconv5	4×4×2,4×4×2	2,2	0,0

查看所有表

在前面的模型介绍中有三种不同的上采样方式,分别是FCN-32s、FCN-16s、FCN-8s。三种不同上采样结构的训练结果如表2所示。

表 2. 三种上采样结构的训练结果

Table 2. Training results of three upsampling structures

Network model	PACC /%	MACC /%	MIU /%
FCN-32s	99.2	89.9	81.3
FCN-16s	99.4	94.3	86.8
FCN-8s	99.5	97.4	87.7

查看所有表

由表2可知,FCN-8s在这三个指标上都是最高的,具有非常好的分割效果,能够准确分割焊缝图片。图5是全卷积神经网络进行单次前向传播分割出来的效果图,FCN-32s、FCN-16s、FCN-8s与标注图的对比结果表明:FCN-16s与FCN-8s较为接近人工标注图;FCN-32s提取的效果比较粗糙,并且部分焊缝信息丢失;FCN-8s通过特征融合补充边缘信息使提取结果连续、精细。

图 5. 三种上采样结构的结果图与标注图。(a) FCN-32s;(b) FCN-16s;(c) FCN-8s;(d)标注图

Fig. 5. Results of three upsampling structures and label image. (a) FCN-32s; (b) FCN-16s; (c) FCN-8s; (d) label image

下载图片查看所有图片

4 实验与分析

本实验采用FCN-8s网络模型进行测试,读取采集的焊缝图像,并输入到已训练好的全卷积神经网络中,只通过前向传递方式输出提取结果。为了能更好地体现出采用卷积神经网络进行焊缝提取具有更好的切割效果,本次实验同时采用传统提取光条中心的方法(灰度重心法^[4]和Steger算法)进行焊缝提取,并将提取效果进行对比。不同的焊缝提取方法的定性比较结果如图6所示:图6(a1)~(a4)为受噪声污染程度不同的焊缝原图,其中图6(a4)为与图6(a1)~(a3)不同类型的焊缝图像;图6(b1)~(b4)为用灰度重心法提取的焊缝结果;图6(c1)~(c4)为Steger算法的提取结果,图6(d1)~(d4)为全卷积神经网络的提取结果。

提取结果显示:FCN-8s能更好地从受弧光干扰的图像中提取焊缝特征;对于不受噪声干扰的图像,如图6(a1),三种方法都能够分割出焊缝的位置,但是对于受弧光干扰比较严重的图像,如图6(a2)、(a3)、(a4),灰度重心法和Steger算法受弧光干扰,提取的焊缝激光位置有噪声偏差。全卷积神经网络具有深层学习能力,它通过不断训练学习激光线的特征信息,融合了焊缝图像多层次的特征,能准确获取整体焊缝的特征,同时在细节方面也具有很好的噪声抑制能力,提取效果和提取精度更好。在图6(d3)所示的提取结果中,左侧边缘存在部分像素没有预测出来,出现断点,但这不影响V型焊缝拐点的提取,后续将从数据集和网络结构方面继续优化模型,以进一步改善提取结果。图6(a4)为与图6(a1)、(a2)、(a3)不同类型的焊缝图像,图6(d4)所示的全卷积神经网络的提取结果验证了该方法的有效性,避免了训练时引起的过拟合。

图 6. 三种算法的提取结果。(a1)~(a4)焊缝原图;(b1)~(b4)灰度重心法提取的焊缝;(c1)~(c4) Steger算法提取的焊缝;(d1)~(d4) FCN-8s提取的焊缝

Fig. 6. Extraction results obtained with three different algorithms. (a1)-(a4) Weld original images; (b1)-(b4) welds extracted with gray gravity algorithm; (c1)-(c4) welds extracted with Steger algorithm; (d1)-(d4) welds extracted with FCN-8s

下载图片查看所有图片

为了准确对比各个算法的提取结果,以人工标注图作为标准图,计算各算法提取的焊缝位置与标注图焊缝位置之间的均方根误差(RMSE),用RMSE来定量分析提取的效果,结果如表3所示。

从表3可以看出,FCN-8s提取结果的总体RMSE远小于灰度重心法和Steger算法。为了更好地体现每列像素之间的差异性,本研究以图6(a2)为例,计算每一列提取位置与标准图焊缝位置的误差,结果如图7所示。

从表3和图7可以看出,与灰度重心法、Steger算法相比,FCN-8s的提取效果图相对于标准图的误差更小,更接近真值。全卷积神经网络具有深层学习的能力,融合了焊缝图像多层次的特征,能准确获取整体焊缝特征,具有良好的噪声抑制能力,在具有弧光干扰的实际焊接现场中具有一定的应用前景。

表 3. 结果图与标注图在焊缝位置的RMSE

Table 3. RMSE of weld position between results and label images pixel

Algorithm	RMSE forFig.6(a1)	RMSE forFig.6(a2)	RMSE forFig.6(a3)	RMSE forFig.6(a4)
FCN-8s	4.15	4.78	5.85	3.87
Stegeralgorithm	13.78	30.56	56.61	44.42
Gray gravityalgorithm	13.53	35.01	60.18	47.96

查看所有表

图 7. 焊缝提取位置的误差曲线

Fig. 7. Error curves of weld position extraction

下载图片查看所有图片

5 结论

针对现阶段自动焊接系统易受环境因素干扰,焊接出现偏移的问题,结合深度学习技术,将深度卷积神经网络应用于焊缝的提取过程,研究了基于全卷积神经网络的焊缝特征提取方法,该方法解决了复杂噪声环境中焊缝定位不准确的问题,能够在强烈弧光、飞溅和烟尘等噪声情况下,准确地找到焊缝位置,提高了自动焊接系统的自适应能力。

另外,通过与传统激光线特征提取方法对比后可知,全卷积神经网络具有良好的抗干扰能力,焊缝提取精度较高,未来的研究工作将从数据集和网络结构方面继续优化模型,以进一步改善提取效果。

参考文献

[1] 平津, 曾毅. 一种快速有效的基于激光视觉的焊缝跟踪实时图像处理方式[J]. 应用激光, 2010, 30(3): 232-235.

Ping J, Zeng Y. Real time image processing for seam tracking based on laser stripe-sensor[J]. Applied Laser, 2010, 30(3): 232-235.

[2] 郭吉昌, 朱志明, 于英飞, 等. 焊接领域激光结构光视觉传感技术的研究及应用[J]. 中国激光, 2017, 44(12): 1200001.

Guo J C, Zhu Z M, Yu Y F, et al. Research and application of visual sensing technology based on laser structured light in welding industry[J]. Chinese Journal of Lasers, 2017, 44(12): 1200001.

[3] 赵军, 赵继, 张雷. 焊缝结构光图像处理与特征提取方法[J]. 西安交通大学学报, 2013, 47(1): 114-119.

Zhao J, Zhao J, Zhang L. Image processing and feature extraction for structured light images of welded seam[J]. Journal of Xi'an Jiaotong University, 2013, 47(1): 114-119.

[4] 李佳璇. 基于结构光成像的焊缝跟踪与检测系统[D]. 太原: 中北大学, 2017: 31- 37.

Li JX. Weld tracking and inspection system based on structured light imaging[D]. Taiyuan: North University of China, 2017: 31- 37.

[5] 胡坤, 周富强, 张广军. 一种快速结构光条纹中心亚像素精度提取方法[J]. 仪器仪表学报, 2006, 27(10): 1326-1329.

Hu K, Zhou F Q, Zhang G J. Fast extrication method for sub-pixel center of structured light stripe[J]. Chinese Journal of Scientific Instrument, 2006, 27(10): 1326-1329.

[6] 南方, 李大华, 高强, 等. 改进Steger算法的自适应光条纹中心提取[J]. 激光杂志, 2018, 39(1): 85-88.

Nan F, Li D H, Gao Q, et al. Implementation of adaptive light stripe center extraction of improved Steger algorithm[J]. Laser Journal, 2018, 39(1): 85-88.

[7] 霍平, 李军萌, 曾翰林, 等. 一种基于结构光的V型焊缝实时图像处理方法[J]. 电焊机, 2014, 44(12): 144-148.

Huo P, Li J M, Zeng H L, et al. The real-time image processing V-shaped seam method based on a structure light[J]. Electric Welding Machine, 2014, 44(12): 144-148.

[8] 袁攀, 孔建益, 仄士春, 等. V型焊接坡口图像处理方法的研究[J]. 机械设计与制造, 2017( 6): 64- 66.

YuanP, Kong JY, Ze SC, et al. The research on image processing method of V-shaped welding groove[J]. Machinery Design & Manufacture, 2017( 6): 64- 66.

[9] 刘习文, 洪波, 戴铁峰. 激光视觉焊缝跟踪图像处理与坡口识别[J]. 激光与红外, 2011, 41(7): 804-807.

Liu X W, Hong B, Dai T F. Image processing and groove recognition in weld seam tracking based on laser vision[J]. Laser & Infrared, 2011, 41(7): 804-807.

[10] 雷正龙, 沈健雄, 黎炳蔚, 等. 基于自动阈值的窄间隙端接焊缝识别技术[J]. 光学学报, 2018, 38(8): 0815011.

Lei Z L, Shen J X, Li B W, et al. Recognition of narrow-gap edge welding seam based on autonomous threshold value[J]. Acta Optica Sinica, 2018, 38(8): 0815011.

[11] 邹焱飚, 周卫林, 陈向志. 基于深度分层特征的激光视觉焊缝检测与跟踪系统研究[J]. 中国激光, 2017, 44(4): 0402009.

Zou Y B, Zhou W L, Chen X Z. Research of laser vision seam detection and tracking system based on depth hierarchical feature[J]. Chinese Journal of Lasers, 2017, 44(4): 0402009.

[12] LongJ, ShelhamerE, DarrellT. Fully convolutional networks for semantic segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431- 3440.

[13] SimonyanK, ZissermanA. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2015( v6): 1409.

[14] HariharanB, ArbeláezP, GirshickR, et al. Hypercolumns for object segmentation and fine-grained localization[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 447- 456.

[15] Jia YQ, ShelhamerE, DonahueJ, et al. Caffe: convolutional architecture for fast feature embedding[C]. ACM International Conference on Multimedia, 2014: 675- 678.

[16] DengJ, DongW, SocherR, et al. ImageNet: a large-scale hierarchical image database[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2009: 248- 255.

张永帅, 杨国威, 王琦琦, 马雷, 王以忠. 基于全卷积神经网络的焊缝特征提取[J]. 中国激光, 2019, 46(3): 0302002. Yongshuai Zhang, Guowei Yang, Qiqi Wang, Lei Ma, Yizhong Wang. Weld Feature Extraction Based on Fully Convolutional Networks[J]. Chinese Journal of Lasers, 2019, 46(3): 0302002.

基于全卷积神经网络的焊缝特征提取下载： 1619次

1 引言

2 全卷积神经网络

图 1. 基于VGG-net的全卷积神经网络

Fig. 1. Fully convolutional networks based on VGG-net

图 2. 上采样与特征融合过程

Fig. 2. Process of upsampling and feature fusion

3 基于全卷积神经网络的焊缝提取

3.1 数据集准备

图 3. 部分图像数据集

Fig. 3. Partial image datasets

图 4. (a)原图及(b)对应的标注图

Fig. 4. (a) Original image and (b) corresponding label image

3.2 全卷积神经网络模型参数

3.3 全卷积神经网络模型的训练

表 1. 网络结构参数

Table 1. Parameters of network structure

表 2. 三种上采样结构的训练结果

Table 2. Training results of three upsampling structures

图 5. 三种上采样结构的结果图与标注图。(a) FCN-32s;(b) FCN-16s;(c) FCN-8s;(d)标注图

Fig. 5. Results of three upsampling structures and label image. (a) FCN-32s; (b) FCN-16s; (c) FCN-8s; (d) label image

4 实验与分析

图 6. 三种算法的提取结果。(a1)~(a4)焊缝原图;(b1)~(b4)灰度重心法提取的焊缝;(c1)~(c4) Steger算法提取的焊缝;(d1)~(d4) FCN-8s提取的焊缝

Fig. 6. Extraction results obtained with three different algorithms. (a1)-(a4) Weld original images; (b1)-(b4) welds extracted with gray gravity algorithm; (c1)-(c4) welds extracted with Steger algorithm; (d1)-(d4) welds extracted with FCN-8s

表 3. 结果图与标注图在焊缝位置的RMSE

Table 3. RMSE of weld position between results and label images pixel

图 7. 焊缝提取位置的误差曲线

Fig. 7. Error curves of weld position extraction

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于全卷积神经网络的焊缝特征提取 下载： 1619次

1 引言

2 全卷积神经网络

图 1. 基于VGG-net的全卷积神经网络

Fig. 1. Fully convolutional networks based on VGG-net

图 2. 上采样与特征融合过程

Fig. 2. Process of upsampling and feature fusion

3 基于全卷积神经网络的焊缝提取

3.1 数据集准备

图 3. 部分图像数据集

Fig. 3. Partial image datasets

图 4. (a)原图及(b)对应的标注图

Fig. 4. (a) Original image and (b) corresponding label image

3.2 全卷积神经网络模型参数

3.3 全卷积神经网络模型的训练

表 1. 网络结构参数

Table 1. Parameters of network structure

表 2. 三种上采样结构的训练结果

Table 2. Training results of three upsampling structures

图 5. 三种上采样结构的结果图与标注图。(a) FCN-32s;(b) FCN-16s;(c) FCN-8s;(d)标注图

Fig. 5. Results of three upsampling structures and label image. (a) FCN-32s; (b) FCN-16s; (c) FCN-8s; (d) label image

4 实验与分析

图 6. 三种算法的提取结果。(a1)~(a4)焊缝原图;(b1)~(b4)灰度重心法提取的焊缝;(c1)~(c4) Steger算法提取的焊缝;(d1)~(d4) FCN-8s提取的焊缝

Fig. 6. Extraction results obtained with three different algorithms. (a1)-(a4) Weld original images; (b1)-(b4) welds extracted with gray gravity algorithm; (c1)-(c4) welds extracted with Steger algorithm; (d1)-(d4) welds extracted with FCN-8s

表 3. 结果图与标注图在焊缝位置的RMSE

Table 3. RMSE of weld position between results and label images pixel

图 7. 焊缝提取位置的误差曲线

Fig. 7. Error curves of weld position extraction

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于全卷积神经网络的焊缝特征提取下载： 1619次