基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

张琦; 叶波; 罗思琦; 曹弘贵

doi:doi:10.3788/LOP202158.0815002

激光与光电子学进展, 2021, 58 (8): 0815002, 网络出版: 2021-04-16

基于改进生成对抗网络的铝板缺陷电涡流检测图像分割下载： 701次

Aluminum Plate Defect Image Segmentation Using Improved Generative Adversarial Networks for Eddy Current Detection

论文大纲

张琦 ^1,2叶波 ^1,2,*罗思琦 ^1,2曹弘贵 ^1,2

作者单位

¹ 昆明理工大学信息工程与自动化学院, 云南昆明 650500

² 昆明理工大学云南省人工智能重点实验室, 云南昆明 650500

机器视觉电涡流检测生成对抗网络图像分割注意力机制 machine vision eddy current detection generative adversarial network image segmentation attention mechanism

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对铝板缺陷电涡流检测图像边缘区域不容易识别,同时检测图像存在背景噪声干扰的问题,提出了一种基于改进生成对抗网络的铝板缺陷电涡流检测图像分割方法。该方法建立在生成对抗网络图像分割模型的基础上,生成器部分采用U-Net模型的思想,在高低层特征融合之前采用注意力模块,调整低层特征与高层特征拼接时的权重,有利于提高图像特征信息的利用,增强目标特征并抑制背景特征。判别器部分用于区分网络生成的结果和人工标注的真实结果。所提方法采用Precision、Recall和F1作为评价指标。实验结果表明,与传统的图像分割方法相比,所提方法对铝板缺陷电涡流检测图像取得了较好的分割效果。

Abstract

To address the difficulty associated with identifying the edge area in aluminum plate defect eddy current inspection images, in which background noise is typically problematic, an image segmentation method for aluminum plate defect eddy current detection based on improved generative adversarial network is proposed. The proposed method is based on the generative adversarial network image segmentation model. The generator partly adopts the idea of the U-Net model. Prior to the fusion of high- and low-level features, an attention module is used to adjust the weight of both low- and high-level features. This weight adjustment improves the utilization of image feature information, enhances the target features, and suppresses background features. The discriminator network is used to distinguish the results generated by the network and actual manually labeled results. The proposed method uses Precision, Recall, and F1 as evaluation indicators. Compared with the traditional image segmentation methods, the proposed method achieves a better segmentation effect for aluminum plate defect eddy current inspection images.

1 引言

铝板作为重要的工业原材料,在运输行业、机械零部件制造、航空航天等工业领域得到广泛的运用。但是,铝板在制造、成形和服役过程中受原材料、加工工艺和外界环境等因素的影响,不可避免地会产生多种缺陷,如裂纹、孔洞、腐蚀等^[1]。缺陷的存在不仅影响铝板材料的外观,还将降低材料的抗腐蚀性、耐磨性等性能,如果不及时发现缺陷的存在,可能会导致严重的事故。

目前可用于金属材料的无损检测方法包括X射线检测、超声检测、热成像检测及涡流检测等。其中,涡流检测属于非接触检测方式,可进行高速检测,易于实现自动化,被广泛应用于金属材料的缺陷检测^[2-5]。为了检测出材料缺陷的形状等相关信息,对材料的检测图像进行图像分割是十分必要的。

金属材料的缺陷分割方法主要有阈值分割法、数学形态学分割法等。袁小翠等^[6]针对钢轨图像灰度分布不均,一般的图像分割法难以将目标从背景中分割出来的问题,提出了一种基于目标方差加权的类间方差阈值分割法。该方法在灰度分布呈单峰状的金属表面缺陷图像分割方面取得了较好的效果,但在灰度波动情况复杂的金属表面图像中的有效性较低。张毅等^[7]针对分水岭分割方法对图像进行分割时存在过分割的现象,提出一种结合小波变换和分水岭方法的图像分割方法,但是小波自适应阈值函数必须连续可导,才能进行自适应迭代和最佳阈值求取。这些方法不仅需要通过人工设计的特征对图像进行分割,还需要与其他方法相结合,具有很大的局限性。

近年来,深度学习已经在多个领域得到了运用,基于深度学习的分割方法在图像处理领域取得了很好的进展。Long等^[8]提出全卷积神经网络(FCN),该网络模型可以对任意大小的图像进行像素级分割,但卷积神经网络的池化层在扩大感受域时没有充分考虑像素与像素之间的关系。为解决这个问题,Ronneberger等^[9]在FCN的基础上提出了U-Net模型,该模型通过反卷积层和特征层拼接弥补了信息损失。生成对抗网络(GAN)由Goodfellow等提出^[10],是近年来最具创造性的无监督生成网络,一经提出就在图像分类和分割等多个领域获得了广泛的关注^[11-14]。Luc等^[15]第一次将生成对抗网络应用到了图像分割领域中,模型将卷积神经网络(CNN)与生成对抗网络相结合,判别器部分对真假图像样本对进行判别。Xue等^[16]在GAN的基础上使用完全卷积神经网络作为分割网络来生成分割标签图,并提出多尺度的L1损失函数,比U-Net分割方法的分割性能更好。

基于深度学习的图像分割方法已经取得了很好的分割效果,但是依然存在一些问题,其图像分割的效果与训练样本的分布有密切的关系,如果样本存在噪声干扰,方法的适应性较弱。针对铝板缺陷电涡流检测图像边缘区域不容易识别,存在背景噪声干扰的现象,分割效果有待提高的问题,本文提出一种基于改进生成对抗网络的铝板缺陷电涡流检测图像分割方法。生成器部分采用改进的U-Net结构,针对现有的特征图的信息整合方式未考虑到整合时的权重分布,输入特征图各通道的处理采用相同的权重的问题,在生成器部分采用注意力模块,调整不同卷积层特征拼接时的权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使模型获得更好的图像分割效果。

2 改进生成对抗网络

2.1 生成器网络结构

生成器部分,使用U-Net模型的思想,网络结构主要由编码器与解码器构成,生成器网络模型如图1所示。编码器网络的功能是通过带降采样的卷积层从输入的铝板缺陷电涡流检测图像中提取特征,然后解码器通过利用反卷积层对特征图进行上采样来预测最终的分割图像。编码器通过卷积层确保生成网络在学习中能够获得铝板缺陷电涡流检测图像从像素级特征到内容级特征的能力。

图 1. 生成器网络模型

Fig. 1. Generator network model

下载图片查看所有图片

解码器的每一层由两个3×3大小的卷积核、两个归一化层、卷积层末端使用的ReLU激活函数、一个2×2大小的池化层(Maxpooling)组成。通过批处理归一化,加速整个网络的收敛,提高层与层之间的独立性。为了提高所提网络的分割性能,通过对卷积层的特征图与对应的反卷积层产生的特征图进行级联,在编码器和解码器之间使用了跳跃连接。这种跳跃连接对于分割任务至关重要,因为初始特征图会保留低级特征,而这些特征可以用于图像的精确分割。但是,如果只是对特征图进行简单的跳跃级联,将引入很多无用的干扰信息。为了减少无用信息干扰,提高网络的分割精度,在编码器与解码器之间引入注意力机制调整不同层特征拼接时的权重。

2.2 注意力机制

在生成器网络中,解码器与编码器之间的跳跃连接可改善所提方法对铝板缺陷电涡流检测图像的分割性能,对相应层次的特征图进行复制和拼接,实现了采样过程中的信息整合,使网络更好地学习到缺陷信息位置和全局信息之间的关系。但是现有的特征图的信息整合方式未考虑到整合时的权重分布问题,采用相同的权重处理输入特征图各通道时不利于目标特征信息的增强。为解决这一问题采用注意力机制,调整不同尺寸卷积层的特征图权重,注意力机制结构如图2所示。

图 2. 注意力机制结构图

Fig. 2. Architecture of attention mechanism

下载图片查看所有图片

注意力机制通过注意力权重0≤α^l≤1来识别铝板缺陷电涡流检测图像缺陷特征的显著性区域,其中l为网络模型加入注意力机制的计算层数。注意力权重由包含丰富语义信息的高级特征图和包含全局上下文信息的低级特征图得到,计算公式为

\begin{array}{l} y^{l} = ψ^{T} [σ_{1} (W_{x}^{T} x_{i}^{l} + W_{g}^{T} g_{i}^{l} + b_{g})] + b_{ψ}, (1) \\ α_{i}^{l} = σ_{2} [y^{l} (x_{i}^{l}, g_{i}^{l})], (2) \end{array}

式中: $x_{i}^{l}$ (尺寸为H_x×W_x×C_x)和 $g_{i}^{l}$ (尺寸为H_g×W_g×C_g)分别为第i层低级特征图和高级特征图;W_x、W_g均为线性转换系数矩阵;Ψ为1×1卷积的权值参数向量;b_g和b_ψ为卷积的偏置项;σ₁为ReLU激活函数,σ₂为Sigmoid激活函数。通过Sigmoid激活函数将注意力权重归一化,输出的 ${\dot{x}}^{l}$ 是输入低级特征图x^l与注意力权重的乘积,即

{\dot{x}}^{l} = x^{l} \cdot α^{l} 。 (3)

注意力机制在训练过程中无需额外监督即可自动学习目标结构。模块中仅采用了1×1卷积层,引入极少参数即可明显提升模型的灵敏度和分割精度,不会增加模型计算复杂度。

2.3 判别器

判别器的网络结构如图3所示,判别器网络的目的是对输入的样本对进行分类。网络模型采用3×3大小的卷积核,并使用ReLU作为非线性激活函数,模型的输出层通过Sigmoid函数对输入的图像样本对进行二分类。如果输入样本对为真实分割结果,判别为真,输出1;如果输入样本对为生成网络的生成结果,判别为假,输出0。

图 3. 判别器网络模型

Fig. 3. Discriminator network model

下载图片查看所有图片

3 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

结合生成对抗网络和U-Net模型的特点,对铝板缺陷电涡流检测图像进行分割,模型由生成器与判别器两个部分组成,模型如图4所示。生成器使用U-Net模型编码与解码的结构,将铝板缺陷电涡流图像输入到生成器,由生成器对图像特征进行学习,输出分割图像;判别器通过学习输入真假样本对之间的分布差异进行二分类。

图 4. 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

Fig. 4. Aluminum plate defect image segmentation using improved generative adversarial networks for eddy current detection

下载图片查看所有图片

生成器G从铝板缺陷电涡流检测图像x学习到标签图像y的映射,然后判别器D对真假样本进行二进制分类。其中真样本对由铝板缺陷电涡流检测图像与标签图像构成,假样本对由铝板缺陷电涡流检测图像与生成的分割图像G(x)构成。通过引入标签图像y可以提高条件GAN的性能,因为y包含图像关键的空间和局部信息。由于生成式对抗网络由生成器和判别器两部分组成,训练方式采用逐步交叉,因此训练模型是最小化交叉熵的过程,GAN的目标函数可以表示为

\begin{array}{l} L_{GAN} (G, D) = E_{(x, y) ~ p_{data} (x)} [\log D (x, y)] + \\ E_{x ~ p_{data} (x)} {\log {1 - D [x, G (x)]}}, (4) \end{array}

式中:L_GAN(G,D)为在GAN模型交叉训练时,生成器G和判别器D对应的损失函数;E为分布函数的期望值;p_data为真实数据分布。为了使判别器D进行正确的判断,D(x,y)需要最大化,而D[x,G(x)]应该最小化,判别器和生成器利用L_GAN(G,D)损失函数进行最大化和最小化交替训练。GAN的目标函数采用极小极大值的表示形式,也可以定义为

G^{*} = \arg \min_{G} \max_{D} {E_{(x, y) ~ p_{data} (x)} [\log D (x, y)] + E_{x ~ p_{data} (x)} {\log \{1 - D [x, G (x)]\}}} 。 (5)

训练判别器时,生成器模型固定,此时判别器的目标是将D[x,G(x)]判断为真的概率尽可能小,也即1-D[x,G(x)]尽可能大。将真实数据x判断为真的概率D(x,y)尽可能大,此时判别器的损失函数为

\begin{array}{l} L_{D} = \arg \max_{D} L_{GAN} (G, D) = \max_{D} {E_{(x, y) ~ p_{data} (x)} [\log D (x, y)] + \\ E_{x ~ p_{data} (x)} {\log \{1 - D [x, G (x)]\}}} 。 (6) \end{array}

训练生成器时,此时判别器模型固定,生成器的目标是:当判别器收到生成数据G(x)时,将其判断为真的概率D[x,G(x)]尽可能大。此时生成器损失函数为

\begin{array}{l} L_{G} = \arg \min_{G} L_{GAN} (G, D) = \\ E_{x ~ p_{data} (x)} {\log {1 - D [x, G (x)]}} 。 (7) \end{array}

为了使生成器对图像的分割效果能够更接近于人工标注的缺陷,在生成器部分采用二元交叉熵的损失函数,损失函数表示为

\begin{array}{l} L_{SEG (G)} = E_{(x, y) ~ p_{data (x)}} {- y \times \log [G (x)] - \\ (1 - y) \times \log [1 - G (x)]}, (8) \end{array}

式中:L_SEG(_G₎为人工标签与生成器分割的缺陷图像的二元交叉熵分割损失。生成器模型总的损失函数可以表示为

\begin{array}{l} G^{*} = E_{x ~ p_{data} (x)} {\log {1 - D [x, G (x)]}} + \\ L_{SEG (G)} 。 (9) \end{array}

4 实验结果与分析

4.1 实验平台及数据

电涡流检测实验平台由中国矿业大学机电学院设计与搭建,检测平台主要由三维移动平台、个人计算机(PC)上位机、信号调理模块、锁相放大器、采集卡组成,如图5所示。其中锁相放大器型号为SR830,用来实现信号的解调、放大及滤波。电涡流探头固定在三维移动平台上,在PC的控制下,探头在试件上移动,可以获得不同采样位置的阻抗值。

图 5. 电涡流检测实验平台

Fig. 5. Eddy current testing experiment platform

下载图片查看所有图片

在3 mm厚的6061合金铝板表面以开槽的方式加工了长度和深度不同的裂纹,用来模拟金属待测试件中的疲劳裂纹,试件的具体尺寸及缺陷数如图6所示。电涡流检测探头以C字形方式对铝板表面进行缺陷检测,移动平台的扫描区域为18 mm×10 mm的矩形区域,每个扫描点的间距为0.5 mm,因此总的扫描点为36×20。在整个扫查过程中,每个点的阻抗值采集3次,再取平均数保存。

图 6. 试件尺寸示意图

Fig. 6. Schematic of test-piece dimension

下载图片查看所有图片

试件缺陷处电导率与磁导率变化会引起感应电压变化,从而反映缺陷信息。通过对传感器采集到的扫描信号进行处理,可以绘制出铝板缺陷电涡流检测图像,如图7所示。为了增强模型的泛化能力,减少过拟合现象,对图像进行旋转、镜像、对比度变换等处理扩充数据集,最终获得2000张图像,其中1800张作训练集,200张作测试集。每一张图像都对应一张通过labelme标注软件手工标注的语义分割标签。

图 7. 铝板缺陷电涡流检测图像

Fig. 7. Eddy current inspection images of aluminum plate defect

下载图片查看所有图片

4.2 评价指标

为了评估所提方法的分割效果,从图像分割效果和指标评价两方面对实验结果进行了比较与分析。图像分割效果主要是从视觉效果上比较图像的整体分割情况;客观评价中,图像分割实际上是像素分类的问题,采用Precision、Recall、F1指标作为评价指标^[17],其中Precision表示图像分割的精确率,Recall表示图像分割的召回率,F1是精确率和召回率的调和均值,相当于精确率和召回率的综合评价指标。它们的计算公式分别为

\begin{array}{l} P_{Precision} = \frac{N_{TP}}{N_{TP} + N_{FP}}, (10) \\ R_{Recall} = \frac{N_{TP}}{N_{TP} + N_{FN}}, (11) \\ F_{1} = \frac{2 \times P_{Precision} \times R_{Recall}}{P_{Precision} + R_{Recall}}, (12) \end{array}

式中:N_TP、N_TN、N_FP、N_FN分别为正确分割的铝板缺陷像素的数目、正确分割的背景像素数目、错误分割为铝板缺陷像素的背景像素、被错误标记为背景像素的铝板缺陷像素。

4.3 不同分割方法的结果分析

涡流检测容易受到环境和人为因素的干扰,导致铝板缺陷电涡流检测图像存在背景噪声干扰的现象,同时由于涡流检测时存在边缘效应的影响,缺陷图像边缘区域不容易识别。实验对铝板缺陷电涡流检测图像进行了实验,并对阈值分割Otsu方法、常见的深度学习方法(FCN-8s模型、FCN-32s模型、U-Net模型)、所提方法进行了对比,各方法对不同类型缺陷的分割效果如图8所示。

图 8. 不同方法分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 8. Segmentation results of different methods. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

下载图片查看所有图片

Otsu方法对铝板缺陷电涡流检测图像进行分割时,分割结果存在过分割的问题,未能识别出缺陷区域的边缘信息;FCN-8s模型分割结果不够精细,其分割的边缘区域存在像素缺失;FCN-32s模型分割的边缘较为粗糙,边缘区域出现轻微的锯齿状;U-Net模型分割效果较前3种方法有所提升,但是边缘区域分割效果依然有待进一步提高。FCN-32s的反卷积步长比FCN-8s的大,导致信息丢失,分割效果不如FCN-8s。FCN分割模型中卷积神经网络的池化层在扩大感受域和聚合语义时,部分细节信息容易丢失,导致分割效果不如所提方法。与U-Net模型相比较,所提方法在低层特征与高层特征中加入注意力机制,由于加入的注意力机制调整了不同尺寸的卷积层特征图拼接时的权重分布,分割效果比只进行简单的低层特征与高层特征融合的U-Net模型更好。

使用Precision、Recall和F1评价指标对分割结果进行更为直观的评估,不同方法分割效果对比如表1所示。所提方法的Precision、Recall和F1分别为87.99%、97.75%和92.60%,与传统的方法相比,Recall值比U-Net模型提高12.73个百分点,F1值比FCN-8s分割模型的提升了10个百分点。整体上来说,所提方法在铝板缺陷电涡流检测图像分割性能方面有较大的提升。

表 1. 不同方法分割效果对比

Table 1. Comparison of segmentation results using different methods

Method	Precision	Recall	F1
Otsu	0.9006	0.6452	0.7518
FCN-8s	0.8640	0.7910	0.826
FCN-32s	0.7840	0.8434	0.813
U-Net	0.7609	0.8502	0.803
Proposed method	0.8799	0.9775	0.926

查看所有表

在实际生产中,涡流检测容易受到工况、工作环境、人为因素的干扰,导致铝板缺陷电涡流检测图像存在不同程度的噪声干扰现象。为了进一步验证所提方法的鲁棒性,还进行了不同工况下的对比实验。为模拟不同噪声下的工况环境,给样本加入不同程度的高斯白噪声,信噪比为50 dB,60 dB,70 dB。在不同信噪比下的铝板缺陷电涡流检测图像分割结果和分割方法比较如图9和表2所示。

图 9. 不同信噪比下的电涡流检测图像分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 9. Segmentation results of eddy current testing images under different signal-to-noise ratios. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

下载图片查看所有图片

表 2. 不同信噪比下的电涡流检测图像分割方法比较

Table 2. Comparison of segmentation methods for eddy current testing image under different signal-to-noise ratios

Method	Signal-to-noise ratio	Precision	Recall	F1
Otsu	50 dB	0.6648	0.8259	0.7366
	60 dB	0.8588	0.7936	0.8249
	70 dB	0.8222	0.8142	0.8182
FCN-8s	50 dB	0.7120	0.7835	0.7460
	60 dB	0.8155	0.8968	0.8539
	70 dB	0.9369	0.8011	0.8637
FCN-32s	50 dB	0.7773	0.8962	0.8325
	60 dB	0.7348	0.9050	0.8111
	70 dB	0.9155	0.7464	0.8223
U-Net	50 dB	0.6994	0.7952	0.7442
	60 dB	0.8685	0.8166	0.8418
	70 dB	0.9236	0.7882	0.8505
Proposed method	50 dB	0.8725	0.9694	0.9184
	60 dB	0.8696	0.9894	0.9256
	70 dB	0.8710	0.9794	0.9220

查看所有表

当信噪比为50 dB时,噪声的干扰导致图像发生了变形,此时的噪声对图像的分割效果有很大的影响。随着信噪比的提高,图像的分割受到噪声的影响减小,分割效果逐渐提升。相较于其他方法,所提方法受图像中噪声影响较小,这是所提方法的生成器与判别器之间的对抗学习,使得生成器生成的图像与标签图像尽可能接近,同时在生成器部分引入注意力机制,提高了图像特征信息的利用,增强了目标特征并抑制背景特征。

从表2可以看出,随着图像信噪比的提高,不同分割方法的图像分割效果均有所提高,这是因为随着信噪比的提高,噪声对图像分割的影响有所降低。在铝板缺陷电涡流检测图像中加入不同信噪比噪声后,所提方法的分割效果基本保持不变,说明了所提方法对噪声干扰的鲁棒性较好。

5 结论

针对涡流检测容易受到环境和人为因素的干扰,导致铝板缺陷电涡流检测图像存在背景噪声干扰的现象,同时针对涡流检测时存在边缘效应的影响,导致缺陷图像边缘区域不容易识别,分割效果有待提高的问题,提出了一种基于生成对抗网络的铝板缺陷电涡流检测图像分割方法。在生成器网络中,采用U-Net模型的思想,通过跳跃连接,改善对铝板缺陷电涡流图像的分割性能。针对低层特征与高层特征融合时未考虑到权重分布的问题,采用注意力机制,调整不同尺寸的卷积层特征图权重,有利于提高图像特征信息的利用,增强目标特征并抑制背景特征,使得生成器能够充分学习到铝板缺陷电涡流图像的特征分布,提高模型的分割精度。实验结果表明,与其他方法相比较,所提方法对铝板缺陷电涡流检测图像取得了较好的分割效果。

参考文献

[1] 杨理践, 邢燕好, 张佳, 等. 基于电磁超声导波的铝板裂纹缺陷检测方法[J]. 仪器仪表学报, 2018, 39(4): 150-160.

Yang L J, Xing Y H, Zhang J, et al. Crack defect detection of aluminum plate based on electromagnetic ultrasonic guided wave[J]. Chinese Journal of Scientific Instrument, 2018, 39(4): 150-160.

[2] 武新军, 张卿, 沈功田. 脉冲涡流无损检测技术综述[J]. 仪器仪表学报, 2016, 37(8): 1698-1712.

Wu X J, Zhang Q, Shen G T. Review on advances in pulsed eddy current nondestructive testingtechnology[J]. Chinese Journal of Scientific Instrument, 2016, 37(8): 1698-1712.

[3] 程军, 杨继全, 裘进浩, 等. 基于涡流成像的碳纤维增强树脂基复合材料细观结构可视化[J]. 复合材料学报, 2018, 35(8): 2074-2083.

Cheng J, Yang J Q, Qiu J H, et al. Visualization of meso-structure of carbon fiber reinforced polymer based on eddy current imaging[J]. Acta Materiae Compositae Sinica, 2018, 35(8): 2074-2083.

[4] 周德强, 左晓芳, 尤丽华, 等. 脉冲涡流铁磁性材料缺陷检测系统设计[J]. 传感器与微系统, 2012, 31(10): 121-124.

Zhou D Q, Zuo X F, You L H, et al. Design of flaw-detecting system for ferromagnetic material based on pulsed eddy current[J]. Transducer and Microsystem Technologies, 2012, 31(10): 121-124.

[5] Cheng L, Tian G Y. Surface crack detection for carbon fiber reinforced plastic (CFRP) materials using pulsed eddy current thermography[J]. IEEE Sensors Journal, 2011, 11(12): 3261-3268.

[6] 袁小翠, 吴禄慎, 陈华伟. 基于Otsu方法的钢轨图像分割[J]. 光学精密工程, 2016, 24(7): 1772-1781.

Yuan X C, Wu L S, Chen H W. Rail image segmentation based on Otsu threshold method[J]. Optics and Precision Engineering, 2016, 24(7): 1772-1781.

[7] 张毅, 王福龙. 基于小波变换的分水岭图像分割[J]. 小型微型计算机系统, 2014, 35(6): 1382-1386.

Zhang Y, Wang F L. Image segmentation for watershed algorithm based on wavelet transform[J]. Journal of Chinese Computer Systems, 2014, 35(6): 1382-1386.

[8] LongJ, ShelhamerE, DarrellT. Fully convolutional networks for semantic segmentation[C] //2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA.New York: IEEE Press, 2015: 3431- 3440.

[9] RonnebergerO, FischerP, BroxT. U-Net: convolutional networks for biomedical image segmentation[M] //Navab N, Hornegger J, Wells W M, et al. Medical image computing and computer-assisted intervention-MICCAI 2015. Lecture notes in computer science.2015, 9351: 234- 241.

[10] Goodfellow IJ, Pouget-AbadieJ, MirzaM, et al. Generative adversarial nets[C] //Proceedings of the 27th International Conference on Neural Information Processing Systems, December 8-13, 2014, Montreal, Quebec. New York: Curran Associates, 2014, 2: 2672- 2680.

[11] 李良福, 胡敏. 基于生成式对抗网络的细小桥梁裂缝分割方法[J]. 激光与光电子学进展, 2019, 56(10): 101004.

Li L F, Hu M. Method forsmall-bridge-crack segmentation based on generative adversarial network[J]. Laser & Optoelectronics Progress, 2019, 56(10): 101004.

[12] 艾玲梅, 石康珍. 基于条件生成对抗网络的低级胶质瘤MR图像分割[J]. 激光与光电子学进展, 2020, 57(22): 221004.

Ai L M, Shi K Z. Low-grade gliomas MR images segmentation based on conditional generative adversarial networks[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221004.

[13] 滕文秀, 王妮, 陈泰生, 等. 基于深度对抗域适应的高分辨率遥感影像跨域分类[J]. 激光与光电子学进展, 2019, 56(11): 112801.

Teng W X, Wang N, Chen T S, et al. Deep adversarial domain adaptation method for cross-domain classification in high-resolution remote sensing images[J]. Laser & Optoelectronics Progress, 2019, 56(11): 112801.

[14] 杜泽星, 殷进勇, 杨建. 基于半监督学习的遥感飞机图像检测方法[J]. 激光与光电子学进展, 2020, 57(6): 061009.

Du Z X, Yin J Y, Yang J. Remote sensing aircraft image detection based on semi-supervised learning[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061009.

[15] LucP, CouprieC, ChintalaS, et al. Semantic segmentation using adversarial networks[EB/OL]. (2016-11-25)[2020-08-17]. https://arxiv.org/abs/1611.08408.

[16] Xue Y, Xu T, Zhang H, et al. SegAN: adversarial network with multi-scale L1 loss for medical image segmentation[J]. Neuroinformatics, 2018, 16(3/4): 383-392.

[17] 杨朔, 陈丽芳, 石瑀, 等. 基于深度生成式对抗网络的蓝藻语义分割[J]. 计算机应用, 2018, 38(6): 1554-1561.

Yang S, Chen L F, Shi Y, et al. Semantic segmentation of blue-green algae based on deep generative adversarial net[J]. Journal of Computer Applications, 2018, 38(6): 1554-1561.

3 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

张琦, 叶波, 罗思琦, 曹弘贵. 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割[J]. 激光与光电子学进展, 2021, 58(8): 0815002. Qi Zhang, Bo Ye, Siqi Luo, Honggui Cao. Aluminum Plate Defect Image Segmentation Using Improved Generative Adversarial Networks for Eddy Current Detection[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0815002.

基于改进生成对抗网络的铝板缺陷电涡流检测图像分割下载： 701次

1 引言

2 改进生成对抗网络

2.1 生成器网络结构

图 1. 生成器网络模型

Fig. 1. Generator network model

2.2 注意力机制

图 2. 注意力机制结构图

Fig. 2. Architecture of attention mechanism

2.3 判别器

图 3. 判别器网络模型

Fig. 3. Discriminator network model

3 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

图 4. 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

Fig. 4. Aluminum plate defect image segmentation using improved generative adversarial networks for eddy current detection

4 实验结果与分析

4.1 实验平台及数据

图 5. 电涡流检测实验平台

Fig. 5. Eddy current testing experiment platform

图 6. 试件尺寸示意图

Fig. 6. Schematic of test-piece dimension

图 7. 铝板缺陷电涡流检测图像

Fig. 7. Eddy current inspection images of aluminum plate defect

4.2 评价指标

4.3 不同分割方法的结果分析

图 8. 不同方法分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 8. Segmentation results of different methods. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

表 1. 不同方法分割效果对比

Table 1. Comparison of segmentation results using different methods

图 9. 不同信噪比下的电涡流检测图像分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 9. Segmentation results of eddy current testing images under different signal-to-noise ratios. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

表 2. 不同信噪比下的电涡流检测图像分割方法比较

Table 2. Comparison of segmentation methods for eddy current testing image under different signal-to-noise ratios

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于改进生成对抗网络的铝板缺陷电涡流检测图像分割 下载： 701次

1 引言

2 改进生成对抗网络

2.1 生成器网络结构

图 1. 生成器网络模型

Fig. 1. Generator network model

2.2 注意力机制

图 2. 注意力机制结构图

Fig. 2. Architecture of attention mechanism

2.3 判别器

图 3. 判别器网络模型

Fig. 3. Discriminator network model

3 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

图 4. 基于改进生成对抗网络的铝板缺陷电涡流检测图像分割

Fig. 4. Aluminum plate defect image segmentation using improved generative adversarial networks for eddy current detection

4 实验结果与分析

4.1 实验平台及数据

图 5. 电涡流检测实验平台

Fig. 5. Eddy current testing experiment platform

图 6. 试件尺寸示意图

Fig. 6. Schematic of test-piece dimension

图 7. 铝板缺陷电涡流检测图像

Fig. 7. Eddy current inspection images of aluminum plate defect

4.2 评价指标

4.3 不同分割方法的结果分析

图 8. 不同方法分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 8. Segmentation results of different methods. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

表 1. 不同方法分割效果对比

Table 1. Comparison of segmentation results using different methods

图 9. 不同信噪比下的电涡流检测图像分割结果。(a)原始图像;(b)真值图像;(c)Otsu方法;(d)FCN-8s模型;(e)FCN-32s模型;(f)U-Net模型;(g)所提方法

Fig. 9. Segmentation results of eddy current testing images under different signal-to-noise ratios. (a) Original image; (b) truth image; (c) Otsu method; (d) FCN-8s model; (e) FCN-32s model; (f) U-Net model; (g) proposed method

表 2. 不同信噪比下的电涡流检测图像分割方法比较

Table 2. Comparison of segmentation methods for eddy current testing image under different signal-to-noise ratios

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进生成对抗网络的铝板缺陷电涡流检测图像分割下载： 701次