基于改进生成对抗网络的水下激光图像后向散射光修复方法

张清博; 张晓晖; 韩宏伟

doi:doi:10.3788/LOP56.041004

激光与光电子学进展, 2019, 56 (4): 041004, 网络出版: 2019-07-31

基于改进生成对抗网络的水下激光图像后向散射光修复方法下载： 1155次

Backscattered Light Repairing Method for Underwater Laser Image Based on Improved Generative Adversarial Network

论文大纲

张清博 ^*张晓晖韩宏伟

作者单位

海军工程大学兵器工程学院, 湖北武汉 430033

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为提高水下激光图像的质量,改进了生成对抗网络的生成网络,使其成为一种包含跳跃结构和空洞卷积的深度卷积神经网络。利用该网络从自建数据集中学习待修复图像到目标图像的端到端映射参数,再对带有强后向散射光的水下激光图像进行修复。实验结果表明,所提方法能够快速对后向散射光区域进行填充修复,相比传统去噪和增强对比度方法联合处理的结果,所提方法的峰值信噪比平均提高了9.10 dB,特征相似度平均提高了0.11,实现了水下激光图像的去噪、对比度增强和非均匀性照明改善,较好地去除了后向散射光。

Abstract

To improve the qualities of underwater laser images, the generator network of the generative adversarial network is changed to be a deep convolution neural network which contains the jumping structure and the dilated convolution. The network is used to learn the end-to-end parameters which map the unrepaired images to the target images from the self-built data set and repair underwater laser images with strong backscatter light. Compared with the experiment results of the joint processing of the classic denoising method and the contrast enhancement method, the proposed method can fill and repair the backscattered light area. The peak signal to noise ratio obtained by the proposed method increases by an average of 9.10 dB and the feature similarity increases by an average of 0.11. The denoising, enhancing contrast, improving the non-uniform illumination are achieved and the backscattered light is removed well.

1 引言

水下激光成像技术是利用主动光源对目标进行照明,同时用成像器件对目标进行成像,获得目标图像的过程。相比声探测,它具有更高的分辨率;相比普通光成像,它具有更远的探测距离。但由于水体对光的吸收和散射,导致图像质量下降严重,尤其是视场中近距离水体的后向散射光会增强背景光噪声,虽然目前常采用距离选通成像技术^[1]、同步扫描技术^[2]和水下偏振成像技术^[3]等来减小后向散射光的影响,但由此获得的水下激光图像仍然具有目标边缘模糊、细节难以分辨的特点,需采用图像处理技术对其进行处理,以获得目标清晰可见的图像^[4]。

目前水下激光成像技术主要采用均匀照明的激光作为照明光源,以获得亮度均匀的目标图像,这在近距离成像时能够获得较好的效果,但无法解决强烈的后向散射光背景噪音和视距受限的问题^[5]。如果直接增大光功率,并不能对图像质量和探测距离有较大的提升^[6],而如果直接采用激光束进行照明,可极大地提升探测距离,但由于后向散射光的积累效应,图像存在一条明显的光束,同时复杂的水下环境会导致图像噪声增大,且噪声类型复杂。针对水下激光图像低对比度和低信噪比问题,常用的图像处理研究主要集中在去噪和增强对比度两个方面,提出的方法有小波去噪^[7]、三维块匹配去噪(BM3D)^[8]、分段直方图均衡化^[9]、中值滤波^[10]和暗通道先验^[11]等以及一些传统的图像去噪和对比度增强方法。针对后向散射光束问题,处理方法较少,且处理结果有待提高。

近年来,基于深度学习的图像修复技术得到了广泛的关注和研究。自2014 年Goodfellow^[12]创造性地提出生成对抗网络(GAN)之后,生成对抗网络就成为了深度学习方面的一个研究热点,学者们利用生成对抗网络对图像进行填补修复,同时去除噪声、提升信噪比。如Yeh等^[13]利用生成对抗对图像缺失部分进行语义修复,完成对人脸图像大面积缺失区域的修复; Iizuka等^[14]提出利用基于全局和局部的生成对抗网络填充任意形状的缺失区域来完成图像修复工作; Liu等^[15]利用盲图像修复的方法对被任意文字覆盖的图像进行修复。在利用激光束照明的水下激光图像中,后向散射光束为一条明显的白色条形区域,这可近似理解为一幅完整的噪声图像缺失了该区域。因此本文引入生成对抗网络方法,采集后向散射光严重的真实水下激光图像,再加入高斯噪声和椒盐噪声,建立训练集和测试集,利用改进的具有跳跃结构和空洞卷积的生成对抗网络对水下激光图像进行修复,实现后向散射光和噪声的去除。基于深度学习的图像修复方法是依靠数据驱动的,直接从待修复图像和样本图像之间学习修复参数,是一种端对端的处理方式,不需要对水下退化模型进行模拟推测,可以快速完成图像修复工作且获得较好的质量。

2 水下激光图像修复模型设计

2.1 网络结构概览

生成对抗网络是一种近年来广受欢迎的深度学习模型,生成对抗网络由一个判别网络(discriminator) 和一个生成网络(generator)组成。在训练过程中,生成网络的目标是生成尽量真实的、接近自然的图像去欺骗判别网络,而判别网络的目标则是尽量把生成网络生成的图像和采集的真实目标图像区分出来(real or fake),利用生成网络和判别网络构成动态“博弈过程”,最终达到纳什平衡^[16],此时生成网络能够生成接近原始学习内容的自然水下图像,完成对图像的修复工作。

生成网络的结构设计多种多样,如Alex网络(AlexNet)、残差网络(ResNet)、VGGNet(Visual Geometry Group Net)和谷歌网络(GoogleNet)等,这些结构并不能直接用于水下激光图像的修复。针对水下激光图像的修复需要去除噪声和后向散射光、提高对比度和改善非均匀性照明等,本文设计一种包含编解码结构、空洞卷积和跳跃结构的生成网络,与判别网络相结合,形成生成对抗网络,编解码结构用于改变特征图尺寸,空洞卷积用于提升卷积核的感受野,跳跃结构使后层特征图能够提取到最前层特征图信息。网络结构如图1所示,其中input表示输入层,conv表示常规卷积,dilaconv表示空洞卷积,transconv表示转置卷积,merge表示将两个层的输出进行连接,output表示输出层,FC为全连接层。

图 1. 生成对抗网络的结构图

Fig. 1. Network structure of the GAN

下载图片查看所有图片

2.2 生成网络设计

为了使训练能够有一个稳定的开始,本研究不是从噪声图像中生成图像,而是从采集的有严重后向散射的水下激光图像生成接近于目标的图像。生成网络首先利用编码结构降低图像尺寸以减少内存消耗和计算时间,再使用转置卷积层将输出恢复到原始尺寸。空洞卷积使用离散的卷积核,在不改变网络参数和计算能力的条件下,使每个输出像素对应更大的输入区域,提升感受野^[17]。表1为生成网络的详细配置信息,其中kernel size为卷积核大小,stride为步幅,dilation rate为扩张系数,BN为批次归一化层(Batch normalization),dropout为正则化层,打勾代表添加BN层或者dropout层。

表 1. 生成网络的详细配置信息

Table 1. Detailed configuration information of the generator networkpixel

Name	Kernel size	Stride	Dilation rate	Output size	BN	Dropout
input	-	-	-	256×256×1	-	-
conv1…conv2conv3	64×3×3128×3×3	12	11	256×256×64128×128×128	PP	--
conv4	128×3×3	1	1	128×128×128	P	-
conv5	256×3×3	2	1	64×64×256	P	-
conv6…conv7dilaconv8	256×3×3256×3×3	11	12	64×64×25664×64×256	PP	--
dilaconv9	256×3×3	1	4	64×64×256	P	-
dilaconv10	256×3×3	1	8	64×64×256	P	-
dilaconv11	256×3×3	1	16	64×64×256	P	-
conv12…conv13	256×3×3	1	1	64×64×256	P	-
transconv14	128×4×4	2	-	128×128×128	P	-
merge1(conv4 + transconv14)	-	-	-	128×128×256	-	P
conv15	128×3×3	1	1	128×128×128	P	-
transconv16	64×4×4	2	1	256×256×64	P	-
merge2(conv2 + transconv16)	-	-	-	256×256×128	-	P
conv17	32×3×3	1	1	256×256×32	P	-
output	1×3×3	1	1	256×256×1	-	-

查看所有表

2.3 判别网络设计

判别网络的任务是判断图像是真实的还是生成的。本文中的判别网络将一个256 pixel×256 pixel图像作为输入,对步幅设置为2,并逐渐减小输入特征图尺寸,同时增加输出特征图的维度。与生成网络不同的是判别网络中所有的卷积核尺寸都为5 pixel×5 pixel,这既可以增大卷积核的感受野,也可以快速缩小输出特征图尺寸。最后通过全连接层和sigmoid激活函数将网络的输出限制为[0,1]区间内的一个连续概率值,该值表示输入判别网络的图像是真实图像的概率,表2为判别网络的详细配置信息。

表 2. 判别网络的详细配置信息

Table 2. Detailed configuration information of the discriminator networkpixel

Name	Kernel size	Stride	Dilation rate	Output size	BN	Dropout
Input	-	-	-	256×256×1	-	-
Conv1Conv2	64×5×5128×5×5	22	11	128×128×6464×64×128	PP	--
Conv3	256×5×5	2	1	32×32×256	P	-
Conv4	512×5×5	2	1	16×16×512	P	-
Conv5	512×5×5	2	1	8×8×512	P	-
Conv6	512×5×5	2	1	4×4×512	P	-
FC	-	-	-	1	-	-

查看所有表

2.4 模型的训练

由2.1节可知,生成对抗网络训练时,判别网络用来区分图像的真假,生成网络用来欺骗判别网络,整个网络优化的是一个最小化和最大化相冲突的目标,因此会极不稳定,需要谨慎地进行训练。本文训练过程分为3个步骤:

1) 训练T_G次生成网络;

2) 固定生成网络的权重,训练T_D次判别网络;

3) 联合训练生成网络和判别网络,直到训练结束。

为了使整个网络完成水下激光图像后向散射光的修复工作,本文选择均方根误差损失函数(MSE)和生成对抗网络损失函数(GAN loss)^[12],其中,MSE用于提高训练的稳定性,GAN loss用于提高输出结果的真实性,使用两种损失函数可输出更加真实的高性能网络模型。

用G(x)表示生成网络的输出,即修复后的图像,D(x)表示判别网络的输出,即对输入判别网络的图像为真实图像的判断概率,其中x代表输入生成网络或判别网络的图像。MSE定义为输入图像与生成图像对应像素间的误差平方和,可表示为

\begin{matrix} L [x, G (x)] = | x - G (x) |^{2} 。 (1) \end{matrix}

GAN损失函数将神经网络的标准优化问题转化为最小-最大优化问题,表达式为

\begin{matrix} R_{loss} = \min_{G} \max_{D} E \{lo g_{a} D (x) + \ln \{1 - D [G (x)]\}\}, (2) \end{matrix}

式中:D[G(x)]为判别网络对生成网络输出图像是否为真实图像的判断概率,a表示任意底数。对于真实图像,判别网络的输出尽量接近1;对于生成网络生成的图像,输出尽量接近0。通过将损失函数进行联合,得到整个生成对抗网络的优化目标为

\begin{matrix} \min_{G} \max_{D} V (D, G) = E \{L [x, D (x)] + αlnD (x) + αln \{1 - D [G (x)]\}\}, (3) \end{matrix}

式中:α为一个权重超参数,表示GAN损失函数所占的比例,E(·)表示对输入数据集取平均。生成网络的目的是生成尽可能真实的图像,即希望D[G(x)]越大,则V $\begin{matrix} (D, G) \end{matrix}$ 越小;判别网络的目的是识别出真实的图像,因此希望D(x)越大,D[G(x)]越小,则V $\begin{matrix} (D, G) \end{matrix}$ 越大。

联合训练过程中,生成网络和判别网络的权重和偏差不断改变,用θ_G表示生成网络的参数变化。上述最小-最大问题意味着对于生成网络,需要根据θ_G的变化来更新其参数,使生成网络损失函数的值减小,由(3)式对θ_G求导可得更新生成网络的梯度,即

\begin{matrix} R_{gradient} = E \{\nabla_{θG} L [x, G (x)] + α \nabla_{θG} \ln \{1 - D [G (x)]\}\} 。 (4) \end{matrix}

对于判别网络,训练方式与生成网络相同,但参数更新的方向与生成网络相反。

3 模型分析

3.1 数据集与训练

在水下光电图像采集系统中进行水下激光图像数据集的采集时,将中心波长为532 nm的激光入射到清水中,放入训练集目标,利用CCD(Charge Coupled Device)相机采集待修复的水下激光图像,此时可获得带有严重后向散射光的水下激光图像,然后将激光器换为光源尺寸为9 cm×9 cm的LED(Light Emitting Diode)白光面光源,调节亮度使得图像亮度与待修复的图像亮度相近并能清晰观察到目标细节,采集与待修复图像对应的样本图像。本研究主要研究对后向散射光的去除,但为模拟真实水下环境中既有后向散射又有噪声的情况,在采集的待修复水下激光图像上加入均值为0、方差范围为20~25的高斯噪声和噪声密度范围为0.01~0.015的椒盐噪声,作为训练集。图2是加入均值为0、方差为20的高斯噪声和噪声密度为0.01的椒盐噪声的示意图。

图 2. 训练集示意图。(a)样本图像;(b)后向散射光图像;(c)添加混合噪声的图像

Fig. 2. Schematic of training set. (a) Sample image; (b) image with backscattered light; (c) image with mixed noise

下载图片查看所有图片

利用带有混合噪声的水下激光图像和对应的样本图像构成训练集,再通过镜像和旋转等方法扩充训练集。为减小内存消耗并提高模型的训练速度,在训练时将图像大小缩小为256 pixel×256 pixel。此外将训练目标换为测试目标,用同样的方法建立测试集,最终用于训练和测试的数据集结构,如表3所示。

表 3. 数据集结构

Table 3. Structure of data set

Item	Train set	Validation set		Test set
Number ofimages	5850	650	40	40	40
Size /(pixel×pixel)	256×256	256×256	256×256	512×512	960×960

查看所有表

深度学习需要调节的超参数多,调试过程复杂,本研究通过实验分析确定核心参数,最终确定优化函数(Optimizers),选择Adam,初始学习率(Learning rate)选择0.001,批次规模(Batch size)选择4,训练次数选择240。对其余优先级较低的超参数采用常规默认设置,如网络的权重初始化采用he_normal,偏差全部初始化为0,激活函数采用线性整流激活函数(ReLU),网络优化目标函数中的权重超参数α为0.0004^[14]。选取Tensorflow作为后端的Keras深度学习框架,在NVIDIA GTX1080 GPU平台上进行训练。

3.2 模型结构分析

本研究对模型的改进主要体现在生成网络的跳跃结构和空洞卷积上,如果去掉生成网络的跳跃结构,则为常规深度卷积神经网络(VGG)风格的神经网络^[18],网络的深度会导致深层网络无法更多地提取底层特征信息;空洞卷积让生成网络能够对输入特征图进行不同尺度特征的提取,使得最终修复图像保留原始目标的更多细节结构。

3.2.1 空洞卷积

空洞卷积能够有效增加网络的感受野,但空洞卷积的加入也可能造成网络参数冗余,甚至引起过拟合,通过对比空洞卷积层数对结果的影响来确定最佳空洞卷积数量。如图3所示,曲线分别代表没有空洞卷积和空洞卷积扩张系数的最大值分别达到4,8,16,32时的测试误差,从曲线分析可知,没有空洞卷积或者空洞卷积系数过大时,测试误差并未收敛到最小值,因此本研究选取扩张系数为2,4,8,16的空洞卷积组合。

图 3. 空洞卷积分析曲线

Fig. 3. Analysis of dilated convolution

下载图片查看所有图片

3.2.2 跳跃结构

跳跃结构通过将底层特征图与后续层特征图相互组合,使后续层卷积核能够提取到底层特征图的特征,保证了特征的有效传递。对比模型在有无跳跃结构时的测试误差,如图4所示,当有跳跃结构时模型能够较好收敛,因此本研究选择加入跳跃结构以提升模型对图像的修复能力。

图 4. 跳跃结构分析曲线

Fig. 4. Analysis of jumping network

下载图片查看所有图片

4 实验测试结果

采用第3节选取的超参数和结构对模型训练完毕后,利用训练好的模型对测试集进行测试,并与目标图像进行对比。训练时的训练集和验证集收敛曲线如图5所示,随着训练次数的增加,两曲线一致下降到较低值,说明模型并未出现梯度爆炸和过拟合问题。

图 5. 模型训练曲线

Fig. 5. Curve of model training

下载图片查看所有图片

在图像处理过程中,如果直接对噪声图像进行增强,会使得噪声被放大,不易滤除,因此均采用先去噪再增强对比度的顺序对图像进行处理。先后用传统BM3D和中值滤波(Median filter)方法对图像去除高斯噪声和椒盐噪声,再增强图像对比度,增强方法选择暗通道先验方法(DCP)和一种结合直方图均衡化与带彩色恢复的多尺度视网膜增强联合图像增强算法(HEMSRCR)。HEMSRCR是由李锦等^[19]2014年提出的将直方图均衡化(HE)和MSRCR增强进行加权求和的图像增强方法,本研究通过实验最终选取HE权重为0.05,MSRCR权重为0.95。将所提方法结果与传统混合方法结果进行对比,衡量所提方法去噪和增强对比度的能力。由于还未出现针对水下激光图像的光束修复方法,因此所提方法对后向散射光的去除效果只能通过人眼直观感受进行评价。

图6、图7和图8的噪声参数分别为(0,20 dB,0.01)、(0,25 dB,0.015)和(0,30 dB,0.02),括号内的参数依次代表高斯噪声的均值、方差和椒盐噪声的噪声密度,并用Lv1、Lv2和Lv3依次代表这3个不同等级,每个等级中有3种不同的目标图像。图6、图7和图8 中的(a)为目标图像,(b)为带有后向散射光和混合噪声的待修复图像,(c)为先用BM3D和中值滤波去噪再用DCP增强对比度的结果,(d)为先用BM3D和中值滤波去噪再用HEMSRCR增强对比度的结果,(e)为所提方法结果。其中目标图像只是作为参考图像,用以评价不同方法的优势,并未参与到网络的训练过程中,即测试过程是对在训练集中没有出现过的待修复图像进行修复。对比可以看出,传统方法去除了噪声,但后向散射光仍是影响图像质量的主要因素,所提方法在去除混合噪声的同时完成后向散射光的修复工作,使目标得以清楚显示。此外,随着噪声的增大,所提方法的结果基本保持良好的图像修复能力,说明网络对不同噪声具有一定的适应性。

图 6. 噪声参数为(0,20 dB,0.01)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 6. Processing results of noise parameter (0, 20 dB, 0.01). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

下载图片查看所有图片

图 7. 噪声参数为(0,25 dB,0.015)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 7. Processing results of noise parameter (0, 25 dB, 0.015). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

下载图片查看所有图片

图 8. 噪声参数为(0,30 dB,0.02)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 8. Processing results of noise parameter (0, 30 dB, 0.02). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

下载图片查看所有图片

最后对多个测试结果的峰值信噪比(PSNR)和特征相似度(FSIM)进行计算,FSIM在各种全参考图像质量评价算法中准确度相对较高,值越高说明目标的细节保留越好^[20],结果如表4、表5所示。Denoise代表BM3D和中值滤波联合去噪的结果,Denoise+DCP和Denoise+HEMSRCR则代表去噪后用不同对比度增强方法处理的结果。对各测试图像的去噪和去噪并增强结果所获得的PSNR、FSIM取平均值作为传统方法的结果,可得出所提方法的PSNR平均提高9.10 dB,FSIM平均提高0.11,说明相对于传统方法,所提方法能够在去噪、增强对比度、平衡非均匀性照明和去除后向散射光等问题上进行有效的权衡,得到更加符合人眼视觉感受的水下激光图像。

表 4. 不同测试图像的PSNR

Table 4. The PSNR of different test imagesdB

Image	Denoise			Denoise+DCP			Denoise+ HEMSRCR			Proposed method
Image	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3
1	16.94	16.96	16.90	10.67	10.75	10.74	6.05	6.07	6.06	22.61	22.31	21.50
2	14.78	14.80	14.76	8.60	8.67	8.69	5.93	5.96	5.98	21.97	19.14	21.15
3	11.86	11.93	11.98	4.55	4.57	4.61	5.51	5.52	5.51	17.38	20.65	18.24
4	13.40	13.45	13.47	6.92	7.06	7.09	5.67	5.70	5.71	18.52	18.64	17.81
5	12.33	12.36	12.39	5.61	5.74	5.77	5.56	5.57	5.59	10.40	10.27	9.50
6	15.11	15.14	15.18	8.65	8.76	8.84	5.84	5.88	5.89	20.72	17.24	20.49

查看所有表

表 5. 不同测试图像的FSIM

Table 5. The FSIM of different test imagesdB

Image	Denoise			Denoise+DCP			Denoise+ HEMSRCR			Proposed method
Image	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3	Lv1	Lv2	Lv3
1	0.91	0.91	0.91	0.90	0.91	0.91	0.59	0.58	0.53	0.93	0.92	0.92
2	0.88	0.88	0.89	0.88	0.88	0.89	0.61	0.60	0.57	.90	0.91	0.90
3	0.92	0.91	0.90	0.90	0.91	0.92	0.65	0.62	0.55	0.92	0.91	0.91
4	0.87	0.87	0.88	0.87	0.87	0.88	0.61	0.59	0.56	0.92	0.89	0.89
5	0.89	0.89	0.90	0.89	0.89	0.90	0.68	0.66	0.60	0.91	0.89	0.88
6	0.89	0.89	0.90	0.89	0.89	0.90	0.60	0.59	0.55	0.93	0.91	0.91

查看所有表

在Intel Core i7-7700 CPU@4.20 GHz平台上分别对尺寸为256 pixel×256 pixel、512 pixel×512 pixel和960 pixel×960 pixel的图像进行耗时测试,结果如表6所示,将去噪和去噪后增强对比度的时间取平均作为传统方法的耗时,与所提方法相对比,所提方法在不同尺寸的图像上计算速度分别提高9.20,6.94,16.91倍。

表 6. 不同方法的时间

Table 6. Time of different methods

Image size (pixel×pixel)	Denoise	Denoise+DCP	Denoise+HEMSRCR	Proposed method	Speed up
256×256	0.3227	0.3311	0.6152	0.0460	9.20×
512×512	1.4841	1.5059	2.3453	0.2561	6.94×
960×960	5.6027	5.6854	9.5682	0.4109	16.91×

查看所有表

5 结论

通过改进获得了一种用于水下激光图像修复的生成对抗网络,网络由跳跃结构、空洞卷积和转置卷积组成,学习从水下激光图像到样本图像的端到端映射参数。卷积层充当特征提取器,利用空洞卷积捕获图像不同尺度的特征,同时消除噪声,转置卷积用于恢复图像尺寸。跳跃结构允许输入图像几乎直接连接到生成网络的底层,保证底层信息的有效传递。利用自建训练集对模型进行训练和测试,结果表明所提方法能够快速去噪并去除后向散射光,同时改善图像的非均匀性照明问题,使图像更符合人眼视觉感受。

本研究主要是探索对水下激光图像强后向散射光的去除,同时考虑到生成对抗网络需要极大规模的数据集,大规模采集一一对应的噪声图像和对应样本图像难度大,因此采用添加模拟噪声的方式。下一步需改进数据集结构,增加带有严重后向散射光和真实水下噪声的激光图像,减小网络规模,提升网络的泛化能力和运算速度。

参考文献

[1] 王磊, 徐智勇, 张启衡, 等. 距离选通水下激光成像系统设计及实验[J]. 激光与光电子学进展, 2012, 49(5): 051101.

Wang L, Xu Z Y, Zhang Q H, et al. Design and experiment of range-gated underwater laser imaging system[J]. Laser & Optoelectronics Progress, 2012, 49(5): 051101.

[2] 卢明腾, 苏显渝, 曹益平, 等. 同步扫描的调制度测量轮廓术三维面形重建算法[J]. 中国激光, 2016, 43(3): 0308006.

Lu M T, Su X Y, Cao Y P, et al. 3D shape reconstruction algorithms for modulation measuring profilometry with synchronous scanning[J]. Chinese Journal of Lasers, 2016, 43(3): 0308006.

[3] 杨力铭, 梁健, 张文飞, 等. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.

Yang L M, Liang J, Zhang W F, et al. Underwater polarimetric imaging target enhancement technology based on unpolarized illumination[J]. Acta Optica Sinica, 2018, 38(6): 0611003.

[4] 黄子吉, 肖杰, 陆安江, 等. 几种图像去噪方法的比较研究[J]. 通信技术, 2017, 50(11): 2465-2471.

Huang Z J, Xiao J, Lu A J, et al. Comparison and research on several image denoising methods[J]. Communications Technology, 2017, 50(11): 2465-2471.

[5] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[6] 韩宏伟, 张晓晖. 水下激光图像增强方法研究[J]. 激光与红外, 2007, 37(10): 1105-1108.

Han H W, Zhang X H. Study of enhancement technology in underwater laser imaging[J]. Laser & Infrared, 2007, 37(10): 1105-1108.

[7] 淦元柳, 李富栋. 水下图像的噪声滤波与仿真[J]. 激光与红外, 2013, 43(3): 306-310.

Gan Y L, Li F D. Noise filtering and simulation for underwater image[J]. Laser & Infrared, 2013, 43(3): 306-310.

[8] Xie JY, Xu LL, Chen EH. Image denoising and inpainting with deep neural networks[C]∥NIPS'12 Proceedings of the 25th International Conference on Neural Information Processing Systems, December 03-06, 2012, Lake Tahoe, Nevada. New York: ACM, 2012: 341- 349.

[9] 韩宏伟, 张晓晖, 葛卫龙. 水下激光距离选通成像系统的模型与极限探测性能研究[J]. 中国激光, 2011, 38(1): 0109001.

Han H W, Zhang X H, Ge W L. Study of the mode and maximum detecting performance of underwater laser range-gated imaging system[J]. Chinese Journal of Lasers, 2011, 38(1): 0109001.

[10] 刘雪明, 张明德, 孙小菡. 一种新型水下激光成像系统[J]. 中国激光, 2000, 27(3): 206-210.

Liu X M, Zhang M D, Sun X H. A new kind of underwater laser imaging system[J]. Chinese Journal of Lasers, 2000, 27(3): 206-210.

[11] 闻东海, 江月松, 张绪国, 等. 激光偏振成像散斑统计特性和抑制方法研究[J]. 光学学报, 2013, 33(3): 0311003.

Wen D H, Jiang Y S, Zhang X G, et al. Speckle characteristics of laser radar polarization imaging and despecking algorithm[J]. Acta Optica Sinica, 2013, 33(3): 0311003.

[12] Goodfellow IJ, Pouget-AbadieJ, MirzaM,et al. Generative adversarial nets[C/OL]∥International Conference on Neural Information Processing Systems, June 10, 2014.[S.l.:s.n.], 2014: 2672- 2680.

[13] Yeh RA, ChenC, Lim TY,et al. Semantic image inpainting with deep generative models[C]∥IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 6882- 6890.

[14] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics, 2017, 36(4): 1-14.

[15] LiuY, PanJ, Su Z. Deep blind image inpainting[EB/OL]. ( 2017-12-27)[2018-08-11].

[16] Ratliff LJ, Burden SA, Sastry SS. Characterizationand computation of local nash equilibria in continuous games[C]∥Annual Allerton Conference on Communication Control and Computing, October 2-4, 2013,Monticello, IL, USA. New York: IEEE, 2013: 917- 924.

[17] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions[J]. International Conference on Learning Representations, 2016, 13(8): 1123-1130.

[18] SimonyanK, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. ( 2015-04-10)[2018-08-12].

[19] 李锦, 王俊平, 万国挺, 等. 一种结合直方图均衡化和MSRCR的图像增强新算法[J]. 西安电子科技大学学报(自然科学版), 2014, 41(3): 103-109.

Li J, Wang J P, Wan G T, et al. Novel algorithm for image enhancement with histogram equalization and MSRCR[J]. Journal of Xidian University(Natural Science Edition), 2014, 41(3): 103-109.

[20] ZhangL, ZhangL, Mou XQ, et al. A comprehensive evaluation of full reference image quality assessment algorithms[C]∥IEEE International Conference on Image Processing, September 30- October 3, 2012, Orlando, FL, USA. New York: IEEE, 2012: 1477- 1480.

张清博, 张晓晖, 韩宏伟. 基于改进生成对抗网络的水下激光图像后向散射光修复方法[J]. 激光与光电子学进展, 2019, 56(4): 041004. Qingbo Zhang, Xiaohui Zhang, Hongwei Han. Backscattered Light Repairing Method for Underwater Laser Image Based on Improved Generative Adversarial Network[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041004.

基于改进生成对抗网络的水下激光图像后向散射光修复方法 下载： 1155次

1 引言

2 水下激光图像修复模型设计

2.1 网络结构概览

图 1. 生成对抗网络的结构图

Fig. 1. Network structure of the GAN

2.2 生成网络设计

表 1. 生成网络的详细配置信息

Table 1. Detailed configuration information of the generator networkpixel

2.3 判别网络设计

表 2. 判别网络的详细配置信息

Table 2. Detailed configuration information of the discriminator networkpixel

2.4 模型的训练

3 模型分析

3.1 数据集与训练

图 2. 训练集示意图。(a)样本图像;(b)后向散射光图像;(c)添加混合噪声的图像

Fig. 2. Schematic of training set. (a) Sample image; (b) image with backscattered light; (c) image with mixed noise

表 3. 数据集结构

Table 3. Structure of data set

3.2 模型结构分析

图 3. 空洞卷积分析曲线

Fig. 3. Analysis of dilated convolution

图 4. 跳跃结构分析曲线

Fig. 4. Analysis of jumping network

4 实验测试结果

图 5. 模型训练曲线

Fig. 5. Curve of model training

图 6. 噪声参数为(0,20 dB,0.01)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 6. Processing results of noise parameter (0, 20 dB, 0.01). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

图 7. 噪声参数为(0,25 dB,0.015)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 7. Processing results of noise parameter (0, 25 dB, 0.015). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

图 8. 噪声参数为(0,30 dB,0.02)的处理结果。(a)目标图像;(b)待修复图像;(c) Denoise+DCP;(d) Denoise+HEMSRCR;(e)所提方法

Fig. 8. Processing results of noise parameter (0, 30 dB, 0.02). (a) Target image; (b) image to be repaired; (c) Denoise+DCP; (d) Denoise+HEMSRCR; (e) proposed method

表 4. 不同测试图像的PSNR

Table 4. The PSNR of different test imagesdB

表 5. 不同测试图像的FSIM

Table 5. The FSIM of different test imagesdB

表 6. 不同方法的时间

Table 6. Time of different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进生成对抗网络的水下激光图像后向散射光修复方法下载： 1155次