一种单幅图像去除雨雾的方法

王丙元; 郑芳; 姜建; 杨搏

doi:doi:10.3788/LOP57.141027

激光与光电子学进展, 2020, 57 (14): 141027, 网络出版: 2020-07-28

一种单幅图像去除雨雾的方法下载： 861次

Method for Removal of Rain and Fog in Single Image

论文大纲

王丙元 ^1,2郑芳 ^2,*姜建 ²杨搏 ²

作者单位

¹ 中国民航大学航空地面特种设备民航研究基地, 天津 300300

² 中国民航大学电子信息与自动化学院, 天津 300300

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

雨雾天气严重影响了户外拍摄图像质量,针对图像去雾存在的边缘伪影问题,提出了一种基于流形粒子滤波的去雾新方法,通过优化大气透射率,获得精确的透射率,解决了景深边缘伪影问题;针对去雨雾存在雨痕和不清晰问题,提出了一种优化注意生成对抗网络的去雨雾方法,通过将高斯模型与生成对抗网络相结合,去除背景干扰,提高了背景层与雨线分离的准确性,同时在生成对抗网络中加入流形粒子滤波去雾模块,恢复出清晰无雨雾图。采用自然场景雨雾天图像进行测试,并进行定性定量分析比较。实验结果表明,与现存去雨算法相比,所提算法能较好地去除图像中的雨线,且细节特征更加丰富,同时去雾模块的加入显著提高了图像清晰度,客观指标也得到了提升。

Abstract

Rain and fog weather seriously affects the quality of outdoor images. In this paper, a new method of defogging based on manifold particle filtering is proposed to solve the problem of edge artifacts. By optimizing the atmospheric transmissivity, the accurate transmissivity is obtained, and the problem of edge artifacts in the depth of field is solved. Aiming at rain marks and unclear problems in removing rain and fog, this paper proposes a method that optimizes the attentive generative adversarial network. By combining the Gaussian model with the generative adversarial network, the background interference is removed, and the accuracy of separation of the background layer from the rain line is improved. At the same time, the manifold particle filter fog removal module is added to the generative adversarial network to recover the clear image without rain and fog. The rain and fog images in the natural scene are used for testing, and qualitative and quantitative analyses are conducted. Experimental results show that compared with the existing rain-removal algorithm, the proposed algorithm can remove the rain line in image effectively, and the details are more abundant. At the same time, the addition of the fog removal module significantly improves the image clarity and the objective index.

1 引言

恶劣天气下,雨线及伴随的雾气致使成像质量严重下降,限制了室外视频监控、**侦察等工作的进行。因此图像去雨雾是数字图像处理和机器视觉领域研究的重要问题,在智能交通、**安全领域具有重大的理论研究意义和广泛的应用价值。

关于图像去雨,大量研究方法被提出,且效果不断提升。Li等^[1]基于块学习思想并利用高斯混合模型分别表示背景层和雨层的先验知识,取得了较好的去雨结果,但该方法产生的背景图像部分细节缺失导致图像不清晰。Luo等^[2]提出判别稀疏性编码方法,通过分离图像中的雨和背景信息,得到清晰的背景图像,但当输入图像具有与雨纹相似的结构时,去除效果较差。Fu等^[3]在残差网络的基础上,提出了一种深度细节网络,取得了较好的去雨效果,但该方法存在少许雨痕。马龙等^[4]提出了可学习的混合基于最大后验估计(MAP)方法,增加了背景层与雨线层之间的独立性,提高了效率,但该方法未考虑雾气的影响因素。随着研究深入及对真实雨图的认识,人们发现下雨的同时将伴随着不同雾的生成。

基于先验知识或假设的单幅图像去雾取得了重大突破^[5]。2009年He等^[6]提出基于暗原色先验的单幅图像去雾算法,去雾效果显著,但该方法在景深突变处存在边缘伪影问题。Feng等^[7]在暗原色先验去雾的基础上,使用贝叶斯估计的方法优化透射率,提高了处理效率,但该方法需要同一场景的近红外图像,导致实际应用受限。苏畅等^[8]提出基于暗通道图像质心偏移量的去雾算法,修正了场景的透射率,有效恢复了明亮区域原有的丰富信息,但该算法存在光晕效应。Meng等^[9]提出边界约束图像复原方法,通过增加物理模型的约束条件来获取图像透射率,避免了图像上的许多错误增强,但该方法在获取恢复图像的同时损失了细节特征信息。

上述去雨雾方法存在背景信息丢失或雨痕残留,针对这些问题,提出一种优化注意生成对抗网络的去雨雾方法,有效地将高斯模型与生成对抗网络相结合,减小了背景与雨线之间的依赖性,在有效去除雨纹的同时,细节纹理信息更加突出,并增加流形粒子滤波去雾模块,显著提高了图像的清晰度。

2 流形粒子滤波去雾

流形粒子滤波去雾是一种基于暗原色先验去雾的方法,利用流形粒子滤波对初始透射率进行精确优化,可恢复出清晰无雾图。

2.1 暗原色先验理论

在雾霾天气下,描述雾天图像的大气散射模型^[10]为

I (x) = J (x) t (x) + A [1 - t (x)], (1)

式中:x为像素的空间坐标;I(x)为有雾图像;J(x)为清晰图像;A为大气光强;t(x)为透射率。由暗原色先验去雾算法可得暗通道为

J_{dark} (x) = \min_{y \in Ω (x)} \underset{c \in \{R, G, B\}}{\{\min [J^{c} (y)]\}}, (2)

式中:J^c表示色彩R、G、B通道;Ω(x)是像素x空间;y为c颜色通道像素点坐标;c为R、G或B颜色通道。

A^c是大气光强A在c颜色通道的值,对三个颜色通道进行独立运算,且在三个颜色通道上对(2)式两端进行最小值操作,t(x)在Ω(x)空间是常量,记为 $\tilde{t}$ (x)。暗通道为

\min_{y \in Ω (x)} [\min_{c \in \{R, G, B\}} \frac{I^{c} (y)}{A^{c}}] = \tilde{t} (x) \min_{y \in Ω (x)} [\min \frac{J^{c} (y)}{A^{c}}] + 1 - \tilde{t} (x), (3)

式中:I^c为暗通道值。

由暗通道先验理论可知

\min_{y \in Ω (x)} [\min_{c \in \{R, G, B\}} \frac{I^{c} (y)}{A^{c}}] = 0 。 (4)

将(4)式代入(3)式可估计出透射率系数 $\tilde{t}$ (x)为

\tilde{t} (x) = 1 - \min_{y \in Ω (x)} [\min_{c \in \{R, G, B\}} \frac{I^{c} (y)}{A^{c}}] 。 (5)

为使远处物体保持少量雾且使图像看起来更自然,在(5)式中引入常量参数w:

\tilde{t} (x) = 1 - w \min_{y \in Ω (x)} [\min_{c \in \{R, G, B\}} \frac{I^{c} (y)}{A^{c}}] 。 (6)

2.2 透射率优化

使用初始估计的透射率直接恢复无雾图像,会出现边缘伪影效应,降低了恢复后的图像质量。本节提出流形粒子滤波方法以优化透射率,平滑图像边缘,丰富细节特征。在初始传输图上,对一个像素点X_k_-1运用粒子滤波方法,由概率函数进行重要性采样,对权值进行均一化处理,然后利用流形学习更新权值。

流形学习是一种非线性降维方法,目标是找到嵌入在高维数据空间中的低维流形结构,实现维数约简。如图1所示,K 维原始数据集E中的点集位于低维空间流形F上,通过流形映射使高维空间数据集映射到低维空间,并保持原有点集的相对位置。流形学习算法包括等距映射(Isomap)、拉普拉斯特征映射(LE)和局部线性嵌入(LLE),本文采用LLE算法。

图 1. 流形学习的映射

Fig. 1. Mapping of manifold learning

下载图片查看所有图片

LLE算法放弃寻找全局最优解,假设数据在局部是线性的且观测数据足够稠密,则空间中的每一个数据点可以用它的K个近邻线性表示,并通过局部最优来降维。降维的时间复杂度和空间复杂度均有所降低,从而减少了降维计算量。LLE算法从高维向量空间中向量点局部的小区域提取低维数据,并将其嵌入子集合,如图2所示,高维观测数据集合X={x₁,x₂,…,x_n},x_i为高维数据点,i=1,2,3,…,n,x_i∈R^d,散布于光滑的d维流形M⊂R^d上,通过LLE算法映射到新的数据集Z={z₁,z₂,…,z_n},z_i为低维数据点,z_i∈R^m,n=1,2,3, …,m=1,2,3, …。z_j,z_k,z_l分别为低维数据。

局部线性嵌入主要包含三个步骤:

1) 为每个样本点x_i找到其近邻集合Q_i,一般采用k近邻:

x_{i} = w_{ij} x_{j} + w_{ik} x_{k} + w_{il} x_{l}, (7)

式中:w_ij、w_ik、w_il为权重; $x_{j} 、 x_{k} 、 x_{l}$ 为近邻样本;j=1,2,3,…,n;k=1,2,3,…,n;l=1,2,3,…,n;j≠k≠l。

2) 基于Q_i中样本点计算x_i重构,重构系统w_ij。权重w_ij是使得样本点x_i用其k个邻域点x_i重构误差最小的解的系数。

\{\begin{array}{l} ε (w) = \min_{} \overset{m}{\sum_{i = 1}} ‖ x_{i} - \sum_{j \in Qi} w_{ij} x_{j} ‖^{2} \\ s.t. \sum_{j \in Qi} w_{ij} = 1, \overset{m}{\sum_{i = 1}} Q_{jk} w_{jk} = 1 \end{array}, (8)

图 2. LLE算法映射嵌入

Fig. 2. Mapping and embedding of LLE algorithm

下载图片查看所有图片

式中:ε(w)为损失函数;w为权值矩阵;w_jk为权重系数;Q_jk为近邻集合点中数据, $Q_{jk} = (x_{i} - x_{j})^{T} (x_{i} - x_{k}), ε (w) 的值最小时的$ 权重w_ij即为各样本点最优线性表示参数。

3) 计算低维空间坐标。在权值矩阵w确定时,将样本点映射到低维空间,得到新的低维样本向量,使判断函数最小:

\{\begin{array}{l} ε (z) = \min_{z 1, z 2, \dots, zm} \overset{m}{\sum_{i = 1}} ‖ z_{i} - \sum_{j \in Q_{i}} w_{ij} z_{j} ‖^{2} \\ s.t. \overset{m}{\sum_{i = 1}} z_{i} = 0, \frac{1}{m} \overset{m}{\sum_{i = 1}} z_{i} {z^{T}}_{i} = I \end{array}, (9)

式中:I为单位矩阵;Z为样本集D在低维空间的投影, $Z = (z_{1}, z_{2}, \dots, z_{m}) \in R^{d}; ε (z) 为损失函数值; z_{i} 为原样本向量 x_{i}$ 的输出向量;z为低维数据。

最后得到流形粒子滤波后的精确透射率为

t (X_{T}) = \overset{N}{\sum_{i = 1}} w_{T}^{i} t (x_{T}^{i}), (10)

式中:X_T为流形粒子滤波后像素点; $w_{T}^{i}$ 为更新后权重; $x_{T}^{i}$ 为初始透射率像素点;t(·)为初始透射率。

2.3 无雾图像恢复

将精确透射率t(x)、大气光A、有雾图像I(x)代入(1)式得无雾清晰图像J(x)为

J (x) = \frac{I (x) - A}{\max [t (x), t_{0}]} + A 。 (11)

流形粒子滤波去雾图及其色彩直方图如图3所示,去雾效果显著且图像细节丰富,去雾后图像灰度值分布均匀。

图 3. 去雾图及其色彩直方图。(a)有雾图;(b)流形粒子滤波去雾;(c)图3(a)色彩直方;(d)图3(b)色彩直方图

Fig. 3. Dehazing map and its color histogram. (a) Foggy image; (b) manifold particle filtering for fog removal; (c) color histogram of Fig. 3(a); (d) color histogram of Fig. 3(b)

下载图片查看所有图片

3 本文去雨雾算法

本文去雨雾算法通过优化注意生成对抗网络解决了去雨雾的问题。为更好地达到去噪效果,减小背景与雨线之间的依赖性,生成器端引入高斯模块以获得更多的细节纹理, 在生成器末端加入流形粒子滤波去雾模块,将去雨和去雾进行融合。

如图4所示,网络主要结构为生成网络和判别网络。利用生成网络获得自然清晰的图像,利用判别网络验证输入图像是真实的还是生成的^[11]。生成对抗损失可表示为

\min_{G} \max_{D} E_{R ~ Pclean} \{\log D (R)\} + E_{I'~ Praindrop} \{\log [1 - D (I')]\}, (12)

式中:E_R_~Pclean为干净样本图;E_I_'~Praindrop为有雨样本图;D(I')为生成图像;D为判别网络;I'为退化图像;R为清晰图像。

图 4. 本文所提算法网络结构

Fig. 4. Architecture of proposed method in this paper

下载图片查看所有图片

3.1 生成网络

生成网络由两个子网络组成:注意递归和上下文自编码,网络结构由图4左侧实线框标出。注意递归网络的目的是在输入图像中寻找需引起注意的区域,以产生更好的局部图像恢复。

递归网络由残差网络、长短期记忆网络(LSTM)以及卷积层组成,结构参数设置如表1所示。ResNet网络中每个残差模块由2个残差单元(6个卷积层)组成,使用ReLU作为每个卷积层的激活函数。LSTM卷积层单元包括一个输入门i_t,一个忘记门f_t,一个输出门O_t以及一个单元状态c_t,解决了循环神经网络存在的长期依赖问题。状态与门随时间维度的相互作用定义为

\{\begin{array}{l} i_{t} = σ (W_{xi} \cdot X_{t} + W_{h i} \cdot H_{t - 1} + W_{ci} ☉ C_{t - 1} + b_{i}) \\ f_{t} = σ (W_{xf} \cdot X_{t} + W_{h f} \cdot H_{t - 1} + W_{cf} ☉ C_{t - 1} + b_{f}) \\ C_{t} = f_{t} ☉ c_{t - 1} + i_{t} ☉ \tanh (W_{xc} \cdot X_{t} + W_{h c} \cdot H_{t - 1} + b_{c}) \\ O_{t} = σ (W_{xo} \cdot X_{t} + W_{h o} \cdot H_{t - 1} + W_{co} ☉ C_{t} + b_{o}) \\ h_{t} = O_{t} ☉ \tanh (C_{t}) \end{array}, (13)

式中:☉代表元素相乘;t表示索引位置;h_t代表LSTM单元的输出特性;σ(·)为更新函数;W_xi、W_hi、W_ci为输入门的权重;W_xf、W_hf、W_cf为忘记门权重;W_xc、W_hc为状态单元的权重;W_xo、W_ho、W_co为输出门的权重;b_i为输入门偏置项;b_f为忘记门偏置项;b_c为状态门偏置项;b_o为输出门偏置项;X_t是残差网络的生成特征;C_t用于对将要传递到下一个LSTM状态的特征进行编码;H_t代表LSTM单元输出特性。

表 1. 递归网络结构参数设置

Table 1. Structural parameter settings of recursive network

Layer		Feature
	0	Detail layer
	1	Conv(1×1, 32); stride:1; ReLU
	2	Conv(1×1, 32); stride:1; ReLU
	3	Conv(1×1, 32); stride: 1; ReLU
Residual	4	Concatenate (2,3)
	5	Conv(1×1, 32); stride:1; ReLU
	6	Conv (1×1, 32); stride:1; ReLU
	7	Concatenate (4,5)
	Input gate	Conv (3×3, 32); stride:1; sigmoid
LSTM	Forget gate	Conv (3×3, 32); stride:1; sigmoid
	Cell state	Conv (3×3, 32); stride:1; sigmoid
	Output gate	Conv (3×3, 32); stride:1; sigmoid

查看所有表

训练网络时,在特定时间步长t的输出映射下,每个循环块中的损失函数定义为

L_{ATT} ({A}, M) = \overset{N}{\sum_{t = 1}} θ^{N - t} L_{MSE} (A_{t}, M), (14)

式中:L_ATT为循环网络损失;A为注意力图;θ^N^-^t为t时刻注意映射值;L_MSE为A_t与二值掩码M之间的均方误差;A_t为注意递归网络在时间步长t生成的注意力图。

上下文自编码可视为一个编码到解码的网络,输入为原始图像和注意力图像,通过16个卷积层,每一层使用ReLU非线性激活函数学习目标区域特征纹理信息,以产生更好的局部图像恢复。最后使用Tanh激活函数输出生成的图片,将其作为关联函数为生成网络与判别网络建立起联系。因此生成网络损失为

L_{G} = 10^{- 2} L_{GAN} (O) + L_{ATT} (\{A\}, M) + L_{M} (\{S\}, \{T\}) + L_{P} (O, T), (15)

式中:L_GAN为对抗性损失;L_ATT为循环网络损失;L_M为自编码损失;L_P为感知损失;O是自动编码器的输出图像;S为从解码器层提取的输出;T表示具有与S相同尺度的真实图像。

3.2 判别网络

判别器是为判别图像真假设计的一种神经网络,由图4右侧虚线标出,将生成网络输出的注意力图输入到9层卷积层,卷积核大小为5×5,采用ReLU激活函数。FC为判别模型,将sigmoid函数应用于特征映射,便于进行判别真伪。判别器结构参数如表2所示。

表 2. 判别器结构参数设置

Table 2. Discriminator structural parameter setting

Layer	Feature
Layer 0	Output image
Layer 1	Conv (5×5, 8); stride:1; ReLU
Layer 2	Conv (5×5, 16); stride:1; ReLU
Layer 3	Conv (5×5, 32); stride:1; ReLU
Layer 4	Conv (5×5, 64); stride:1; ReLU
Layer 5	Conv (5×5, 128); stride:1; ReLU
Layer 6	Conv (5×5, 128); stride:1; ReLU
Layer 7	Conv (5×5, 64); stride:4; ReLU
Layer 8	Conv (5×5, 64); stride:4; ReLU
Layer 9	Conv (5×5, 32); stride:4; ReLU

查看所有表

根据自编码中CNN的输出和注意力图定义了一个损失函数为

L_{D} (O, R, A_{N}) = - \log [D (R)] - \log [1 - D (O)] + γ L_{map} (O, R, A_{N}), (16)

式中:A_N为可视化后的注意力图;D(·)为判别网络对生成图像的判别结果;γ是折扣因子;L_map是从鉴别器内部层提取的特征与最终映射之间的损失,即

\begin{array}{r} L_{map} (O, R, A_{N}) = & L_{MSE} [D_{map} (O), A_{N}] + L_{MSE} [D_{map} (R), O] 。 (17) \end{array}

4 实验验证与结果分析

本文实验分为两个部分。第一部分为去雾实验,使用合成雾和自然场景雾图像验证本文去雾算法的有效性。第二部分为去雨雾实验,采用真实图像数据集进行训练测试,验证本文所提改进注意生成对抗网络的有效性。本文的实验平台为PyCharm,运行环境为Intel 3.5 GHz ,4核CPU,内存16 GB,Windows10操作系统。

4.1 去雾实验

为了公平地对本文去雾算法进行测试和评估,评价标准参照文献[ 12-13]。本文分别从定性和定量两个方面与其他经典代表性去雾算法进行比较,以验证本文算法的效果。对比方法选用软抠图处理算法(soft matting)^[12]、引导滤波(GF)算法、He等所提算法、Retinex算法、同态滤波增强(HF)、结合无黑像素约束和平面假算法(NBPC+PA)^[14]。

测试去雾图像有两类:自然雾天场景和公开的标准道路图像库(FRID)中场景图像。

4.1.1 定性评估

为了直观反映本文算法的效果,将soft matting、GF算法、He等所提算法、Retinex算法、HF、NBPC+PA与本文算法在自然场景(场景1)和道路图像库(场景2~6)上进行测试对比。

从图5可以看出soft matting、GF算法去雾后图像较清晰,但颜色饱和度偏大,亮度偏暗淡,且清晰度弱于本文算法。Retinex算法去雾后图像对比度增强,但颜色偏暗紫色,部分细节信息缺失导致图像失真。HF算法去雾后图像清晰度低于其他算法,少量的雾被去除,去雾效果明显不佳。NBPC+PA去雾后,场景1下半部分图像对比度低,物体细节特征模糊。场景2出现白色斑点。场景3~6颜色过于白化,去雾效果差。通过定性评估可看出,本文算法相较于其他算法的对比度和清晰度都相对较高,去雾效果较为理想。

图 5. 自然场景雾和合成均匀雾实验原图像及各算法测试结果。(a)输入雾图像;(b) soft matting;(c) GF算法;(d) He等所提算法;(e) Retinex算法;(f) HF;(g) NBPC+PA;(h)所提算法

Fig. 5. Original images and test results of each algorithm for synthetic uniform fog and fog in natural scene. (a) Input hazy images; (b) soft matting; (c) GF algorithm; (d) method proposed by He et al.; (e) Retinex algorithm; (f) HF; (g) NBPC+PA; (h) proposed method

下载图片查看所有图片

4.1.2 定量评估

为了对本文去雾算法和其他去雾算法进行定量评估,采用了灰度方差(MSD)、峰值信噪比 (PSNR)、结构相似性指数(SSIM)三种客观质量评价方法^[15-16]。在图片清晰度评价中,MSD为图片清晰度聚焦评价的依据,其值越大,图像中的高频分量越多,图像越清晰;PSNR作为评价图像信号失真的指标,其值越大则图像失真度越小;SSIM评估输入图像和去雾图像之间的结构相似性,其值越大说明图像质量越好。

表3为图5各场景定量分析数据,加粗数据为最优值。对于场景1,本文算法的MSD、PSNR、SSIM值均为最优值;对于场景2,本文算法的PSNR、SSIM均为最优值,MSD值为次优值,结合定性分析, He等所提算法虽清晰度高,但边缘伪影严重,导致一些细节被暗化,且图像对比度低于本文算法。对于场景3,本文算法的MSD、PSNR、SSIM均为最优值。对于场景4,本文算法的MSD、SSIM均为最优值,PSNR为非最优值,结合定性分析,NBPC+PA去雾图像过于白化且有薄雾残留。对于场景5,本文算法MSD、SSIM均为最优值,PSNR值为非最优值,结合定性分析HF等所提算法得到的图像虽亮度高但存在大量的余雾。对于场景6,本文算法的MSD、PSNR、SSIM均为最优值。

表 3. 客观评测方法对图5中图像测试所得数据

Table 3. Data obtained by objective evaluation methods for testing images in Fig. 5

SettingNo.		Softmatting	GF algorithm	Methodproposedby He et al.	Retinexalgorithm	HF	NBPC+PA	MPF (manifoldparticlefiltering)
	MSD /10⁵	0.832	0.894	1.310	0.995	0.857	1.212	2.011
1	PSNR	62.454	61.272	60.832	60.582	62.658	61.536	62.720
	SSIM	0.418	0.403	0.416	0.251	0.690	0.534	0.746
	MSD /10⁵	0.954	0.980	1.538	1.058	0.976	0.779	1.310
2	PSNR	59.081	60.718	59.930	58.373	58.545	60.681	61.346
	SSIM	0.450	0.484	0.389	0.373	0.473	0.515	0.815
	MSD /10⁵	2.590	3.416	4.235	3.220	2.319	1.960	5.099
3	PSNR	63.074	58.258	61.474	54.307	60.505	63.591	65.186
	SSIM	0.812	8.516	0.539	0.325	0.756	0.818	0.871
	MSD /10⁵	2.122	2.747	3.462	1.656	2.703	1.886	4.990
4	PSNR	61.747	56.114	60.249	55.532	61.319	63.498	61.275
	SSIM	0.589	0.474	0.483	0.351	0.595	0.684	0.743
	MSD /10⁵	2.494	3.283	3.700	3.076	1.973	1.783	4.495
5	PSNR	57.721	56.292	57.987	54.654	61.396	60.756	60.127
	SSIM	0.530	0.460	0.538	0.333	0.699	0.809	0.828
	MSD /10⁵	3.634	5.388	5.745	4.688	4.052	3.478	7.636
6	PSNR	65.729	57.372	58.644	54.456	60.794	65.207	67.130
	SSIM	0.726	0.588	0.616	0.334	0.701	0.820	0.905

查看所有表

综合定性定量分析,本文去雾算法能恢复出清晰、自然的场景,去雾效果优于现有算法。

4.2 去雨雾实验

本文训练注意生成对抗网络的数据集有1306组各种背景图像对,每对包含完全相同的背景,一个是雨图,另一个是真实图像。训练集为1000组图像对,测试集为306组图像对。

4.2.1 定性评估

为了直观反映本文算法的效果,将高斯曲率算法、深度残差网络算法^[17](DRN)与本文算法在真实场景图上进行测试对比。5幅场景雨图(从上到下依次为场景1、2、3、4、5)伴有不同程度雾的产生。

从图6可以看出高斯曲率算法有去雨效果,但局部存在明显的雨线和纹理模糊,过度平滑致使图像纹理细节模糊,且由于未进行去雾操作,清晰度明显弱于本文算法。DRN相较于高斯曲率算法,去雨效果明显,如场景1,在小雨背景下,清晰度较高,但仍然存在少量雨线;在雨密集产生雾气时,如场景2、3、4、5,DRN所得图像的清晰度明显低于本文算法。如图6所示,本文算法在有效去除雨线的同时,最大程度地保留了图像的细节纹理信息,并很好地恢复了图像的色彩饱和度。因此本文算法较于高斯曲率算法和DRN,在完全去除雨纹的基础上,图像对比度和清晰度都相对较高,颜色自然,去雨雾效果较为理想。

4.2.2 定量评估

为了对本文去雨雾算法进行定量评估,本文采用特征相似性(FSIM)、PSNR、SSIM三种客观质量评价方法。FSIM评价图像结构信息的改变,其值越接近1,图像失真度越小。表4为高斯曲率算法、DRN、本文算法针对5幅场景图的定量评估数据。

图 6. 实验的原图像和去雨雾图像。(a)雨图;(b)高斯曲率算法;(c) DRN;(d)本文算法

Fig. 6. Original images and test results of each algorithm for rain and fog removal. (a) Rain image; (b) Gaussian curvature algorithm; (c) DRN; (d) proposed method

下载图片查看所有图片

表 4. 各个客观评测方法对自然雨雾场景实验(图6)测试所得数据

Table 4. Data obtained by objective evaluation methods for natural rain and fog scene for experiments (Fig. 6)

Scene No.	FSIM			SSIM			PSNR
Scene No.	GC	DRN	IA-GAN	GC	DRN	IA-GAN	GC	DRN	IA-GAN
1	0.741	0.778	0.967	0.740	0.906	0.937	64.038	37.482	71.495
2	0.812	0.794	0.842	0.903	0.896	0.956	67.368	70.048	70.544
3	0.703	0.833	0.895	0.900	0.912	0.947	66.611	70.681	74.159
4	0.804	0.864	0.847	0.907	0.887	0.946	70.811	69.243	69.879
5	0.718	0.873	0.893	0.354	0.915	0.939	68.337	71.086	72.815
注:GC: Gaussian curvature; IA-GAN: improved attentive generative adversarial network

查看所有表

表4测试所得数据中加粗的为最优值。由数据可知,本文算法的FSIM指标在场景1、2、3、5均为最优值,在场景4上为次优值,结合定性分析,对于场景4, DRN所得图像存在明显的残留雨痕,且清晰度弱于本文算法去雨图像。本文算法的SSIM指标在场景1、2、3、4、5均为最优值,能够很好地维持图像自身纹理。在场景1、2、3、4、5上,本文算法的PSNR值均为最优值。

综合本文算法的定性和定量评估,可知本文算法能够有效地去除雨纹,较好地恢复出场景色度信息,视觉效果和定量评价指标均优于现有算法。

5 结论

针对雨雾环境下所得的图像,在现有注意生成对抗网络去雨框架下进行改进,在生成网络部分引入高斯滤波模块以获得基础层和细节层,解决了背景层与雨纹层之间的依赖关系;同时提出了一种新的去雾算法,利用流形粒子滤波细化透射率解决边缘伪影问题,提高了图像的清晰度。经过定性和定量分析比较可知,较于现存经典算法,本文算法在完全去除雨纹的同时,图像细节特征更加清晰。图像去雨雾处理可以应用于智能交通、安全等领域,具有重大的理论研究意义和应用价值。

参考文献

[1] LiY, Tan RT, Guo XJ, et al. Rain streak removal using layer priors[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 2736- 2744.

[2] LuoY, XuY, JiH. Removing rain from a single image via discriminative sparse coding[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 3397- 3405.

[3] Fu X Y, Huang J B, Ding X H, et al. Clearing the skies: a deep network architecture for single-image rain removal[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2944-2956.

[4] 马龙, 刘日升, 姜智颖, 等. 自然场景图像去雨的可学习混合MAP网络[J]. 中国图象图形学报, 2018, 23(2): 277-285.

Ma L, Liu R S, Jiang Z Y, et al. Rain streak removal using learnable hybrid MAP network[J]. Journal of Image and Graphics, 2018, 23(2): 277-285.

[5] 赵建堂. 基于深度学习的单幅图像去雾算法[J]. 激光与光电子学进展, 2019, 56(11): 111005.

Zhao J T. Single-image defogging algorithm based on deep learning[J]. Laser & Optoelectronics Progress, 2019, 56(11): 111005.

[6] He KM, SunJ, Tang XO. Single image haze removal using dark channel prior[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25,2009, Miami, FL, USA. New York: IEEE, 2009: 1956- 1963.

[7] FengC, Zhuo SJ, Zhang XP, et al. Near-infrared guided color image dehazing[C]∥2013 IEEE International Conference on Image Processing, September 15-18, 2013, Melbourne, VIC, Australia. New York: IEEE, 2013: 2363- 2367.

[8] 苏畅, 毕国玲, 金龙旭, 等. 基于暗通道图像质心偏移量的去雾算法[J]. 光学学报, 2019, 39(5): 0533001.

Su C, Bi G L, Jin L X, et al. Dehazing algorithm based on dark-channel image centroid offset[J]. Acta Optica Sinica, 2019, 39(5): 0533001.

[9] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, December 1-8,2013, Sydney, NSW, Australia. New York: IEEE, 2013: 617- 624.

[10] Cox L J. Optics of the atmosphere-scattering by molecules and particles[J]. Journal of Modern Optics, 1977, 24(7): 779.

[11] 张清博, 张晓晖, 韩宏伟. 基于改进生成对抗网络的水下激光图像后向散射光修复方法[J]. 激光与光电子学进展, 2019, 56(4): 041004.

Zhang Q B, Zhang X H, Han H W. Backscattered light repairing method for underwater laser image based on improved generative adversarial network[J]. Laser & Optoelectronics Progress, 2019, 56(4): 041004.

[12] 吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, 2015( 2): 221- 239.

WuD, Zhu QS. The latest research progressof image dehazing[J]. Acta Automatica Sinica, 2015( 2): 221- 239.

[13] Wen SH, Zhao YF, Ma JR, et al. Image defogging algorithm based on image bright and dark channels[C]∥2018 WRC Symposium on Advanced Robotics and Automation (WRC SARA), August 16,2018, Beijing, China. New York: IEEE, 2018: 269- 274.

[14] Tarel J P, Hautiere N, Caraffa L, et al. Vision enhancement in homogeneous and heterogeneous fog[J]. IEEE Intelligent Transportation Systems Magazine, 2012, 4(2): 6-20.

[15] Li C F, Bovik A C. Content-partitioned structural similarity index for image quality assessment[J]. Signal Processing: Image Communication, 2010, 25(7): 517-526.

[16] Tarel JP, HautièreN, CordA, et al. Improved visibility of road scene images under heterogeneous fog[C]∥2010 IEEE Intelligent Vehicles Symposium, June 21-24, 2010, San Diego, CA, USA. New York: IEEE, 2010: 478- 485.

[17] 杨斌, 王翔. 基于深度残差去噪网络的遥感融合图像质量提升[J]. 激光与光电子学进展, 2019, 56(16): 161009.

Yang B, Wang X. Boosting quality of pansharpened images using deep residual denoising network[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161009.

王丙元, 郑芳, 姜建, 杨搏. 一种单幅图像去除雨雾的方法[J]. 激光与光电子学进展, 2020, 57(14): 141027. Bingyuan Wang, Fang Zheng, Jian Jiang, Bo Yang. Method for Removal of Rain and Fog in Single Image[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141027.

一种单幅图像去除雨雾的方法下载： 861次

1 引言

2 流形粒子滤波去雾

2.1 暗原色先验理论

2.2 透射率优化

图 1. 流形学习的映射

Fig. 1. Mapping of manifold learning

图 2. LLE算法映射嵌入

Fig. 2. Mapping and embedding of LLE algorithm

2.3 无雾图像恢复

图 3. 去雾图及其色彩直方图。(a)有雾图;(b)流形粒子滤波去雾;(c)图3(a)色彩直方;(d)图3(b)色彩直方图

Fig. 3. Dehazing map and its color histogram. (a) Foggy image; (b) manifold particle filtering for fog removal; (c) color histogram of Fig. 3(a); (d) color histogram of Fig. 3(b)

3 本文去雨雾算法

图 4. 本文所提算法网络结构

Fig. 4. Architecture of proposed method in this paper

3.1 生成网络

表 1. 递归网络结构参数设置

Table 1. Structural parameter settings of recursive network

3.2 判别网络

表 2. 判别器结构参数设置

Table 2. Discriminator structural parameter setting

4 实验验证与结果分析

4.1 去雾实验

图 5. 自然场景雾和合成均匀雾实验原图像及各算法测试结果。(a)输入雾图像;(b) soft matting;(c) GF算法;(d) He等所提算法;(e) Retinex算法;(f) HF;(g) NBPC+PA;(h)所提算法

Fig. 5. Original images and test results of each algorithm for synthetic uniform fog and fog in natural scene. (a) Input hazy images; (b) soft matting; (c) GF algorithm; (d) method proposed by He et al.; (e) Retinex algorithm; (f) HF; (g) NBPC+PA; (h) proposed method

表 3. 客观评测方法对图5中图像测试所得数据

Table 3. Data obtained by objective evaluation methods for testing images in Fig. 5

4.2 去雨雾实验

图 6. 实验的原图像和去雨雾图像。(a)雨图;(b)高斯曲率算法;(c) DRN;(d)本文算法

Fig. 6. Original images and test results of each algorithm for rain and fog removal. (a) Rain image; (b) Gaussian curvature algorithm; (c) DRN; (d) proposed method

表 4. 各个客观评测方法对自然雨雾场景实验(图6)测试所得数据

Table 4. Data obtained by objective evaluation methods for natural rain and fog scene for experiments (Fig. 6)

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

一种单幅图像去除雨雾的方法 下载： 861次

1 引言

2 流形粒子滤波去雾

2.1 暗原色先验理论

2.2 透射率优化

图 1. 流形学习的映射

Fig. 1. Mapping of manifold learning

图 2. LLE算法映射嵌入

Fig. 2. Mapping and embedding of LLE algorithm

2.3 无雾图像恢复

图 3. 去雾图及其色彩直方图。(a)有雾图;(b)流形粒子滤波去雾;(c)图3(a)色彩直方;(d)图3(b)色彩直方图

Fig. 3. Dehazing map and its color histogram. (a) Foggy image; (b) manifold particle filtering for fog removal; (c) color histogram of Fig. 3(a); (d) color histogram of Fig. 3(b)

3 本文去雨雾算法

图 4. 本文所提算法网络结构

Fig. 4. Architecture of proposed method in this paper

3.1 生成网络

表 1. 递归网络结构参数设置

Table 1. Structural parameter settings of recursive network

3.2 判别网络

表 2. 判别器结构参数设置

Table 2. Discriminator structural parameter setting

4 实验验证与结果分析

4.1 去雾实验

图 5. 自然场景雾和合成均匀雾实验原图像及各算法测试结果。(a)输入雾图像;(b) soft matting;(c) GF算法;(d) He等所提算法;(e) Retinex算法;(f) HF;(g) NBPC+PA;(h)所提算法

Fig. 5. Original images and test results of each algorithm for synthetic uniform fog and fog in natural scene. (a) Input hazy images; (b) soft matting; (c) GF algorithm; (d) method proposed by He et al.; (e) Retinex algorithm; (f) HF; (g) NBPC+PA; (h) proposed method

表 3. 客观评测方法对图5中图像测试所得数据

Table 3. Data obtained by objective evaluation methods for testing images in Fig. 5

4.2 去雨雾实验

图 6. 实验的原图像和去雨雾图像。(a)雨图;(b)高斯曲率算法;(c) DRN;(d)本文算法

Fig. 6. Original images and test results of each algorithm for rain and fog removal. (a) Rain image; (b) Gaussian curvature algorithm; (c) DRN; (d) proposed method

表 4. 各个客观评测方法对自然雨雾场景实验(图6)测试所得数据

Table 4. Data obtained by objective evaluation methods for natural rain and fog scene for experiments (Fig. 6)

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

一种单幅图像去除雨雾的方法下载： 861次