基于融合和细化机制的光学遥感图像去云雾算法

光学遥感图像广泛应用于天气预报、环境监测和海洋监管等领域。光学传感器拍摄的图像受大气条件和气候因素影响较大，云雾遮挡可导致图像内容丢失、对比度下降和颜色失真等一系列问题。基于此，提出一种基于融合和细化机制的光学遥感图像去云雾算法，实现高质量的单张遥感图像云雾去除。云雾去除网络基于融合和细化机制实现含云雾图与无云雾图的转换。其中，采用融合机制的多尺度云雾特征融合金字塔在不同尺度空间上提取云雾特征并进行融合，采用细化机制的多尺度云雾边缘特征细化单元对云雾的边缘特征进行细化加工，进而重构出清晰的无云图像。采用对抗学习策略，判别网络对特征进行自适应校正并将云雾特征分离出来，从而得到更准确的判别结果，有利于网络生成逼真的云雾去除结果。在开源数据集上选取5种算法进行对比实验，实验结果表明，所提算法云雾去除效果较优，没有产生颜色失真和伪影等现象。在薄云测试集上，所提算法的结构相似性（SSIM）和峰值信噪比（PSNR）分别超过第二名约11.9%和15.0%，在厚云测试集上，所提算法的SSIM和PSNR分别超过第二名约9.3%和9.9%。

Abstract

Optical images obtained through remote sensing are widely used in weather forecasting, environmental monitoring, and marine supervision. However, the images captured by optical sensors are adversely affected by the atmospheric conditions and weather; cloud covering also leads to content loss, contrast reduction, and color distortion of the images. In this paper, a cloud removal algorithm for optical remote sensing images is proposed. The algorithm is based on the mechanism of fusion and refinement and is designed to achieve high quality cloud removal for a single remote sensing image. A cloud removal network, based on the mechanism of fusion and refinement, implements a transform from cloudy images to cloud-free images. A multiscale, cloud feature fusion pyramid with a fusion mechanism extracts and fuses the cloud features from different space scales. A multiscale, cloud-edge feature refinement unit with a refinement mechanism refines the edge features of the cloud and reconstructs the clear, cloud-free image. This paper adopts an adversarial learning strategy. The discriminator network adaptively corrects the features and separates out the cloud features for more accurate discrimination, and makes the network generate realistic cloud removal results. The experiments were conducted on an open-source dataset and the results were compared with those of five competing algorithms. A qualitative analysis of the experimental results shows that the proposed algorithm performs better than the other five and removes the cloud without color distortion and artifacts. Further, structural similarity and peak signal-to-noise ratio of the proposed algorithm exceeds those of the second-placed algorithm by 11.9% and 15.0%, respectively, on a thin cloud test set, and by 9.3% and 9.9%, respectively, on a heavy cloud test set.

1　引言

随着遥感技术的发展，光学遥感图像已经在越来越多的领域发挥重要作用，给国民经济发展带来很大便利，例如环境监测、交通监控、土地普查、海洋监管和天气预报等许多方面。光学遥感图像能够提供很多有价值的信息，但由于光学传感器成像原理的限制，其受大气条件和气候因素影响很大。例如，光学传感器在成像过程中由于云雾覆盖，光线在传播过程中被散射，导致到达光学传感器的光线有所衰减，从而带来图像细节模糊、分辨率下降、对比度降低等一系列问题，使遥感图像利用率下降，严重影响对图像内容的判读、分析和使用。

云雾从厚度上可以分为厚云雾和薄云雾：厚云雾遮挡的遥感图像信息严重丢失或完全丢失，不具有恢复价值；薄云雾遮挡的遥感图像内容信息部分丢失，通过一系列算法处理能够改善或恢复图像内容，消除云雾的影响，处理后的遥感图像具有使用价值，可大大提高图像利用率。因此，研究遥感图像云雾去除技术具有非常广阔的研究价值和应用前景。

遥感图像云雾去除算法主要包括假设先验法、图像滤波法和深度学习法等。假设先验法通过对大量含云雾图像和无云雾图像的分析，发现其潜在的联系，提出相关假设先验信息作为收敛条件，通过物理模型反推出无云雾图像。例如，暗通道先验（DCP）^［1］假设无云雾图像局部明亮区域至少一个颜色通道像素具有极低值，可以以此作为收敛条件，通过大气散射模型反推出无云雾图像，该方法实现比较简便，但在地表较亮时会失效，与云雾产生混淆导致颜色失真等问题。颜色衰减先验（CAP）^［2］建立一个线性模型估计图像景深，通过机器学习估算物理模型中的透射率，从而反推出无云雾图像。文献［3］对各图像通道进行局部最小值滤波并选最大值作为全局大气光，使用边界约束项和L1正则化推算图像透射率进而恢复无云雾图。图像滤波法通过滤波去除云雾影响，最典型的就是同态滤波法（HF）^［4］，该方法将图像从空间域转换到频率域，将大气散射模型作为频率域处理的基础，利用压缩亮度范围和增强对比度的方式去除图像中云雾的影响。小波变换法^［5］对图像进行小波分解，在不同分辨率的子图像中将云雾信息与无云雾图像分离出来，只处理低频带，从而达到去除云雾的目的。

近年来，人工智能技术发展越来越迅速，许多专家学者开始采用卷积神经网络（CNN）设计遥感图像云雾去除算法，CNN凭借特征学习能力学习如何去除云雾影响，恢复清晰图像。例如，DehazeNet模型^［6］采用CNN学习大气散射模型中有云雾图和透射率之间的关系，进而恢复无云雾图像。多尺度卷积神经网络（MSCNN）^［7］采用不同尺度特征提取云雾特征，直接生成无云雾图像。除此之外，许多学者也尝试利用生成对抗网络（GAN）设计遥感图像云雾去除算法^［8-12］，并取得不错的效果。

本文提出一种基于融合和细化机制的光学遥感图像去云雾算法。云雾去除网络基于图像预处理单元、多尺度云雾特征融合金字塔和多尺度云雾边缘特征细化单元搭建。其中，图像预处理单元负责提取图像感知层特征，为后续网络提供输入；多尺度云雾特征融合金字塔从不同尺度提取图像云雾特征，并基于金字塔结构对图像进行融合；多尺度云雾边缘特征细化单元对云雾的边缘特征进行细化处理，消除不自然的空间过渡现象，重构出高质量的无云图像。采用判别网络进行对抗训练，判别网络通过系数特征图自适应校正图像特征，通过对含云雾图与无云雾图的减法操作分离出云雾特征完成判别任务，可更好地提高网络云雾去除能力。选择5种先进的云雾去除算法并在开源RICE数据集上进行实验，对实验结果的定性和定量分析表明，所提算法的性能优于其他5种对比算法。此外，还进行了消融实验验证所提算法判别网络和损失函数的有效性。

2　算法实现

2.1　遥感图像云雾去除网络

遥感图像云雾去除网络基于图像预处理单元、多尺度云雾特征融合金字塔和多尺度云雾边缘特征细化单元搭建，负责完成单张遥感图像的云雾去除，输入为含云雾图，输出为去除云雾图，具体如图1所示。

图 1. 遥感图像云雾去除网络示意图

Fig. 1. Illustration of cloud removal network for remote sensing image

下载图片查看所有图片

图像预处理单元（IPU）采用两条卷积路径进行预处理，支路1对原始图像进行特征提取，支路2对VGG19网络^［13-14］提取的感知特征进行处理，采用这两部分作为输入更有利于去除云雾影响。其中，图像预处理单元采用VGG19网络模拟人眼视觉系统提取图像感知层面特征，为后续云雾去除提供更多信息。以VGG19网络第 $w_{1}$ 层第 $w_{2}$ 个输出结果作为感知特征信息，用于后续薄云移除任务， $w_{1}$ 和 $w_{2}$ 均为正整数。采用卷积核尺寸为 $3 \times 3$ 的卷积提取图像特征，采用卷积核尺寸为 $1 \times 1$ 的卷积减少通道数量。

2.2　多尺度云雾特征融合金字塔

采用融合机制搭建多尺度云雾特征融合金字塔（MCFFP），包括上采样、下采样和特征融合单元（FFU），主要用于提取多尺度云雾特征并进行融合处理，如图2所示。

图 2. 多尺度云雾特征融合金字塔示意图

Fig. 2. Illustration of multi-scale cloud feature fusion pyramid

下载图片查看所有图片

多尺度云雾特征融合金字塔在向上路径中对输入特征图进行4次下采样，每次均将尺寸变为原来的一半，从而提取图像的高频特征，随后在向下路径中使用4次上采样恢复特征图尺寸，在向上和向下路径中相同尺寸特征之间采用跳跃连接进行层间特征融合。云雾特征通常影响图像低频特征，因此将图像高频特征和低频特征分别处理，最大限度保存图像高频信息不受损坏，在低频部分去除云雾后再将高频部分融合，从而得到完整的图像特征。

设多尺度云雾特征融合金字塔共有 $l$ 层，上升路径中第 $l$ 层的特征融合单元表示为 $M_{l}^{A} (\cdot)$ ，特征图依次表示为 ${S_{0}^{A}, S_{1}^{A}, \dots, S_{l}^{A}}$ ，其中， $l \in {1, \dots, L}$ ， $S_{0}^{A} \in R^{H \times W \times C}$ ，是多尺度云雾特征融合金字塔的输入特征图：

S_{l}^{A} = M_{l}^{A} (S_{l - 1}^{A} ↓ 2)

，（1）

式中： $↓ 2$ 表示系数为2的下采样。

下降路径中第 $l$ 层的特征融合单元表示为 $M_{l}^{D} (\cdot)$ ，特征图依次表示为 ${S_{l}^{D}, S_{l - 1}^{D}, \dots, S_{0}^{D}}$ ，其中， $l \in {L, \dots, 1}$ ， $S_{0}^{D} \in R^{H \times W \times C}$ ，是多尺度云雾特征融合金字塔的输出特征图：

S_{l}^{D} = M_{l + 1}^{D} (S_{l + 1}^{D} ↑ 2) + S_{l}^{A}

，（2）

式中： $↑ 2$ 表示系数为2的上采样。

特征融合单元由n条支路组成，每条支路上有1个密集连接子模块，密集连接子模块包含3组卷积操作和LReLU激活函数，如图3所示。对于第 $k$ 条支路，卷积步幅为 $s_{k}$ ，卷积核尺寸为 $d_{k} \times d_{k}$ ， $k \in {1, \dots, n}$ ，从第1条到第 $n$ 条支路的卷积核尺寸依次增大，可以实现从小视野到大视野范围的云雾相关特征提取，某些云雾相关特征从小视野上无法检测出来，而从大视野上却很容易提取出来，融合多种尺度视野的特征更有助于云雾去除。采用密集连接可避免云雾特征在提取的过程中丢失，同时特征复用机制可最大限度保留与云雾相关的特征。

图 3. 特征融合单元示意图

Fig. 3. Illustration of the feature fusion unit

下载图片查看所有图片

在密集连接子模块之后，先将 $n$ 条支路密集连接子模块的特征图整合，采用平均值池化在不丢失特征信息的情况下提高系统鲁棒性，防止过拟合的发生。随后分别采用 $1 \times 1$ 卷积、LReLU激活函数（斜率为 $α$ ）、 $1 \times 1$ 卷积、Sigmoid激活函数和通道注意力单元（CAU）^［15］得到最终输出。通道注意力单元对图像特征的全局空间特征信息进行压缩，在通道维度寻找对云雾去除最有价值的特征，并根据重要程度对不同特征通道赋予相应权重，达到图像云雾特征自适应校准的目的。其中， $l$ 、 $L$ 和 $n$ 均为正整数， $s_{k} = 2 k + 1$ ， $d_{k} = 1$ ， $α$ 为 $[0,1]$ 之间的小数。

2.3　多尺度云雾边缘特征细化单元

采用细化机制搭建多尺度云雾边缘特征细化单元（MERU），由空间注意力单元（SAU）^［16］、卷积模块Blk1、卷积模块Blk2和全局残差学习组成，如图4所示。

图 4. 多尺度云雾边缘特征细化单元示意图

Fig. 4. Illustration of multi-scale cloud edge feature refinement unit

下载图片查看所有图片

空间注意力单元从空间维度捕获图像的重要云雾区域特征，使云雾特征不受空间变化的影响，根据特征通道贡献赋予相应权重，通过不断更新参数实现重要特征强化，提高网络表达能力，具体由平均值通道池化、 $3 \times 3$ 卷积和Sigmoid激活函数组成。卷积模块Blk1和Blk2结构相同，均由3组卷积和LReLU激活函数（斜率为 $α$ ）组成，对不同卷积之间特征进行层间融合，卷积步幅均为 $a$ ，卷积核尺寸分别为 $f_{1} \times f_{1}$ 和 $f_{2} \times f_{2}$ 。在多尺度云雾边缘特征细化单元的输入和输出之间采用全局残差学习传递图像特征，有利于图像云雾特征的提取与融合。其中， $a$ 、 $f_{1}$ 和 $f_{2}$ 均为正整数， $α$ 为 $[0,1]$ 之间的小数。

2.4　判别网络

为了让云雾去除网络生成逼真的去云雾图像，设计了一个判别网络与云雾去除网络进行竞争，如图5所示。判别网络中的 $C$ 表示含云雾图， $R$ 表示无云雾图， $G (C)$ 表示去云雾图， $G (\cdot)$ 表示云雾去除网络的输出结果， $C \in R^{H' \times W' \times C'}$ 、 $R \in R^{H' \times W' \times C'}$ 、 $G (C) \in R^{H' \times W' \times C'}$ ，以含云雾图作为判别网络的参考信息输入、无云雾图作为正样本、去云雾图作为负样本，判别网络的输出为无云雾图的概率，取值范围为 $[0,1]$ 。采用预训练的VGG19网络^［13-14］提取图像特征，含云雾图 $C$ 、无云雾图 $R$ 和去云雾图 $G (C)$ 通过VGG19提取的特征图分别为

图 5. 判别网络示意图

Fig. 5. Illustration of the discriminator network

下载图片查看所有图片

F_{C} = φ {(C)}_{w}

，（3）

F_{R} = φ {(R)}_{w}

，（4）

F_{G} = φ {[G (C)]}_{w}

，（5）

式中： $F_{C} \in R^{H' \times W' \times C'}$ 、 $F_{R} \in R^{H' \times W' \times C'}$ 、 $F_{G} \in R^{H' \times W' \times C'}$ ； $φ (\cdot)$ 表示VGG19输出特征图； $w$ 表示VGG19的层数。

判别网络通过学习推断含云雾图与无云雾图（或去云雾图）特征之间存在的系数关系，将特征整合后利用一个卷积核尺寸为的卷积和Sigmoid函数得到系数特征图，随后将与其他特征图每个通道对应元素相乘，分别得到、和。通过系数特征图对特征进行重校准，使判别网络更加容易区分无云雾图和去云雾图。图5中，，代表元素级加法、代表元素级减法、代表元素级乘法。

如果将含云雾图中的云雾视为加性噪声，将含云雾图与无云雾图（或去云雾图）做减法，即可得到云雾特征图，分别记为 $(F_{C} - F_{R}) \otimes ω$ 和 $(F_{C} - F_{G}) \otimes ω$ 。最后采用4个卷积、批归一化（batch normalization）、LReLU激活函数（斜率为 $α$ ）和Sigmoid激活函数得到网络输出，使用Sigmoid激活函数限制概率值在 $[0,1]$ 之间。判别网络的训练目标为：无云雾图 $R$ 经过判别器后，输出 $D (R)$ 趋近于1，即 $D (R) \to 1$ ；去云雾图 $G (C)$ 经过判别器后，输出 $D [G (C)]$ 趋近于0，即 $D [G (C)] \to 0$ 。

2.5　损失函数

所提算法采用对抗学习的方式训练，云雾去除网络与判别网络之间对抗博弈，不断提高自身性能，云雾去除网络的目标函数包括感知损失函数、梯度损失函数和对抗学习损失函数：

L_{G} = λ_{p} L_{p} + λ_{g} L_{g} + λ_{a} L_{a},

（6）

式中： $λ_{p}$ 、 $λ_{g}$ 和 $λ_{a}$ 分别为3项函数的权重系数。

图像去除云雾后的视觉质量非常重要，云雾去除过程中会带来一系列影响，比如颜色畸变和对比度降低等。采用模拟人眼视觉细胞的感知特征可以很好地解决该问题，使图像的视觉效果更好，感知损失函数 $L_{p}$ ^［17］的表达式为

L_{p} = \frac{1}{R} \sum_{r = 1}^{R} {‖δ^{r} (R) - δ^{r} [G (C)]‖}_{2}^{2}

，（7）

式中： $δ^{r} (\cdot)$ 表示利用VGG19提取前r层的特征图； $R$ 表示VGG19特征图的层数。 $r \in {1, \dots, R}$ ，r和 $R$ 均为正整数。

图像云雾边缘的处理尤为重要，不自然的边缘过渡会严重影响图像视觉质量，导致图像产生不自然的伪影和失真。而图像边缘细节主要体现在图像梯度上，为了使图像处理后更自然和细腻，采用梯度损失函数解决这个问题，梯度损失函数 $L_{g}$ 的表达式为

L_{g} = {‖\nabla (R) - \nabla [G (C)]‖}_{1},

（8）

式中： $\nabla (\cdot)$ 代表Sobel算子提取的图像梯度。

对抗训练过程中，采用对抗学习损失函数使云雾去除网络与判别网络对抗竞争，提高网络去云雾能力，对抗学习损失函数 $L_{a}$ 的表达式为

L_{a} = {[D [G (C)] - 1]}^{2}

。（9）

判别网络的目标函数 $L_{D}$ 采用最小二乘损失函数^［18］：

L_{D} = [D {(R) - 1]}^{2} + D^{2} [G (C)]

，（10）

式中： $D (\cdot)$ 表示判别网络输出结果； $D (R) \in [0,1]$ 、 $D [G (C)] \in [0,1]$ 。

3　实验结果及分析

3.1　实验设置

所提算法基于TensorFlow框架实现，利用Adam方法训练100轮，初始学习率设置为 $2 \times 10^{- 4}$ ，动量衰减指数 $β_{1} = 0.5$ 、 $β_{2} = 0.999$ 。工作站CPU为Intel（R）Core（TM）I9-10900K，内存为128 GB，显卡为Nvidia GeForce RTX 3090。先将训练图像尺寸缩放至 $256 \times 256$ ，训练过程中随机裁剪尺寸为 $224 \times 224$ 的图像块进行训练。由于式（6）中3项损失函数 $L_{p}$ 、 $L_{g}$ 和 $L_{a}$ 的函数值大小不同，为了平衡3项损失函数在目标函数 $L_{G}$ 中的占比，避免因某一项函数值占比过大，削弱其他损失函数效果，设定 $λ_{p} = 1.0$ 、 $λ_{g} = 10.0$ 、 $λ_{a} = 5.0$ 。其他参数设置如下： $w_{1} = 2$ 、 $w_{2} = 2$ 、 $L = 4$ 、 $n = 5$ 、 $a = 1$ 、 $f_{1} = 3$ 、 $f_{2} = 3$ 、 $α = 0.9$ 、 $H' = 256$ 、 $W' = 256$ 、 $C' = 256$ 。

所提算法使用的训练及测试数据均选自遥感图像云去除数据集（RICE）^［19］，包括RICE1薄云数据集和RICE2厚云数据集。RICE1数据集包括500组薄云和无云遥感图像对，RICE2数据集包括736组厚云和无云遥感图像对，本实验的训练集和测试集按照4∶1的比例划分。

3.2　实验结果定性分析

对各种算法结果进行定性分析，对比图像的视觉效果。RICE1数据集和RICE2数据集分别包含薄云雾图和厚云雾图，主要场景包括山脉、草原和海洋等，云雾去除具有一定难度，可以很好地检测云雾去除算法的性能。选择5种典型的云雾去除算法，涵盖假设先验法和深度学习法等，分别为CAP^［2］、BCCR^［3］、dark channel prior（DCP）^［1］、DehazeNet^［6］和MSCNN^［7］。

在薄云雾的处理上，各种算法在RICE1数据集上结果如图6所示：图6（a）为含云雾图；图6（b）为无云雾图；图6（c）表明，CAP算法对云雾的去除不彻底，特别是第3行和第4行的云雾几乎没有去除；图6（d）表明，BCCR算法存在明显的颜色偏移，对第3行的山脉虽然能够去除云雾，但是颜色明显失真；图6（e）表明，DCP算法恢复的图像颜色较暗，特别是第1行图像颜色明显深于真实颜色；图6（f）表明，DehazeNet的云雾去除效果较自然，但仍存在少量残余云雾；图6（g）表明，MSCNN的结果较理想，但第3行的云雾未去除干净；图6（h）表明，所提算法对云雾的去除彻底，且没有颜色失真和细节模糊等问题，视觉质量较优。

图 6. RICE1数据集结果。（a）含云雾图；（b）无云雾图；（c）CAP；（d）BCCR；（e）DCP；（f）DehazeNet；（g）MSCNN；（h）所提算法

Fig. 6. Results of the RICE1 dataset. (a) Cloudy images; (b) cloud-free images, (c) CAP; (d) BCCR; (e) DCP; (f) DehazeNet; (g) MSCNN; (h) proposed algorithm

下载图片查看所有图片

在厚云雾的处理上，RICE2数据集的云雾去除结果如图7所示：图7（a）为含云雾图；图7（b）为无云雾图；图7（c）表明，CAP算法的云雾去除效果不明显；从图7（d）~（e）可以看出，BCCR和DCP有一定云雾去除效果，但是无法处理厚云部分；图7（f）表明，DehazeNet结果自然，没有颜色偏移，但有云雾未去除；图7（g）表明，MSCNN算法处理厚云效果较差，同时引入整体图像的颜色失真；图7（h）表明，所提算法能够较好处理比较厚的云雾，颜色恢复真实，对云雾的处理较彻底，未引入伪影和不自然的现象，整体效果是6种算法中最优越的。

图 7. RICE2测试集实验结果。（a）含云雾图；（b）无云雾图；（c）CAP；（d）BCCR；（e）DCP；（f）DehazeNet；（g）MSCNN；（h）所提算法

Fig. 7. Results of the RICE2 dataset. (a) Cloudy images; (b) cloud-free images, (c) CAP; (d) BCCR; (e) DCP; (f) DehazeNet; (g) MSCNN; (h) proposed algorithm

下载图片查看所有图片

此外，对真实云雾图像的处理结果如图8所示：图8（a）为含云雾图；图8（b）表明，CAP算法云雾去除程度低，效果不太理想；图8（c）表明，BCCR算法结果存在颜色偏移，仅能去除少量薄云雾；图8（d）表明，DCP结果颜色明显较暗，云雾剩余较多；图8（e）表明，DehazeNet结果残余云雾较多，尤其是第3行中只有少量云雾被去除；图8（f）表明，MSCNN可以去除薄云雾，同时没有产生颜色畸变；图8（g）表明，所提算法效果整体较优，去除云雾效果适度，没有产生颜色失真，云雾去除后图像比较自然。

图 8. 真实图像实验结果。（a）含云雾图；（b）CAP；（c）BCCR；（d）DCP；（e）DehazeNet；（f）MSCNN；（g）所提算法

Fig. 8. Results of real images. (a) Cloudy images; (b) CAP; (c) BCCR; (d) DCP; (e) DehazeNet; (f) MSCNN; (g) proposed algorithm

下载图片查看所有图片

3.3　实验结果定量分析

通过定性分析可知，所提算法结果视觉效果较好，为了进一步验证其性能，接下来对算法结果进行定量分析，选择峰值信噪比（PSNR）和结构相似性（SSIM）^［20］作为定量分析评价指标，两种指标与算法性能呈正相关。

在薄云雾处理方面，采用RICE1数据集进行实验，所提算法及对比算法结果如表1所示。薄云对图像影响较小，处理起来相对容易，采用合适的算法能够很好地去除云雾影响，恢复图像内容。表1结果显示，所提算法的SSIM位于6种算法首位，并且领先第二位DehazeNet接近12%。由此可知，所提算法能够恢复图像的内容，且恢复比较完整，同时较高的SSIM说明恢复图像没有明显的颜色失真、伪影以及残余云雾，视觉上与真实无云雾图非常相似。同时，所提算法的PSNR也是6种算法中最高的，比第二名DehazeNet高出3.1263 dB，较高的PSNR代表所提算法对云雾的去除更彻底，且没有引入新的噪声和伪影等不自然因素，细节和纹理部分处理较好。

表 1. RICE1测试集定量分析结果

Table 1. Quantitative analysis results of the RICE1 test set

Algorithm	Evaluation index
Algorithm	SSIM	PSNR /dB
CAP	0.7950	20.5820
BCCR	0.6525	17.1802
DCP	0.6814	16.7349
DehazeNet	0.8019	20.8613
MSCNN	0.7549	20.1289
Proposed algorithm	0.8964	23.9876

查看所有表

在厚云雾处理方面，RICE2数据集上的实验结果如表2所示。厚云雾对图像影响较大，图像部分内容和细节严重丢失，各种算法处理起来也比较困难，因此图像恢复效果不理想，各种算法尽可能去除云雾并还原图像内容。从表2可知，所提算法的SSIM均高于其他5种算法，是6种算法中唯一一个超过0.8的算法，由此可知所提算法在厚云雾去除中能取得较好效果，还原图像与真实无云雾图非常相近，这很大程度上依赖于特征融合和细化机制，多尺度的云雾特征融合和细化对图像恢复非常重要，体现了所提算法的先进性。所提算法的PSNR同样位于首位，高出第二名2.0552 dB，说明云雾去除后图像细节和边缘的处理较完善，在完整移除云雾的基础上没有引入新的噪声。因此，该算法在薄云雾和厚云雾处理上，均能取得较好的效果，可以较彻底地去除云雾影响，未产生图像失真和伪影等，图像质量和保真度方面均能取得不错的效果。

表 2. RICE2测试集定量分析结果

Table 2. Quantitative analysis results of the RICE2 test set

Algorithm	Evaluation index
Algorithm	SSIM	PSNR /dB
CAP	0.7683	20.7902
BCCR	0.5904	16.6502
DCP	0.5538	15.8937
DehazeNet	0.7351	20.8093
MSCNN	0.6499	17.4240
Proposed algorithm	0.8397	22.8645

查看所有表

3.4　消融实验

本小节进行消融实验验证所提模块和损失函数的有效性。首先，为了验证感知损失函数和梯度损失函数对云雾去除的有效性，实验中将使用两种损失函数的结果作为基准线（baseline）进行对比，然后分别移除感知损失函数和梯度损失函数重新训练网络，得到的定量化评价结果如表3所示。在RICE1薄云雾数据集上，移除感知损失函数后，SSIM下降0.0227，PSNR下降1.0177 dB，因为感知层面能提取出较多云雾相关的特征信息，对于重建无云雾图像很有帮助，去除感知损失函数后，无法保证较高的视觉质量，因此图像质量下降。去掉梯度损失函数后SSIM降低3%，PSNR降低7.8%，梯度损失函数对于恢复图像的边缘过渡和细节方面帮助较大，去掉梯度损失函数后图像的细节恢复变差，边缘过渡处理不好，导致PSNR降低。在RICE2厚云雾数据集上，不使用感知损失函数后SSIM降低近0.01，PSNR降低1.73 dB，不使用梯度损失函数后SSIM下降接近2.7%，PSNR下降9.7%。由此可见，感知损失函数和梯度损失函数在厚云雾处理上同样具有非常明显的作用。

表 3. 损失函数消融实验定量分析结果

Table 3. Quantitative analysis results of the ablation experiment of loss functions

Dataset	Removed loss function	Evaluation index
Dataset	Removed loss function	SSIM	PSNR /dB
RICE1	None（baseline）	0.8964	23.9876
	Perceptual loss	0.8737	22.9699
	Gradient loss	0.8697	22.2485
RICE2	None（baseline）	0.8397	22.8645
	Perceptual loss	0.8298	21.1345
	Gradient loss	0.8176	20.6549

查看所有表

其次，为了验证所提判别网络对整个网络云雾去除性能的影响，分别在无判别网络和文献［21］判别网络的情况下重新训练，3种方法的云雾去除结果如表4所示。在RICE1薄云雾数据集上，所提算法的SSIM和PSNR均排在首位，SSIM高出无判别器0.047，PSNR高出3.9511 Db。由于薄云去除相对容易，但是在去除过程中会存在一些残余云雾或颜色失真，此时判别网络就发挥重要作用。文献［21］和所提算法结果均高于无判别网络的结果，这说明对抗训练对云雾去除有着重要的作用，同时所提算法的SSIM和PSNR分别比文献［21］结果高出0.0175、2.9612 dB。在RICE2厚云雾数据集上，所提算法判别网络结果的SSIM比文献［21］高出0.0301，比无判别网络结果高出0.045，PSNR比文献［21］高出1.8 dB，比无判别网络高出3.7002 dB。由于所提算法从感知层面提取云雾特征，通过系数特征图对云雾特征进行自适应重校正，判别网络对未去除干净的云雾更加敏感，同时以采用减法操作分离出的云雾特征作为判别信息大大提高了判别网络的准确程度，进而提高云雾去除性能。

表 4. 判别网络消融实验定量分析结果

Table 4. Quantitative analysis results of the ablation experiment of discriminator network

Dataset	Discriminator	Evaluation index
Dataset	Discriminator	SSIM	PSNR /dB
RICE1	None	0.8494	20.0365
	Discriminator^［21］	0.8789	21.0264
	Proposed	0.8964	23.9876
RICE2	None	0.7947	19.1643
	Discriminator^［21］	0.8096	21.0645
	Proposed	0.8397	22.8645

查看所有表

3.5　算法复杂度及运行时间

从RICE数据集中选取50幅含云雾图像，图像尺寸均缩放为620×460，分别采用各类算法进行云雾去除并计算每幅图像的平均运行时间，同时计算了深度学习算法的模型参数量和浮点运算次数（FLOPs），具体如表5所示。从结果可知，DehazeNet和MSCNN算法参数量和FLOPs较小，所提算法相对较高。在运行时间方面，各类算法均在3 s内。其中，2种算法时间大于2 s，其余4种算法均小于2 s。CAP算法平均运行时间最短，所提算法排名第二，与第一名仅差0.02 s。由此可知，虽然所提算法参数量和FLOPs较高，但运行时间较短，处理效率较高。未来将在保证算法性能的前提下，进一步轻量化网络模型。

表 5. 模型参数、浮点运算次数和平均运行时间

Table 5. Model parameters, FLOPs, and average running time

Algorithm	Parameters /10³	FLOPs /10⁶	Running time /s
CAP			1.19
BCCR			2.92
DCP			1.35
DehazeNet	8.1	5.1	1.29
MSCNN	8.0	4.8	2.14
Proposed algorithm	964.1	26.9	1.21

查看所有表

4　结论

提出一种基于融合和细化机制的光学遥感图像去云雾算法。采用图像预处理单元、多尺度云雾特征融合金字塔和多尺度云雾边缘特征细化单元组成的云雾去除网络学习含云雾图与无云雾图之间的映射关系。采用金字塔架构融合不同尺度特征，并对云雾边缘特征进一步细化，有效提高图像质量。对抗训练时，采用自校正特征和分离出的云雾特征作为判别依据，能够有效提高判别准确性。选择5种对比算法在RICE数据集上进行实验，定性和定量结果表明，所提算法均排在首位，具有优越的云雾去除能力。接下来，将在多场景图像适应性、星上硬件环境适应性、轻量化网络模型等方面进行优化改进。

参考文献

[1] HeK M, SunJ, TangX O. Single image haze removal using dark channel prior[C]‍∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL. New York: IEEE Press, 2009: 1956-1963.

[2] Zhu Q S, Mai J M, Shao L. A fast single -image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[3] MengG F, WangY, DuanJ Y, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]‍∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE Press, 2014: 617-624.

[4] PeliT, QuatieriT. Homomorphic restoration of images degraded by light cloud cover[C]‍∥ICASSP '84. IEEE International Conference on Acoustics, Speech, and Signal Processing,March 19-21, 1984, San Diego, CA, USA. New York: IEEE Press, 2003: 100-103.

[5] 张波, 季民河, 沈琪. 基于小波变换的高分辨率快鸟遥感图像薄云去除[J]. 遥感信息, 2011, 26(3): 38-43.

Zhang B, Ji M H, Shen Q. Wavelet-based cloud removal from high-resolution remote sensing data: an experiment with QuickBird imagery[J]. Remote Sensing Information, 2011, 26(3): 38-43.

[6] Cai B L, Xu X M, Jia K, et al. DehazeNet: an end-to-end system for single -image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[7] RenW Q, LiuS, ZhangH, et al. Single image dehazing via multi-scale convolutional neural networks[M]‍∥LeibeB, MatasJ, SebeN, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9906: 154-169.

[8] 王军军, 孙岳, 李颖. 一种生成对抗网络的遥感图像去云方法[J]. 西安电子科技大学学报, 2021, 48(5): 23-29.

Wang J, Sun Y, Li Y. Cloud removal method for a remote sensing images based on the GAN[J]. Journal of Xidian University, 2021, 48(5): 23-29.

[9] 孙潇, 徐金东. 基于级联生成对抗网络的遥感图像去雾方法[J]. 计算机应用, 2021, 41(8): 2440-2444.

Sun X, Xu J D. The remote sensing image dehazing method based on a cascaded generative adversarial network[J]. Journal of Computer Applications, 2021, 41(8): 2440-2444.

[10] 李玉峰, 任静波, 黄煜峰. 基于深度学习的遥感图像去雾算法[J]. 计算机应用研究, 2021, 38(7): 2194-2199.

Li Y F, Ren J B, Huang Y F. Remote sensing image haze removal algorithm using deep learning[J]. Application Research of Computers, 2021, 38(7): 2194-2199.

[11] 裴傲, 陈桂芬, 李昊玥, 等. 改进CGAN网络的光学遥感图像云去除方法[J]. 农业工程学报, 2020, 36(14): 194-202.

Pei A, Chen G F, Li H Y, et al. Method for cloud removal of optical remote sensing images using an improved CGAN network[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(14): 194-202.

[12] 李华莹, 林道玉, 张捷, 等. 基于生成对抗网络的遥感图像去云算法[J]. 计算机与现代化, 2019(11): 13-17.

Li H Y, Lin D Y, Zhang J, et al. Cloud removal algorithm of remote sensing images based on GANs[J]. Computer and Modernization, 2019(11): 13-17.

[13] Russakovsky O, Deng J, Su H, et al. ImageNet large-scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.

[14] Simonyan Kand ZissermanA. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2014-09-04)[2022-11-09]. https://arxiv.org/abs/1409.1556.

[15] WangQ L, WuB G, ZhuP F, et al. ECA-net: efficient channel attention for deep convolutional neural networks[C]‍∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 13-19, 2020, Seattle, WA, USA. New York: IEEE Press, 2020: 11531-11539.

[16] LiX, HuX L, YangJ. Spatial group-wise enhance: improving semantic feature learning in convolutional networks[EB/OL]. (2019-05-25). [2020-03-02]. https://arxiv.org/abs/1905.09646.

[17] JohnsonJ, AlahiA, LiF F. Perceptual losses for real-time style transfer and super-resolution[M]‍∥LeibeB, MatasJ, SebeN, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9906: 694-711.

[18] MaoX D, LiQ, XieH R, et al. Least Squares generative adversarial networks[C]‍∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE Press, 2017: 2813-2821.

[19] LinD Y, XuG L, WangX K, et al. A remote sensing image dataset for cloud removal[EB/OL]. (2019-01-03)[2022-11-09]. https://arxiv.org/abs/1901.00600.

[20] Wang Z, Bovis A C, Sheik H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[21] IsolaP, ZhuJ Y, ZhouT H, et al. Image-to-image translation with conditional adversarial networks[C]‍∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 5967-5976.

王晓宇, 刘宇航, 张严. 基于融合和细化机制的光学遥感图像去云雾算法[J]. 激光与光电子学进展, 2024, 61(4): 0428012. Xiaoyu Wang, Yuhang Liu, Yan Zhang. Algorithm for Cloud Removal from Optical Remote Sensing Images Based on the Mechanism of Fusion and Refinement[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0428012.