基于深度残差去噪网络的遥感融合图像质量提升

杨斌; 王翔

doi:doi:10.3788/LOP56.161009

激光与光电子学进展, 2019, 56 (16): 161009, 网络出版: 2019-08-05

基于深度残差去噪网络的遥感融合图像质量提升下载： 966次

Boosting Quality of Pansharpened Images Using Deep Residual Denoising Network

论文大纲

杨斌 ^1,2,*王翔 ^1,2

作者单位

¹ 南华大学电气工程学院, 湖南衡阳 421001

² 南华大学超快微纳技术与激光先进制造湖南省重点实验室, 湖南衡阳 421001

图像处理图像增强图像融合残差学习卷积神经网络 image processing image enhancing image fusion residual learning convolutional neural network

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

将理想高分辨率多光谱图像与遥感融合结果之间的残差视为广义噪声,提出了基于深度残差去噪网络(DnCNN)的遥感融合图像质量提升算法。通过DnCNN学习固定融合算法中细节丢失或光谱扭曲的规律,将输入的遥感图像融合结果映射得到残差图像,再用残差图像补充和修复遥感融合结果。在Quickbird卫星遥感图像数据上,利用本文算法对不同方法的融合结果进行增强处理测试,实验结果表明所有算法结果经过DnCNN的后置增强之后,融合质量都大为改善,其中基于支持值变换(SVT)的方法与DnCNN结合的算法性能最好,其性能优于现有最新的遥感图像融合方法。

Abstract

We considered the residual between an ideal high spatial resolution multi-spectral image and a pansharpened image as generalized noise, and thus proposed a deep residual denoising network (DnCNN)-based quality boosting method for the pansharpened image. We used the DnCNN to learn the patterns of detail loss and spectral distortion of the fixed fusion algorithm, and mapped the input pansharpened image to a residual image. Then, we used the residual image to compensate and repair the pansharpened image. In an experiment using the QuickBird dataset, images pansharpened using different methods were enhanced via the proposed method. The experimental results demonstrate that, using the proposed method, the qualities of all pansharpened images are improved and the best boosting is attained when this method is used in conjunction with the support value transform based method. The proposed method outperforms latest methods.

1 引言

多光谱图像(MS)在遥感应用领域备受青睐,但由于传输带宽等因素的限制,遥感卫星很难直接获取高空间分辨率多光谱图像。通常遥感卫星只提供高空间分辨率的全色图像(PAN)与低空间分辨率的多光谱图像,利用融合算法将二者整合可获得一幅高空间分辨率多光谱图像,为遥感图像应用提供高质量的数据资源^[1-2]。

变量替换法是最早的一类遥感图像融合方法。常见的变量替换方法有:颜色空间变换(IHS)^[3]、主成分分析(PCA)^[4]、Brovey变换(BT)^[5]和Gram-Schmidt变换(GS)^[6]等。变量替换法能有效地提高图像的空间分辨率,但当变换得到的亮度分量与全色图像有较大差异时,融合图像光谱保持能力差,容易造成光谱扭曲和色彩差异等问题。多尺度分析法如静态小波变换(SWT)^[7]、支持值变换(SVT)^[8]、àtrous小波变换(ATWT)^[9]和高通滤波法(HPF)^[10]等能有效保持源图像中的空间信息,但是当全色图像的细节与多光谱图像每个通道的细节差异较大时,融合图像的色彩在图像边缘处不够自然,假轮廓明显^[2]。近年来,基于稀疏表示^[1,11-12]和卷积神经网络(CNN)^[13-14]的算法在遥感图像领域发展迅速,如遥感融合^[15-16]、遥感分类^[17-18]、遥感识别^[19-20]等。基于稀疏表示和卷积神经网络的方法利用字典学习算法或优化算法以适应不同的遥感图像或遥感图像集,有效地解决了传统遥感融合方法的适应性问题,但融合图像中仍不可避免地存在一定的缺陷。例如,基于稀疏表示的遥感融合方法融合结果容易产生边缘效应。Wei等^[15]受到深度残差网络在图像超分辨率上应用的启发,提出基于深度残差网络的遥感图像融合方法(DRPNN),该网络将低分辨率多光谱图像与全色图像合并输入网络,在重建融合图像前添加了一层卷积层,用于光谱通道降维,以提高融合图像的精度。但受限于训练层数和网络深度,该方法的融合性能很难进一步提升。

变量替换法和多尺度分析法都是基于某种固定的先验假设,而当这些先验假设与实际图像存在差异时,融合图像中往往会产生细节丢失或光谱扭曲。固定的先验假设也使这些丢失或扭曲缺点具有一定的稳定性,即不同的融合图像上存在的细节丢失或光谱扭曲具有一定的“模式”,这些特点为利用深度网络拟合并去除这些细节丢失或光谱扭曲提供了可能性。Zhang等^[21]提出深度残差去噪网络(DnCNN),通过增加残差学习和批正规化,使得网络在处理图像超分辨率、JPEG解压缩图像去块等广义图像去噪问题上性能优越。遥感融合图像上存在的细节丢失或光谱扭曲的消除问题与图像超分辨率及JPEG解压缩图像去块问题具有很强的相似性,因此利用DnCNN学习固定融合算法中细节丢失或光谱扭曲的规律具有很大的优势。基于上述分析,本文将常规遥感图像融合结果与实际高分辨率遥感图像的残差视为广义噪声。利用DnCNN在广义去噪上的优势,提出一种基于残差学习的遥感图像质量提升算法。该算法作为遥感融合后置处理,通过学习参考图像(即理想高分辨率多光谱图像)和遥感图像融合结果之间的差异,生成残差图像,利用残差图像补充和修复遥感图像融合结果中的信息缺失与缺陷。

分析QuickBird卫星遥感图像数据,利用本文方法对不同遥感融合方法的结果进行增强,实验结果表明所有算法结果经过DnCNN的后置增强之后,融合质量都大为改善。其中基于SVT的方法与DnCNN结合的算法性能最好,其性能优于现有最新方法的结果。

2 深度残差去噪网络

传统卷积神经网络由于过拟合、梯度爆炸或梯度消失等问题,网络深度往往较浅,当加入正则项时,虽然网络可以更深并且收敛,但精度却趋于饱和,这个问题无法通过增加更多的网络层数来解决^[22]。针对这一问题,He等^[22]提出基于残差学习的深度残差网络,深度残差网络最大的特点就是跳层连接,可使网络对更为稀疏的残差分量进行学习,而非直接学习原始数据输入,通过输入和残差的和得到相应的网络输出。深度残差网络的结构使得网络的深度可以大大提高,学习效果大为改进,且网络还具有易于训练、收敛速度快等优点。在残差网络的基础上,DnCNN网络保留了深度残差网络的优势,只用一个跳层连接,同时加入批正规化层,运用Adam^[23]算法进行网络学习,使得网络训练速度快,去噪效果好。

DnCNN共有L层,网络结构主要由三种不同的网络层组成:1)网络第一层为Conv + Relu层,由卷积层(Conv)与非线性映射(Relu)组成,其中卷积核尺寸为3×3×c×64, c代表图像通道数,c=1为灰度图像,c=3为彩色图像。卷积核与图像进行卷积生成64个特征图,然后通过Relu函数进行非线性映射;2)网络第二层到第L-1层为Conv+BN+Relu,由卷积层、批正规化^[24](batch normalization,BN)和非线性映射叠加构成,其中卷积核尺寸为3×3×64×64。卷积核与上层的特征图卷积得到64个特征图,进一步提取图像特征,然后通过批规范化,减小数据分布变化对网络训练的影响,最后通过非线性函数获得网络输出;3)网络的第L层为Conv,单独的卷积层,其中卷积核的尺寸为3×3×64,通过与高层特征卷积得到残差图像。残差图像包含了噪声图像与理想无噪声图像之间的差异信息,最后通过残差图像与噪声图像的叠加得到恢复图像。DnCNN利用残差学习,获得理想图像与噪声图像之间的残差图像,利用残差图像与噪声图像来恢复无噪图像。

在网络训练的过程中,减小内层的非线性函数输入数据的分布变化可以有效提高优化算法的效率,批正规化通过利用小批量数据的均值和方差,在非线性映射前对数据进行放缩和平移,减小数据分布变化,提高训练效率。对于每个BN层的参数,可以用过优化算法来更新以适应不同的样本输入。批正规化有提高训练速度和网络精度、对初始值不敏感等优点。文献[ 21]中实验结果显示该网络不仅对一定范围的高斯噪声干扰图像具有良好去噪效果,在处理图像超分辨率、JPEG解压缩图像去块等广义图像去噪问题上性能也十分优越。将遥感融合结果与参考图像之间的差异看作广义噪声时,遥感图像退化模型与图像去噪、图像超分辨率的退化模型相同,因此可以将DnCNN应用于遥感融合领域。

3 基于深度残差去噪网络的遥感图像融合质量提升算法

传统遥感融合方法可以有效提高图像空间分辨率,但是不同的方法会产生不同的缺陷,例如光谱扭曲、图像模糊等。针对这一问题,利用DnCNN残差学习的特点,构建遥感融合提升网络,通过学习参考图像与融合结果的差异得到高分辨率多光谱图像,弥补了融合方法所导致的缺陷。

基于深度残差去噪网络的遥感融合图像质量提升算法框架如图1所示。具体步骤为:1)通过传统遥感图像融合方法对多光谱图像和全色图像进行处理得到融合结果P,其中P包含了多光谱图像的光谱信息和全色图像的空间信息,但这些信息并不完整,图像中还存在光谱扭曲和细节丢失等问题;2)将训练集中的第i幅参考图像R_i和其对应的融合结果P_i相减得到残差图像,然后将其分成大小为n×n的图像块作为标签和融合结果P_i一起输入提升网络,利用Adam算法训练提升网络直到收敛;3)将融合结果P输入提升网络,通过提升网络将融合结果P映射得到残差图像r,其中r包含了融合结果中缺失的光谱和空间信息,这些信息可以有效地修复或补充融合结果P的光谱扭曲和细节丢失,将残差图像r与融合结果P叠加以重建质量提升结果 $\begin{matrix} \hat{R} \end{matrix}$ 。文中对融合结果P的每个通道单独训练一个提升网络模型,对每个通道单独进行质量提升,最后合并得到最终质量提升结果 $\begin{matrix} \hat{R} \end{matrix}$ 。

图 1. 本文算法框架

Fig. 1. Framework of proposed method

下载图片查看所有图片

传统遥感图像融合算法的结果P作为本文网络的输入,假设参考图像R=P+r,其中r为残差图像。图像P经过多层卷积处理和非线性映射后,在最后一层卷积层输出残差r,最后通过加法操作得到质量提升结果,即 $\begin{matrix} \hat{R} \end{matrix}$ =P+r。网络通过最小化代价函数不断学习网络的参数θ={W₁,W₂,...,W_L,B₁,B₂,...,B_L},其中L为网络总层数。对于一对传统遥感融合图像和参考图像{P_i,R_i},利用平均均方差构建代价函数,估计网络参数。代价函数表达式为

\begin{matrix} Cost (θ) = \frac{1}{N} \overset{N}{\sum_{k = 1}} ‖ R_{k} - {\hat{R}}_{k} ‖_{F}^{2}, (1) \end{matrix}

式中:N为批正规化大小; $\begin{matrix} {\hat{R}}_{k} \end{matrix}$ 为第k个样本的预测值;R_k为第k个参考图像;‖·‖_F为Frobenius范数。

本文的提升网络结构如图2所示,其中主要包含三种类型的操作:卷积(Conv)、非线性映射(Relu)和批正规化(BN)。卷积层是模型的核心,其具有局部连接和权值共享的特点。网络共有L层,融合图像P通过第一层的Conv和Relu得到的特征为

\begin{matrix} F^{1} (P) = \max (0, W_{1} P + B_{1}), (2) \end{matrix}

图 2. 本文提升网络结构

Fig. 2. Structure of boosting network

下载图片查看所有图片

式中:F¹(P)为第一层的输出;W₁和B₁分别为第一层的权值和偏置,W₁的尺寸为n×n×c×n₁,c为输入图像的通道数,n₁为滤波器的数量。

从第2层到第L-1层,每一层的操作为Conv、BN、Relu,目的是提取图像更深层次的特征,中间层的表达式为

\begin{matrix} F^{q} (P) = \max [0, BN (W_{q} F^{q - 1} (P) + B_{q})], (3) \end{matrix}

式中:F^q(P)为第q层的输出;F^q^-1(P)为第q-1层的输出;W_q和B_q分别为第q层的权值和偏置;BN(·)为批正规化操作。

为了构建融合图像P的残差图像r,利用卷积层将残差特征进行组合,表达式为

\begin{matrix} r = F^{L} (P) = W_{L} F^{L - 1} (P) + B_{L}, (4) \end{matrix}

将残差图像r与融合图像P叠加,重构质量提升的遥感图像 $\begin{matrix} \hat{R} \end{matrix}$ :

\begin{matrix} \hat{R} = P + r 。 (5) \end{matrix}

根据参考图像R和融合图像P的极大相似性定义的残差图像r,其大部分的值为零,这使得网络在训练过程中收敛的速度更快。

本文网络的训练过程,首先将多光谱图像和全色图像进行初步融合,将融合图像和对应的参考图像进行分块;然后作为训练数据输入提升网络,利用Adam算法和反向传递更新网络参数和权值,对网络进行训练,直到网络收敛。

4 实验结果与分析

实验采用QuickBird卫星数据^[25],其全色图像空间分辨率为61~72 cm,光谱范围为760~850 μm。多光谱图像的空间分辨率为2.44~2.88 m,共4个通道,蓝色通道光谱范围为450~520 μm;绿色通道光谱范围为520~600 μm;红色通道光谱范围为630~690 μm;近红外通道光谱范围为760~900 μm。使用115幅遥感图像作为训练数据,依据Wald的protocal策略^[26],首先将遥感图像下采样得到空间分辨率为2.8 m和11.2 m的全色图像和多光谱图像,把2.8 m空间分辨率的多光谱图像作为参考图像;然后利用传统遥感融合方法对图像进行预处理,得到初步融合图像;再将融合图像和参考图像分割为64×64的图像块,其中83%图像块作为训练数据,17%的图像块作为验证数据。采用主观视觉对比对融合结果进行评价的同时,利用CC^[27](correlation coefficient)、SAM^[28](spectral-angle mapper)、ERGAS^[29](erreur relative global adimensionnelle de synthèse)和Q4 index^[30]4个客观评价指标做进一步的综合评价。其中CC用来衡量融合图像和参考图像的光谱相关性,CC的值越大,表明融合图像与参考图像的光谱相关性越高,最优值为1;SAM用来衡量融合图像与参考图像之间的光谱相似,SAM通过对图像整体取平均得到图像光谱扭曲的度量,其值越小表明融合图像质量越高;ERGAS用于计算融合图像的整体质量,ERGAS越小表明融合图像质量越好,光谱保持能力越强;Q4用于计算融合图像的整体光谱质量,Q4值越大表明融合图像光谱质量越好,理想值为1。实验平台为Matlab R2017b,使用Intel Core i5-7300HQ 2.5 GHz处理器,16 GB内存和Nvidia GTX 1060 6 G显存。

为验证算法的有效性,本文用融合质量提升网络分别对BT^[5]、通用颜色空间变换(GIHS)^[3]、GS^[6]、ATWT^[9]、SVT^[8]和SWT^[7]六种经典的融合算法的融合结果进行质量提升。其中ATWT和SWT分解层数设置为3层,SWT采用小波基db6。SVT中的σ²和γ分别设置为0.6和1。提升网络参数为L=49,n=3,N=32。实验图像如图3所示。图4和图5为不同初始融合方法的结果和质量提升以后的结果。通过图4可看出,BT、GIHS和GS的融合结果都有一定程度的光谱扭曲,其中GS的融合结果光谱扭曲程度最小;ATWT、SVT和SWT融合结果光谱效果差别不大,但是SVT图像整体模糊,ATWT与SWT的高频分量相对突出。从图5可以看出,所有提升结果视觉效果都有较大改善,全色图像的高频分量与多光谱图像的光谱信息都较为有效地保留到了融合结果中。

图 3. 实验图像。(a)多光谱图像;(b)全色图像

Fig. 3. Experimental images. (a) MS; (b) PAN

下载图片查看所有图片

图 4. 不同融合方法的结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 4. Results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

下载图片查看所有图片

图 5. 不同融合方法的提升结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 5. Boosted results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

下载图片查看所有图片

表1为不同融合方法及提升阶段的运行时间,该实验图像共6幅,每幅图像先利用传统融合方法处理得到融合运行时间,再输入提升网络得到提升运行时间,每种融合方法和提升网络重复运行5次,最终的融合运行时间和提升时间为5次时间的算术平均值,总时间为两阶段时间之和。从表1可以看到,大部分融合方法的提升网络运行时间在1 s左右,算法整体效率较高,如果将质量提升网络用硬件实现,则能够满足大部分应用需求。表2为不同融合结果和提升结果的客观评价。可以看出,经过质量提升后所有算法融合结果的质量都有大幅提升,其中SVT融合结果的客观评价大多最优,同时SVT提升结果的客观评价是最优结果。

表 1. 不同融合方法及提升阶段的运行时间

Table 1. Running time of different methods and corresponding boosting stages

Method	ATWT	BT	GIHS	GS	SWT	SVT
Fusion	0.0327	0.0542	0.0323	0.1653	1.1115	0.1728
Boosting	1.0147	0.9499	0.9509	0.9479	0.9540	0.9546
Total	1.0474	1.0042	0.9832	1.1132	2.0655	1.1274

查看所有表

为了选择最优网络参数,设置训练策略中批大小N=32。然后分别改变网络层数L和滤波器尺寸n,分析其对融合结果评价指标CC、ERGAS、SAM和Q4的影响。采用基于ATWT^[9]的融合方法实现遥感图像的初步融合,然后利用初步融合图像和参考图像训练不同参数设置的深度残差去噪网络。利用图3所示的源图像来验证算法。

图6为不同网络层数和滤波器尺寸下的融合结果,图中上横轴为网络层数L,下横轴为滤波器尺寸n。从图中可以看到滤波器尺寸越大,提升效果越好,这是由于深的网络层数和大的滤波器尺寸可以更好地提取图像的深层特征。同时,随着网络层数的增加,各项客观指标都趋向于平稳。本文网络参数设置为L=49,n=7,N=32。

表 2. 不同方法的融合结果与提升结果的客观评价

Table 2. Evaluation of fusion results obtained by different methods and corresponding boosted results

Index	ATWT		BT		GIHS
Index	Fused result	Boosted result	Fused result	Boosted result	Fused result	Boosted result
ERGAS	5.5413	3.6464	7.7943	3.5788	5.5766	3.8262
SAM	8.5281	5.7892	6.0326	5.4821	6.5539	5.7464
Q4	0.7085	0.8444	0.7600	0.8616	0.7479	0.8590
CC	0.8487	0.9358	0.7822	0.9375	0.8481	0.9297
Index	GS		SVT		SWT
Index	Fused result	Boosted result	Fused result	Boosted result	Fused result	Boosted result
ERGAS	4.7565	3.2772	4.0625	2.8333	4.5673	3.2977
SAM	5.8587	5.2991	6.1018	4.5629	6.9649	5.2726
Q4	0.7900	0.8875	0.8035	0.9044	0.7837	0.8727
CC	0.9117	0.9490	0.9223	0.9614	0.8988	0.9478

查看所有表

图 6. 不同网络参数对实验结果的影响。(a) ERGAS;(b) SAM;(c) Q4;(d) CC

Fig. 6. Influences of different network parameters on experimental results. (a) ERGAS; (b) SAM; (c) Q4; (d) CC

下载图片查看所有图片

为了进一步验证本文算法的优势,将SVT提升结果与CS^[31]、DRPNN^[15]和PNN^[32]三种最新遥感融合方法的结果进行了对比分析。实验中CS的字典为随机采样训练图像块,重建误差ε=1。DRPNN采用作者提供的网络进行实验;PNN的网络参数为作者论文中提供的最佳参数,训练数据与本文提升网络一致。本文提升网络的参数为L=49,n=7,N=32,其他参数为DnCNN^[21]默认参数。图7和图8分别为不同遥感图像的融合结果与SVT提升结果,其中方框标注的为细节放大部分。可以看出,不同的融合方法都能有效地提升图像的空间分辨率,使得图像的细节更加清晰,同时光谱质量都保存较好。图7(b)、(c)和图8(b)、(c)分别为CS与DRPNN的融合结果,DRPNN结果出现一定程度的模糊,图像细节不够清晰,但图像光谱质量较高,色彩与参考图像基本一致。CS结果的图像块效应与边缘效应较为明显,图像细节保持较好。图7(d)、8(d)为PNN结果,PNN结果图像清晰,细节保持较高,但是图像质量与参考图像存在局部差异。图7(e)、8(e)为本文基于SVT融合的质量提升结果,本文算法不仅提高了图像的空间分辨率,使图像细节更清晰,同时提高了图像的光谱质量,使得图像看起来更加自然。图9为参考图像与本文算法结果,图中可以看出,本文算法结果与参考图像基本一致。

图 7. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 7. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

下载图片查看所有图片

图 8. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 8. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

下载图片查看所有图片

图 9. 不同参考图像及本文方法结果。(a)参考图像;(b)本文方法结果

Fig. 9. Different reference images and results of proposed method. (a) Reference images; (b) results of proposed method

下载图片查看所有图片

表3为对不同算法融合图像的客观评价,所有评价结果为遥感图像4个通道评价结果的均值。可以看到对于所有实验图像,最优结果大部分都来自本文方法。整体来说,CS的Q4指标优于DRPNN,这说明CS的结果与参考图像更为接近,一致性更好;ERGAS与CC评价指标结果相差不大,说明CS的结果与DRPNN的结果都与参考图像有较大的相关性。SAM评价指标结果说明DRPNN结果与CS结果相比,光谱相似性更高,光谱保持度更好。图8和图9评价结果中PNN结果的Q4与CC略微优于本文方法,但ERGAS与SAM劣于本文方法,这表明通过对SVT融合结果进行提升,图像的光谱质量保持较好。综合主观和客观评价,基于SVT的遥感融合质量提升算法能有效提高图像空间分辨率、光谱质量和细节保持度,通过深度残差去噪网络生成的残差图像能有效地修复SVT融合方法的缺陷,丰富融合图像的信息,提高融合图像的空间分辨率和光谱质量。

表 3. 对比方法与本文方法的评价

Table 3. Evaluation of compared methods and proposed method

Figure	Index	CS	DRPNN	PNN	Proposed method	Ideal
Fig. 7	ERGAS	3.1382	3.2030	2.4409	2.3934	0
	SAM	4.5610	3.7884	3.7599	3.6627	0
	Q4	0.7631	0.7447	0.8032	0.8005	1
	CC	0.9510	0.9532	0.9705	0.9698	1
Fig. 8	ERGAS	2.5521	2.7164	2.2530	2.2412	0
	SAM	3.4794	3.1021	3.3527	3.3413	0
	Q4	0.6290	0.6229	0.6463	0.6338	1
	CC	0.9612	0.9587	0.9725	0.9676	1
Fig. 9(The 1st column)	ERGAS	3.7382	3.6131	3.0033	2.5599	0
	SAM	5.8313	5.0033	5.0254	4.2870	0
	Q4	0.8693	0.8565	0.9095	0.9169	1
	CC	0.9353	0.9371	0.9568	0.9684	1
Fig. 9(The 2nd column)	ERGAS	3.9656	4.2478	3.1395	3.0194	0
	SAM	6.1953	5.2592	5.2617	4.9211	0
	Q4	0.8917	0.8562	0.9333	0.9303	1
	CC	0.9285	0.9149	0.9538	0.9572	1
Fig. 9(The 3rd column)	ERGAS	3.7939	3.6033	2.8936	2.1136	0
	SAM	5.8606	4.6764	4.6806	3.6695	0
	Q4	0.8656	0.8472	0.9142	0.9377	1
	CC	0.9329	0.9350	0.9585	0.9777	1

查看所有表

5 结论

提出一种基于DnCNN的遥感融合图像质量提升方法,利用DnCNN的残差学习训练速度快等优点,提升融合遥感图像的光谱质量,保持图像空间信息。该方法通过参考图像和融合图像训练DnCNN,利用残差学习得到残差图像,通过残差图像与融合图像的叠加修正融合图像,丰富图像信息。实际遥感图像上的对比实验结果表明,本文方法不仅能有效保持融合图像的空间信息,还可以提高融合图像的光谱质量,使得图像的视觉效果更自然。本文方法作为一种后置处理方法,可与其他遥感图像融合方法结合,进一步提高遥感图像融合结果的质量。本文算法也存在进一步完善的空间,如对于空间分辨率不固定的遥感图像的适应性问题,以及在现实情况下没有参考图像时本文网络训练方式等问题,这些将是后续研究的重要方向。

参考文献

[1] Jiang C, Zhang H Y, Shen H F, et al. Two-step sparse coding for the pan-sharpening of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(5): 1792-1805.

[2] 杨超, 杨斌, 黄国玉. 基于多光谱图像超分辨率处理的遥感图像融合[J]. 激光与光电子学进展, 2016, 53(2): 021001.

Yang C, Yang B, Huang G Y. Remote sensing image fusion based on multispectral image super-resolution[J]. Laser & Optoelectronics Progress, 2016, 53(2): 021001.

[3] Tu T M, Huang P S, Hung C L, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 309-312.

[4] Shah V P, Younan N H, King R L. An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1323-1335.

[5] Gillespie A R, Kahle A B, Walker R E. Color enhancement of highly correlated images. II. Channel ratio and “chromaticity” transformation techniques[J]. Remote Sensing of Environment, 1987, 22(3): 343-365.

[6] Laben CA, Brower B V. Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening: US6011875[P/OL].2000-01-04. [2019-01-05]. http:∥google.com/patents/US6011875.

[7] Li S T. Multisensor remote sensing image fusion using stationary wavelet transform: effects of basis and decomposition level[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2008, 6(1): 37-50.

[8] Zheng S, Shi W Z, Liu J, et al. Remote sensing image fusion using multiscale mapped LS-SVM[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1313-1322.

[9] Vivone G, Restaino R, Dalla Mura M, et al. Contrast and error-based fusion schemes for multispectral image pansharpening[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(5): 930-934.

[10] GhassemianH. A retina based multi-resolution image-fusion[C]∥IEEE 2001 International Geoscience and Remote Sensing Symposium (Cat. No.01CH37217), July 9-13, 2001, Sydney, NSW, Australia. New York: IEEE, 2001: 709- 711.

[11] Han C, Zhang H Y, Gao C X, et al. A remote sensing image fusion method based on the analysis sparse model[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(1): 439-453.

[12] GhamchiliM, GhassemianH. Panchromatic and multispectral images fusion using sparse representation[C]∥2017 Artificial Intelligence and Signal Processing Conference (AISP), October 25-27, 2017, Shiraz, Iran. New York: IEEE, 2017: 80- 84.

[13] Scarpa G, Vitale S, Cozzolino D. Target-adaptive CNN-based pansharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5443-5457.

[14] Yang JF, Fu XY, Hu YW, et al. PanNet: a deep network architecture for pan-sharpening[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 1753- 1761.

[15] Wei Y C, Yuan Q Q, Shen H F, et al. Boosting the accuracy of multispectral image pansharpening by learning a deep residual network[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1795-1799.

[16] Shao Z F, Cai J. Remote sensing image fusion with deep convolutional neural network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(5): 1656-1669.

[17] 闫苗, 赵红东, 李宇海, 等. 基于卷积神经网络的高光谱遥感地物多分类识别[J]. 激光与光电子学进展, 2019, 56(2): 021702.

Yan M, Zhao H D, Li Y H, et al. Multi-classification and recognition of hyperspectral remote sensing objects based on convolutional neural network[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021702.

[18] 王民, 樊潭飞, 贠卫国, 等. PFWG改进的CNN多光谱遥感图像分类[J]. 激光与光电子学进展, 2019, 56(3): 031003.

Wang M, Fan T F, Yun W G, et al. PFWG improved CNN multispectra remote sensing image classification[J]. Laser & Optoelectronics Progress, 2019, 56(3): 031003.

[19] 鲍松泽, 钟兴, 朱瑞飞, 等. 基于短波红外遥感影像的船只自动检测方法[J]. 光学学报, 2018, 38(5): 0528001.

Bao S Z, Zhong X, Zhu R F, et al. Automatic detection method of ships based on shortwave infrared remote sensing images[J]. Acta Optica Sinica, 2018, 38(5): 0528001.

[20] 张庆春, 佟国峰, 李勇, 等. 基于多特征融合和软投票的遥感图像河流检测[J]. 光学学报, 2018, 38(6): 0628002.

Zhang Q C, Tong G F, Li Y, et al. River detection in remote sensing images based on multi-feature fusion and soft voting[J]. Acta Optica Sinica, 2018, 38(6): 0628002.

[21] Zhang K, Zuo W M, Chen Y J, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.

[22] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

[23] Kingma DP, Ba J. Adam: a method for stochastic optimization[J/OL]. ( 2017-01-30)[2019-01-05]. https:∥arxiv.org/abs/1412. 6980.

[24] IoffeS, SzegedyC. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]∥32nd International Conference on Machine Learning, July 6-11, 2015, Lille, France. Massachusetts: JMLR.org, 2015: 448- 456.

[25] DigitalGlobe. QuickBird scene 161009185940_01_P001: level standard 2A[DB/OL]. Longmont, Colorado:DigitalGlobe, 2002-01-20[2018-12-23]. http:∥glcf.umd.edu/data/quickbird/.

[26] Wald L, Ranchain T, Mangolini M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63(6): 691-699.

[27] Ranchin T, Aiazzi B, Alparone L, et al. Image fusion: the ARSIS concept and some successful implementation schemes[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2003, 58(1/2): 4-18.

[28] Alparone L, Wald L, Chanussot J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3012-3021.

[29] Khan M M, Alparone L, Chanussot J. Pansharpening quality assessment using the modulation transfer functions of instruments[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(11): 3880-3891.

[30] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2004, 1(4): 313-317.

[31] Li S T, Yang B. A new pan-sharpening method using a compressed sensing technique[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(2): 738-746.

[32] Masi G, Cozzolino D, Verdoliva L, et al. Pansharpening by convolutional neural networks[J]. Remote Sensing, 2016, 8(7): 594.

1 引言

2 深度残差去噪网络

3 基于深度残差去噪网络的遥感图像融合质量提升算法

4 实验结果与分析

5 结论

杨斌, 王翔. 基于深度残差去噪网络的遥感融合图像质量提升[J]. 激光与光电子学进展, 2019, 56(16): 161009. Bin Yang, Xiang Wang. Boosting Quality of Pansharpened Images Using Deep Residual Denoising Network[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161009.

基于深度残差去噪网络的遥感融合图像质量提升下载： 966次

1 引言

2 深度残差去噪网络

3 基于深度残差去噪网络的遥感图像融合质量提升算法

图 1. 本文算法框架

Fig. 1. Framework of proposed method

图 2. 本文提升网络结构

Fig. 2. Structure of boosting network

4 实验结果与分析

图 3. 实验图像。(a)多光谱图像;(b)全色图像

Fig. 3. Experimental images. (a) MS; (b) PAN

图 4. 不同融合方法的结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 4. Results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

图 5. 不同融合方法的提升结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 5. Boosted results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

表 1. 不同融合方法及提升阶段的运行时间

Table 1. Running time of different methods and corresponding boosting stages

表 2. 不同方法的融合结果与提升结果的客观评价

Table 2. Evaluation of fusion results obtained by different methods and corresponding boosted results

图 6. 不同网络参数对实验结果的影响。(a) ERGAS;(b) SAM;(c) Q4;(d) CC

Fig. 6. Influences of different network parameters on experimental results. (a) ERGAS; (b) SAM; (c) Q4; (d) CC

图 7. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 7. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

图 8. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 8. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

图 9. 不同参考图像及本文方法结果。(a)参考图像;(b)本文方法结果

Fig. 9. Different reference images and results of proposed method. (a) Reference images; (b) results of proposed method

表 3. 对比方法与本文方法的评价

Table 3. Evaluation of compared methods and proposed method

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于深度残差去噪网络的遥感融合图像质量提升 下载： 966次

1 引言

2 深度残差去噪网络

3 基于深度残差去噪网络的遥感图像融合质量提升算法

图 1. 本文算法框架

Fig. 1. Framework of proposed method

图 2. 本文提升网络结构

Fig. 2. Structure of boosting network

4 实验结果与分析

图 3. 实验图像。(a)多光谱图像;(b)全色图像

Fig. 3. Experimental images. (a) MS; (b) PAN

图 4. 不同融合方法的结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 4. Results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

图 5. 不同融合方法的提升结果。(a) ATWT;(b) BT;(c) GIHS;(d) GS;(e) SVT;(f) SWT

Fig. 5. Boosted results of different fusion methods. (a) ATWT; (b) BT; (c) GIHS; (d) GS; (e) SVT; (f) SWT

表 1. 不同融合方法及提升阶段的运行时间

Table 1. Running time of different methods and corresponding boosting stages

表 2. 不同方法的融合结果与提升结果的客观评价

Table 2. Evaluation of fusion results obtained by different methods and corresponding boosted results

图 6. 不同网络参数对实验结果的影响。(a) ERGAS;(b) SAM;(c) Q4;(d) CC

Fig. 6. Influences of different network parameters on experimental results. (a) ERGAS; (b) SAM; (c) Q4; (d) CC

图 7. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 7. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

图 8. 参考图像及对比方法与本文方法结果。(a)参考图像;(b) CS;(c) DRPNN;(d) PNN;(e)本文方法

Fig. 8. Reference image and results of compared methods and proposed method. (a) Reference image; (b) CS; (c) DRPNN; (d) PNN; (e) proposed method

图 9. 不同参考图像及本文方法结果。(a)参考图像;(b)本文方法结果

Fig. 9. Different reference images and results of proposed method. (a) Reference images; (b) results of proposed method

表 3. 对比方法与本文方法的评价

Table 3. Evaluation of compared methods and proposed method

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于深度残差去噪网络的遥感融合图像质量提升下载： 966次