1 引言

随着遥感技术的发展,遥感影像已广泛用于资源利用、环境检测及气象探测等工作领域。全球有效云量(云发射率加权的云量)约为0.50±0.05^[1],准确地分离遥感图像中的有云像元和无云像元已成为遥感数据处理的重要环节,同时也为天气预报与自然灾害预测提供最可靠的信息源。因此,有效的云检测是对遥感影像后续分析与利用的前提。

目前,多种云检测方法被提出。基于阈值的云检测方法^[2-4]主要通过提取每个像素的各种光谱特征,然后使用一个或多个阈值确定云掩模。该方法主要利用低层次的光谱信息,空间信息涉及相对较少,对下垫面和云覆盖范围的敏感性较高^[5],这决定了云检测工作的复杂性,导致产生误检。随着大数据应用推广及机器学习技术的快速发展,云检测中这种复杂性工作可由计算机来实现,从而极大节省成本,所以基于机器学习的云检测方法的应用越来越广泛^[6]。Xu等^[7]利用决策树提取云边界。Li等^[8]利用亮度和纹理特征训练支持向量机(SVM)分类器检测云。Hu等^[9]将计算机视觉与随机森林方法相结合,得到云覆盖掩模图。其中,随着深度学习在图像识别^[10]、姿态估计^[11]、自然语言处理^[12]等方面的快速发展,深度神经网络强大的识别能力得到了广泛的认可,基于深度学习的云检测方法也引起了人们的关注。Shi等^[13-14]利用超像素分割和全卷积神经网络(FCNN)对Quickbird、谷歌地球图像和Landsat8图像中的云进行检测。陈洋等^[15]采用卷积网络对资源三号遥感影像进行云检测。这些方法与传统机器学习方法相比,可实现更高精度的云检测,但对云的边缘检测较为粗糙,导致云的细节丢失严重。

针对现有方法在遥感图像云检测中易产生误检及边缘细节检测精度不够高的问题,提出一种深度语义分割网络RM-Net,对Landsat8和高分一号 WFV RGB彩色图像进行像素级云检测。该网络是对M型卷积网络(M-Net) ^[16]的改进,其框架主要由编码器、解码器和2个边路径组成。该网络在分割网络中引入避免网络训练退化的残差单元^[17],增加采样密度(在不增加计算量的前提下)的空洞空间金字塔池化(ASPP)^[18],并利用Adam算法对网络进行优化。实验结果表明,对M-Net的改进可进一步提高其性能,在复杂条件下仍能取得较高精度的云检测。

2 原理与方法

在RGB彩色遥感图像中,云通常是白色和明亮的,易与大多地面物体区分。但是,由于云的厚度和形态各不相同,下垫面地物种类繁多,常存在容易混淆的物体(如白色的建筑物、冰、雪等),且与长波长传感器(即红外、多光谱)相比,RGB色彩波段对散射条件更为敏感^[19],故仅利用图像的空间信息进行云识别,难度较大。因此,从目标分割和分类的角度解决这个问题可得到更直观的结果,还可避免目前大多数云检测方法依赖于特定传感器的弊端。本文将RGB彩色图像与其对应的标签输入网络进行训练和测试,并得到最终的云检测结果。

2.1 RM-Net分割网络

在语义分割中,低层特征包含大量空间信息,高层特征包含大量语义信息。若要取得好的分割结果,有必要同时使用低层次的细节和高层次的语义信息。如U-Net^[20],可将低层次精细的细节补偿至高层次的语义特征中。M-Net^[16]是基于U-Net改进而来,除了具有U-Net中的编码器和解码器路径外,还增加了两条侧路径来提供深度监督功能。M-Net采样过程中会丢失较多信息,易造成对薄云和含有高亮度下垫面的云误检。针对这一问题,提出一种改进的M型卷积网络模型(RM-Net),其主要由多个残差单元、卷积层、反卷积层与concat层组成。

1) 残差单元:神经网络的性能随着其深度的加深而提高,但同时会引起网络的退化,而残差神经网络^[17]可很好地解决这一问题,其方法主要是在堆叠层上采取残差学习,每个残差单元都可以用一般形式表示为

xi+1=f[g(xi)+H(xi,Yi)],(1)

图 1. 卷积单元与残差单元。(a)前向传播卷积单元;(b)残差单元

Fig. 1. Convolution unit and residual unit. (a) Forward propagation convolution unit; (b) residual unit

下载图片 查看所有图片

式中:x_i和x_i+1分别是第i个残差单元的输入和输出;H(x_i,Y_i)代表学习到的残差映射;Y_i为权值;g(x_i)为恒等映射;f(·)为激活函数。当输入和输出的维度相同时,可以采用恒等映射,此时g(x_i)=x_i+1;若维度不同时,需使用1×1的卷积恢复维度。卷积单元和残差单元的对比如图1所示,其由批量归一化(BN)、激活函数ReLU和卷积层(Conv)多重组合而成。残差中低层与高层网络之间的跳跃连接将促进信息传播而不退化,使网络更易于训练。

2) 卷积层:在图像处理中,大尺寸的图像在网络中权重数量较大,造成难以对传统的神经网络进行训练。而图像的空间联系是局部的,距离越近的像素相关性越强。因而,每个神经元不需要对全局图像进行感知,只需对图像进行局部感知。且由于图像某一部分的统计特性与其他部分相同,所以对于图像中的不同部分可使用同样的学习特征。含有卷积层的网络中每个神经元的权重个数为卷积核的大小,这样可极大地减少权重的数量。在分割网络中,卷积层用于提取输入的特征和增大感受野,高层特征包含大量空间信息,低层特征包含大量语义信息,多层的卷积从低级特征中提取更复杂的特征。假设每个卷积层的输入为H×W×C的特征图,其中H与W分别为特征图的高与宽,C为通道数,W_j、b_j与X_j分别为第j层卷积核的权重、偏置项与输入特征图,则第j层特征图的输出Z_j与其大小F'可分别表示为

Zi=f(Wj×Xj+bj),(2)F'=floor[(F+2P-k)/s]+1,(3)

式中:f(·)为非线性激活函数ReLU,即f(x)=max(0,x), 除最后一个卷积层外,在每个卷积层之后都应用ReLU和批量归一化层(BN);F为输入特征图的大小;P为Padding;k与s分别为卷积核的大小与步长:floor(·)表示向下取整。

3) 扩张卷积与ASPP:在语义分割中,增大感受野有利于提取语义信息,但会弱化空间信息的提取,而扩张卷积很好地解决了这一问题。扩张卷积与普通卷积相比,卷积核大小和输出的特征图大小一样,但扩张卷积具有更大的感受野(卷积核在图像上看到的区域更大)。一个扩张率为2的3×3卷积核,其感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积核参数数量的36%。扩张卷积对应的感受野R_RF表达式为

RRF=(k-1)×r+1,(4)

式中:r为扩张率,当r=1时为普通卷积。

跳跃连接将底层特征与高层特征融合,同时使两个堆叠的卷积层获得更大的感受野。假设k₁与k₂为两个堆叠的卷积核大小,新的感受野R'_RF的表达式为

R'RF=k1+k2-1。(5)

具有不同扩张率的ASPP能有效地捕获多尺度信息,但当等价后的感受野大于特征图大小时,会造成滤波器的退化^[21]。由于本文使用的训练图像大小为256 pixel×256 pixel,编码器最后一个残差单元接收的特征图大小为32 pixel ×32 pixel,所以在编码器最后一个残差单元使用3个3×3扩张率依次为3,6,9的递增的扩张卷积层,并结合多个跳跃连接,使采样更加密集。根据(4)式和(5)式,本文使用的ASPP中最大的感受野为31(小于该卷积层输入的特征图大小),从而最大化提取有效特征。在ASPP后使用1×1的卷积层可将通道数减少到128,以满足维度匹配。

4) 反卷积层:反卷积是卷积的逆过程,可将输入的特征图恢复为原输入图像的大小,实现像素级的语义分割。假设反卷积层的卷积核大小为k',则恢复的特征图大小O'可表示为

O'=(O-1)s'+k'-2P',(6)

式中:O为输入反卷积层的特征图大小;s'为反卷积的步长;P'为Padding。

5) concat层:在信息提取的过程中,不同的卷积层提取不同的空间信息与语义信息,而concat层可将两个及以上同等大小的特征图进行拼接,从而达到特征融合、促进信息传播的作用。

RM-Net深层网络架构如图2所示,Conv为卷积运算,ReLU为激活函数,BN为批量归一化层,stride为卷积运算的步长,Deconv为反卷积运算,eltwise sum为求和运算,concat为特征融合运算,其由4个滤波器路径组成,即编码与解码路径和2条边路径。该网络共有31层和8个残差单元,包含不改变特征图大小、步长为1的卷积层,以及改变特征图大小、步长为2的卷积层与反卷积层。在卷积滤波器的级联中,丰富的跳跃连接将底层特征与高层特征融合,以结合语义信息和空间信息,促进信息的反向传播而不会出现退化,使网络能更好地学习特征。

图 2. RM-Net网络结构

Fig. 2. RM-Net network structure

下载图片 查看所有图片

在分割网络中,编码器从RGB彩色图像中提取稳健抽象表示,解码器根据编码器的响应计算像素级的分割和分类掩码。使用步长为2的卷积层代替池化层使特征图减半,每个卷积层的特征通道数都随着步长为2的卷积和反卷积而变化。由于测试集图像为1000 pixel×1000 pixel,在经过连续4个下采样后,第1次上采样时恢复的特征图大于第3个下采样后的特征图,无法完成特征融合,导致不能对测试集图像进行云检测。因此,利用包含不同扩张率的ASPP替换M-Net中最后1个池化层和编码器的最后2个卷积层,在避免信息丢失与不增加计算量的前提下,使扩张率进一步增大,同时像素采样更加密集,从而增大感受野并融合多尺度特征。解码路径由2×2的反卷积层和2个级联的步长为1的3×3卷积层重复组成。

在最后1个卷积层之后添加概率为0.5的dropout函数可防止网络过拟合。对于2条边路径,左路径由3个步长为2的3×3卷积层组成,其输出端连接到对应的编码层输入端;右路径由反卷积层和concat层组成,并融合解码层的输出。最后1个残差单元提取的特征经过1×1的卷积核后进入SoftmaxWithLoss层,其中Softmax函数用于计算每个像素类分布的概率值,并利用Softmax函数的输出计算Loss值。Loss函数J(θ)的定义为

J(θ)=-1M∑m=1M∑k=1K1ym=klogexp(θTkhm)∑k=1Kexp(θTkhm),(7)

式中:k为标签图中像素的类别值;T为转置;y_m为类别标签,有K个不同取值,将遥感图像分割成云与非云区域属于二分类问题,所以此处K=2;h_m为输入图像像素观测向量;θ为模型参数;M为图像的像素数;1{}为显性函数。训练数据集依次经过神经网络、隐藏层,最后传播到输出层,此过程是分割网络的前向传播。由于分割网络的输出结果与实际结果之间存在误差,计算该误差并将其从输出层向隐藏层反向传播,直至传播到输入层,此过程是分割网络的反向传播。在反向传播过程中,根据误差调整网络权重参数值,不断迭代上述过程,直至网络收敛。

2.2 DDCN分割网络

为与本文方法进行对比,将结合多尺度特征进行像素级云检测的深度卷积神经网络(DCN)^[22]改进为DDCN网络,结构如图3所示。考虑到计算机显存、计算速度以及便于对比等方面原因,将DCN方法中使用的最小与最大通道数由64,4096分别改为8,256。在融合除Conv2_1外的6个不同分支的特征时,分别使用步长为2,4,8,8,8的反卷积替换卷积,使特征图恢复为原输入图片大小,起到端到端语义分割的作用,并无需将标签图像压缩为原图大小的1/8,避免信息的丢失而不利于有效地监督学习。图3中,卷积层中的参数3×3×64,代表卷积核的大小为3,通道数为64;3×3×128(2)括号内的数值代表扩张卷积的扩张率;池化层参数3×3/2与反卷积层参数Deconv1/2中反斜杠后的数值代表步长;C为concat层。将融合的多尺度特征输入输出为2的1×1卷积层,再通过Softmax函数计算每个像素类分布概率。

3 数据集的选取与增强

选取的遥感图像来自L8 SPARCS云和云阴影验证数据集^[23]。此数据集像素级的云掩模根据11个波段的Landsat8数据集获得,其groundtruth的准确性足够高,涵盖大的薄云、海洋上空云和下垫面为冰/雪等多种情况,具有较好的代表性。80张影像含有7个手动标记的类,包括云、云阴影、淹没区、冰/雪、水体、水面阴影和陆地,每张图片大小为1000 pixel×1000 pixel。从中选取64张图像作为训练集与验证集,16张图像作为测试集。

图 3. DDCN网络结构

Fig. 3. DDCN network structure

下载图片 查看所有图片

为验证本文云检测方法的泛化性,选取中国高分1号云和云阴影覆盖数据集^[24]中RGB彩色图像进行云检测实验。高分1号卫星上的宽视场相机(WFV)成像系统的空间分辨率为16 m,共有4个多光谱波段,该数据集有108张影像,包含全球不同的土地覆盖类型,所有相关的掩模都对云作了标记。为降低图像分割对计算机性能的要求以及提高图像分割的效率,将数据集中的图像统一转化为1000 pixel×1000 pixel,从中选取86张图像作为训练集与验证集,22张图像作为测试集。

在训练阶段,由于原始数据少且尺寸过大,且考虑到GPU内存的局限性、计算速度及分割方法的时效性等,通过翻转、饱和度调整、亮度调整、颜色调整和加噪等操作增强图像。选取一张增强后的Landsat8图像,其效果如图4所示。

图 4. 数据集增强。(a)原图;(b)水平翻转;(c)垂直翻转;(d) 水平垂直翻转;(e)饱和度调整;(f)亮度调整;(g)颜色调整;(h)加噪

Fig. 4. Dataset enhancement. (a) Original image; (b) horizontal flip; (c) vertical flip; (d) horizontal and vertical flips; (e) saturation adjustment; (f) brightness adjustment; (g) color adjustment; (h) add noise

下载图片 查看所有图片

将增强后的Landsat8原始图像裁剪成大小为256 pixel×256 pixel的4608张子图像,其中4000张作为训练集,608张作为验证集。将增强后的高分1号WFV原始图像同样裁剪成256 pixel×256 pixel的子图像,训练集与验证集图像数量分别为5000张与1192张。

4 实验与评价

4.1 实验环境

实验采用Ubuntu16.04下接口为Python的深度学习框架Caffe^[25],硬件环境为处理器Intel i7 8700,内存为16G,图像处理器(GPU)为 GeForce GTX 1080,显存为8G的计算机。

4.2 实验步骤

1) 数据集预处理:计算训练集在RGB三个维度的均值,在训练与调用模型时,将训练集、验证集和测试集分别减去该均值(遵循模型训练过程,仅从训练集中获取信息),可提高训练与测试的速度与精度。

2) 制作标签:云掩模图像由相关专家手动标记,再将其转化为灰度图像。由于同一类灰度值是变化的,需要进行灰度值固定,将掩模图像中每个像元对应的是“云”还是“非云”,分别用灰度值1和0表示,形成与原图像对应的二值掩模图像,用于监督网络的训练。

3) 实验参数设置:训练时批次大小取经验值为8,即每迭代1次处理 8张图像。在参数优化阶段,梯度优化使用Adam算法,设置动量大小β₁=0.9和β₂=0.999对学习率进行衰减以防止出现过拟合现象,将学习率设置为0.0001,当代价函数损失收敛且趋于平稳时,停止训练,共迭代12×10⁴次。

4) 测试:调用训练生成的最优模型对测试集1000 pixel×1000 pixel的图像进行像素级云检测,云区用白色表示,非云区用黑色表示,并与其他方法作定性和定量比较。采用交叉验证的方式,即利用未参与训练的图像对6种云检测方法进行精度测试。

为验证加入的残差单元与ASPP对云检测的有效性,将RM-Net方法使用的残差单元与ASPP分别移除和同时移除,再通过使用相同的数据集并设置相同的实验参数进行训练。训练迭代的次数与总准确度O_{Overall accuracy}的关系如图5所示,总准确度定义为

OOverallaccuracy=pp+p',(8)

图 5. Overall accuracy曲线

Fig. 5. Overall accuracy curves

下载图片 查看所有图片

式中:p为每个类别的像元被正确检测的个数;p'为每个类别的像元被错误检测的个数。

由图5可知,分割网络中加入残差单元与ASPP均可改善网络的性能,且同时加入这两种结构可进一步提升网络的性能,验证了本文所构建网络的合理性。

4.3 云检测方法比较

4.3.1 定性比较

图6为采用k-means、CNN+SP^[13]、FCN2s^[26]、M-Net^[16]、DDCN和RM-Net等6种方法对Landsat8图像进行云检测结果的视觉比较。2张Landsat8图像云的形态与下垫面各不相同,选取各自对应的子区域以达到更好的视觉对比。图6(a)中的原图包含薄云、厚云和部分碎云,半透明的薄云区域难以判别;图6(c)中的原图既有云也有雪/冰(图中蓝色区域为雪/冰),易产生混淆;图6 (b)、(d)分别为图6 (a)、(c)的子区域,原图中蓝色区域为雪/冰,白色或半透明白色区为云,其余为晴空区;黑白图中白色为云,黑色为晴空区。由图6可知,k-means方法可以有效识别厚云,但对薄云识别效果较差,且易把明亮的地物识别为云,如含有雪/冰覆盖的下垫面。CNN+SP方法将CNN与超像素聚类相结合,即利用超像素区域作为输入块,单独输出每个块,可以克服“盐和胡椒”噪声的干扰,但容易受到超像素分割的影响而产生初始误差,无法获得像素级的检测精度,易漏检碎云。FCN2s方法在采样过程丢失较多特征,导致云检测结果比较模糊和平滑,在云边界上丢失了很多细节。M-Net方法得到的云检测结果优于FCN2s方法,但对薄云分割结果较差。DDCN方法利用多尺度特征取得了较好的像素级分割结果,但在薄云和云边缘区域分割结果不理想。RM-Net方法可更好地提取云的特征,即使在复杂的条件下(下垫面高亮、存在大量薄云等),云的形态仍能较为完整地提取,位置准确,生成的云掩模较为精细,总体更接近于标签图像(groundtruth)。

图7为采用k-means、CNN+SP^[13]、FCN2s^[26]、M-Net^[16]、 DDCN和RM-Net等6种方法对高分1号WFV图像检测结果。图7(a)中的原图含有大量半透明的薄云和厚云;图7 (c)中的原图含有薄云、厚云和雪;图7 (b)和(d)分别为图7 (a)和(c)的子区域。原图中蓝色区域为雪/冰,白色或半透明白色区域为云,其余为晴空区;黑白图中白色为云,黑色为晴空区。由图7可知,云检测结果视觉对比类似于图6,由于高分1号WFV图像中的云分布相对复杂以及图像压缩等方面的原因,6种方法都存在部分云误检,但RM-Net方法的云检测性能相对更好,检测结果总体更接近于标签图像,证明了所提方法的泛化性。

图 6. 6种方法对Landsat8图像云检测结果视觉对比

Fig. 6. Visual comparison of Landsat8 image cloud detection results obtained by six methods

下载图片 查看所有图片

图 7. 6种方法对高分1号WFV图像云检测结果视觉对比

Fig. 7. Visual comparison of GaoFen-1 WFV image cloud detection results obtained by six methods

下载图片 查看所有图片

4.3.2 定量比较

用4个指标定量评价云检测方法的有效性,即精确率P_Precision、召回率R_Recall、准确率A_Accuracy和调和均值F_1score。评价指标定义表达式分别为

PPrecision=CCCCCC+NNC,(9)RRecall=CCCCCC+CCN,(10)AAccuracy=CCC+NNNCCC+CCN+NNC+NNN,(11)F1score=2×PPrecision×RRecallPPrecision+RRecall,(12)

式中:C_CC是正确检测为云像元的个数;C_CN是云像元误检测为非云像元的个数;N_NC是非云像元误检测为云像元的个数;N_NN是正确检测为非云像元的个数。

表1为6种方法对16张Landsat8测试图像中的云检测作定量评价时4个定量评价指标的平均值。从表1中可知, k-means方法的4个定量评价指标相对最差,因为该方法易将高亮的地物误检为云,且不能有效识别薄云,所以准确率较低。CNN+SP方法的精确率相对较低,会将部分非云误检为云。FCN2s方法和M-Net方法的召回率较低,存在少量云漏检情况。DDCN方法与RM-Net方法都取得了较好的检测性能,RM-Net方法在测量指标上优于DDCN方法。

表2为6种方法对22张高分1号WFV图像中的云检测作定量评价时4个定量评价指标的平均值。由表2可知,云检测方法的定量评价与表1类似,RM-Net方法的综合性能相对更优。

4.4 云与云阴影检测

由于遥感图像中云与云阴影总是成对出现,因此云阴影的检测对遥感图像的应用也具有重要意义。挑选Landsat8和高分一号WFV RGB含云与云阴影图像各20张,用来训练、验证与测试的图像分别为12张,4张与4张,扩充后的训练集为900张,验证集为252张,大小为 256 pixel×256 pixel。将标签图像中每个像元对应的“云”、“云阴影”和“晴空”分别用 2,1,0 表示,用于监督网络训练。最后一个卷积层输出设为3,即实现云、云阴影和晴空的三分类。

图8为本文方法与DDCN(最后一层卷积层输出为3)方法对Landsat8和高分一号WFV RGB图像云和云阴影检测的视觉对比,groundtruth中白色为云,灰色为云阴影,黑色为晴空区。由图8可看出,两种云检测方法都能有效地检测云及云阴影。与云阴影检测结果相比,云检测结果更加准确。

表3为对两种遥感图像(8张)中云与云阴影检测作定量评价时4个定量评价指标的平均值,即云阴影精确率P'_Precision、云阴影召回率R'_Recall、准确率A'_Accuracy和云阴影调和均值F'_1score,在计算云阴影像元的精确率与召回率时,把云像元识别为晴空像元。从表3中可看出,RM-Net方法4个评价指标均高于DDCN方法,表明RM-Net方法可同时对云和云阴影进行有效的检测。

图 8. 云和云阴影检测结果

Fig. 8. Detection results of cloud and cloud shadow

下载图片 查看所有图片

5 结论

利用改进的M型卷积网络(RM-Net)方法对RGB彩色遥感图像进行像素级云检测,该方法结合了残差网络、空洞空间金字塔池化与M-Net的优点。残差单元使网络在加深时不易出现退化,丰富的跳跃连接可促进网络的前向传播和反向传播, 空洞空间金字塔池化以及堆叠的卷积层使网络在不增加参数及不弱化空间信息的前提下增大感受野,从而提取更多的特征,为像素级预测提供多尺度信息。实验中定性和定量分析表明,融合多特征的DDCN方法与RM-Net方法可对多种复杂条件下的RGB彩色遥感图像的云进行更为有效的检测,在云的边缘生成精细的掩模,误检率较低,并能对云阴影进行较为有效的检测,具有较高的检测精度与很好的泛化性。此外,RM-Net方法中丰富的跳跃连接以及包含不同扩张率的ASPP可使网络提取更多有效特征,所以实验结果优于DDCN方法和其他对比方法。

运用深度学习方法可显著提高遥感图像云检测的速度与精度,为遥感图像的准确应用起到了一定的促进作用。但本文云检测方法还存在许多不足,如没有将厚云与薄云区分开,影像中存在部分云阴影误检和少量薄云漏检等。下一步工作将完善分割网络并对更多类型的数据集进行实验,进一步提高云与云阴影检测精度。