1 引言

地球上空大约有50%以上的区域被云覆盖,导致星载卫星获取的影像含有云层,云层不仅覆盖了地表信息,还给影像的配准、融合等处理造成了诸多影响,因此对遥感影像进行云检测是非常有必要的^[1-2]。此外,云检测精度会影响后续云及地表等相关定量参数的反演精度,因而提高云检测精度能极大地促进遥感影像的实际应用^[3]。

目前,遥感影像的云检测方法很多,且主要是利用遥感影像光谱特征对云进行检测。这些方法主要根据云在红外波段的反射率或亮温值与其他地物不同而将云层与其他地物进行分离^[4-5],具有计算简单、检测效率高等优点,但是要求影像有足够多的波段范围。一般国产高分卫星波段仅含有蓝、绿、红、近红外4个波段,波段范围为0.43~0.90 μm^[6]。基于影像光谱特征的检测方法在资源三号(ZY-3)卫星影像上没有明显优势。许多学者将基于聚类分割的图像分析方法应用到遥感影像云检测中,但阈值选择的人为主观因素较强。例如,高贤君等^[7]将最大类间自适应阈值(Otsu)应用到遥感影像云检测中,获得了较好的检测结果,但是检测阈值需要人为干预。Aghdam等^[8]提出了基于大型深层卷积神经网络(CNN)的自然图像分类算法,在Image Net数据集上取得了很高的分类精度。卷积神经网络是一种典型的深度学习算法,可通过梯度下降方法训练网络获得模型参数,经过训练的卷积神经网络能充分挖掘影像的特征,最终完成遥感影像的分类^[9]。

针对资源三号高分辨率卫星影像波段少、光谱范围受限的特点,传统的云检测方法难以满足现实生产检测的精度需求,本文将卷积神经网络算法应用于国产资源三号卫星遥感影像云检测中。首先,采用主成分分析(PCA)非监督预训练网络结构,在主成分分析小化重构误差原则下,获取待检测影像的特征,通过学习得到含有训练样本统计特性的滤波器;其次,为减少采样过程中影像特征的缺失,在最大池化模型和平均模型的基础上,根据插值原理提出自适应池化模型(APM);最后,将影像特征输入支持向量机(SVM)分类器进行分类,获得云检测结果。

2 原理与方法

2.1 主成分分析预训练卷积神经网络

影像库标签的训练数据少,需要采用非监督方式初始化网络滤波器。采用主成分分析非监督预训练,设输入卷积神经网络的影像有M景,其大小为m×n,卷积滤波器大小为g₁×g₂,在训练影像的第i景中取出全部大小为g₁×g₂的影像块,将其表示为向量形式X_i={x_i,1,x_i,2,x_i,3,…,x_i,nm},对X_i取均值得到影像X_i的影像块为 X-i={ x-i,1, x-i,2, x-i,3,…, x-i,nm}。所以训练数据的影像块为

X={x-1,x-2,x-3,…,x-n}∈Rg1g2×Mnm。(1)

采用主成分变换方法最小化重构误差求解特征向量^[10]:

minV∈Rg1g2×HX-VVTX2s.t.VTV=IH,(2)

式中I_H为H×H单位矩阵;V为协方差矩阵XX^T的前H个特征向量,表示输入影像块的主要特征。主成分变换初始化卷积神经网络的滤波器组W_h可表示为

Wh=mg1g2(Vh),h=1,2,3,…,H,(3)

式中 mg1g2(V_h)表示将向量V映射到矩阵W_h,V_h为影像的第h个主要特征。采用主成分分析的非监督训练能获取局部影像的主要特征,所以主成分分析初始化滤波器可认为是一种简单的自动编码器。

2.2 卷积神经网络结构

卷积神经网络是受生物神经学知识启发并参考其结构原理结合人工神经网络而产生的开创性研究成果之一^[11]。与浅层机器学习算法相比,卷积神经网络具有强适用性、分类并行处理、权值共享等优点,极大地减少了全局优化的训练参数,目前已经成为深度学习领域的研究热点^[12]。卷积神经网络结构由输入层、卷积层、池化层和全连接层组成,其网络结构如图1所示。图中的C1和C2分别为第一个和第二个积层;S1和S2分别为第一个和第二个池化层。

输入影像在卷积层和滤波层之间进行卷积运算,卷积层和滤波层一般通过激活函数连接^[13]。采用G_i表示卷积神经网络第i层的特征图,其卷积过程可以描述为

Gi=f(Gi-1⊗Wi+bi),(4)

式中W_i为第i层卷积核的权值特征向量,⊗为卷积操作,b_i为偏移向量。通过线性激活函数f(·)得到第i层的特征图G_i。

激活函数主要可以分为线性激活函数和非线性激活函数。常用的非线性激活函数有3种,分别是双曲线函数、Sigmoid函数和Softplus函数。双曲线函数是Sigmoid函数的一种变体,双曲线函数的

图 1. 卷积神经网络结构图

Fig. 1. Schematic of convolution neural network structure

下载图片 查看所有图片

取值范围为[-1,1],Sigmoid函数的取值范围为[0,1]。线性激活函数与生物神经元受刺激后的激活状态比较接近,因此,该函数在一定程度上具有稀疏性以及收敛速度快等优点,已被许多国内外学者作为卷积神经网络的激活函数^[14]。将Sigmoid函数的线性修正函数f(x)=max(x)作为卷积神经网络的激活函数。

卷积层和池化层依次相连,并通过激活函数连接。常见的池化层模型主要有最大池化模型和平均池化模型2种。

设由卷积层得到的特征图矩阵为G_ij,池化区域大小为c×c,b₁为偏移量,池化步长为c,则最大池化模型可以表示为

Fij=max(Gij)+b1,i=1,2,…,c,j=1,2,…,c,(5)

式中 maxi=1,j=1c(G_ij)表示从特征图矩阵G中大小为c×c的池化区域内取最大元素。

平均池化模型可以表达为

Fij=1c2∑i=1c∑j=1cGij+b1。(6)

高分辨率影像地物复杂,导致传统池化模型不能很好地挖掘影像特征。在池化层中取2种不同的池化区域,如图2所示,空白处表示像元值为0,阴影处由不同像元值组成,A表示最大值区域。图2(a)所示的整个特征图的特征主要集中在A处,如果采用平均池化模型进行池化,则整个特征图的特征会产生弱化。图2(b)所示的特征图的特征主要分布在A、B、C处,在这三者关系未知的情况下,采用最大化池化模型进行池化,整个特征图的特征会产生一定弱化,最终影响遥感影像的云检测精度。

图 2. 不同池化区域。(a)一种特征图;(b)另一种特征图

Fig. 2. Different pooling areas. (a) A feature mapping; (b) other feature mapping

下载图片 查看所有图片

为了减少池化过程中丢失的影像特征,在最大池化模型和平均模型的基础上,根据插值原理提出自适应池化模型。在复杂的池化区域内,该模型能自适应通过池化因子u来调节池化过程,表达式为

Fij=uc2∑i=1c∑j=1cGij+(1-u)maxi=1,j=1c(Gij)+b1。(7)

池化因子u的作用是根据不同池化区域来动态优化传统池化模型,其表达式为

u=a(bmax-a)bmax2,(8)

式中a为池化区域内除了最大元素之外的所有元素的平均值,b_max为池化区域最大元素。u取值范围为(0,1),该模型兼顾了最大池化模型和平均模型的特点,能根据不同池化区域特点自适应优化模型,尽可能挖掘特征图的特征,提高了资源三号卫星云检测精度。

2.3 向量机分类器

SVM分类器是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以获得最好的推广能力^[15-16]。研究表明,SVM分类算法的优势是在训练样本很少的情况下具有快速的学习能力和较高的分类精度。本实验选取LIBSVM开源软件包。

基于深度学习的资源三号卫星遥感影像云检测方法主要步骤有:1)影像预处理和云标签数据制作以及网络构建;2)采用主成分变换初始化网络结构;3)将特征图合并成为一个列特征向量,并输入全连接层,通过反向传播算法更新网络滤波器权值;4)将最终获取的特征向量输入到SVM分类器,最后得到云检测结果,其流程图如图3所示。

图 3. 云检测方法流程图

Fig. 3. Flowchart of the proposed cloud detection method

下载图片 查看所有图片

3 实验与分析

为验证基于深度学习的资源三号卫星遥感影像云检测方法的有效性,选取资源三号卫星遥感影像1、2作为实验对象,并与文献[ 7]提出Otsu云检测方法进行对比。其中,影像1是多光谱影像,如图4(a)所示,空间分辨率为5.8 m,大小为8856 pixel×8976 pixel,云的类型主要为薄云和厚云,地物类型主要是山地。影像2为全色影像,如图4(b)所示,无云覆盖,地物主要为城镇,空间分辨率为2.1 m,大小为8856 pixel×8976 pixel。

图 4. 资源三号卫星的原始遥感影像。(a)多光谱影像;(b)全色影像

Fig. 4. ZY-3 original remote sensing images. (a) Multi-spectral image; (b) panchromatic image

下载图片 查看所有图片

在选取训练数据时,综合考虑研究区域的云分布情况和种类,选取578个有标签云数据,并且选取3027个无标签数据,主要用于非监督训练。本实验采取Linux下的caffe机器学习框架,硬件环境为CPU Intel(R) Xeon(R)E5-2630,GPU Nvidia Tesla M40 16 G内存。构建网络结构模型如图1所示,一共包括5层,分别是2个卷积层,2个自适应池化模型,1个全连接层。第1层卷积滤波器设置为300个,第2层卷积滤波器设置为230个,其滤波器大小均设置5×5;将采样间隔设置为1,卷积神经网络激活函数采用Sigmoid函数的线性修正函数,最后将卷积神经网络学习的云特征输入SVM分类器进行云检测。所提方法的云检测结果如图5(a)和图5(c)所示。文献[ 7]的Otsu阈值云检测结果如图5(b)和图5(d)所示。

图 5. 所提方法与Otsu方法的云检测效果对比。(a)所提方法,多光谱影像;(b) Otsu方法,多光谱影像;(c)所提方法,全色影像;(d) Otsu方法,全色影像

Fig. 5. Comparison of cloud detection results between proposed method and Otsu method. (a) Proposed method, multi-spectral image; (b) Ostu method, multi-spectral image; (c) proposed method, panchromatic image; (d) Ostu method, panchromatic image

下载图片 查看所有图片

从图5(a)和图5(b)可以看出:在所提云检测方法的多光谱影像云检测结果中,云边界清晰,能识别薄云和厚云;Otsu方法的云检测结果中存在误检现象,将高反射率的地物(如裸地)误检为云。从图5(c)和图5(d)可以看出:所提云检测方法对无云全色影像基本不存在误检的情况;在Otsu方法的全色影像云检测结果中存在较严重的误检情况,该方法将反射率较高的地物(如建筑物、道路、雪等)误检为云。目视所提评价方法可知,云检测结果漏检和误检现象较少,且不受影像光谱范围的限制,可用于资源三号卫星多光谱和全色影像的云检测。

为了定量评价所提云检测方法,采用人工目视解译方式勾取的云区域作为真值。勾绘准则为:云边界模糊区域勾绘精度小于3 pixel,云边界清晰区域勾绘精度小于1 pixel。利用混淆矩阵计算2幅影像云检测结果的总体精度(OA),用OA和Kappa系数定量评价云检测结果,评价指标如表1所示。

由表1可知:与Otsu方法相比,所提云检测方法的精度更高,其中多光谱影像云检测的总体精度为0.988451,比Otsu方法的总体精度高5.3832%;全色影像检测的总体精度为0.990123,比Otsu方法的总体精度高8.6002%。在2幅资源三号卫星遥感影像的检测结果中,所提云检测方法的总体精度大于95%,Kappa系数大于90%。通过定量评价验证了将深层卷积神经网络算法应用于资源三号卫星遥感影像云检测的精度。

通过上述目视评价和定量评价方式的比较可知,所提方法的云检测结果较好,这主要是由于卷积神经网络模型复杂的多层非线性变换使其具有更强的表达与建模能力,对国产高分辨率影像中的复杂云特征有很好的表达,从而能获得较好的检测结果。

4 结论

将卷积神经网络算法应用到国产资源三号卫星的遥感影像云检测中,在一定程度上弥补了传统Otsu方法的不足,该方法可用于国产卫星影像的质量控制、云区域的提取等。传统Otsu云检测方法的主要不足表现为很容易对高反射率地物(如建筑物、裸地、雪)产生误判。与传统Otsu方法相比,所提方法的优势主要包括云检测精度高、误判较少,适用于有云、无云的影像,不受影像光谱范围的限制,可用于资源三号卫星多光谱和全色影像的云检测。

深度学习在国产资源三号影像的云检测领域具有较大潜力,所提云检测方法还存在许多不足,比如没有判断卷积神经网络的层次结构和参数设置是否最优。下一步工作将借鉴已有网络模型进行研究,期待能进一步提高云检测的精度。