1 引言

高光谱图像能够获取地面目标近似连续的波段信息,极大提高了地物的区分能力,在矿物勘探、精细农业、**建设等领域发挥了重要作用^[1]。高光谱图像分类是利用高光谱图像中包含的丰富信息,为每个像素赋以唯一的类别标识,是高光谱图像应用的重要方面。然而,高光谱图像中存在同物异谱及同谱异物现象,导致图像数据结构呈高度非线性,相邻波段及相邻像元之间具有较强的相关性;同时高光谱图像中训练样本往往数量有限,容易发生维数灾难。因此,如何提取具有较强可分性的判别性特征是高光谱图像分类的关键。

机器学习中的支持向量机(SVM)方法,能够有效处理高维数据,解决维数灾难问题,一直是高光谱图像分类的经典方法。该方法能够有效处理非线性数据,极大提高了高光谱图像的分类精度。然而,SVM方法没有考虑邻域像元之间的相关性,并且需要复杂的调参过程。

近年来,凭借强大的自动学习特征的能力,深度学习被广泛应用于图像识别、目标检测等领域,在高光谱图像分类方面也取得了优异的效果。自编码器(SAE)和深度置信网络(DBN)是最早用于高光谱图像分类的深度学习模型^[2-4],然而,这两种模型都要求将三维数据变换为一维输入向量,损失了空间信息,而且需要大量的模型参数。卷积神经网络(CNN)^[5-6]能够通过处理像元的邻域,提取空间-光谱特征,进一步提高了高光谱图像分类的精度。

然而随着模型层数的增加,CNN训练过程中会出现梯度消失的现象,导致分类精度下降。残差网络(ResNet)^[7-8]在CNN结构中加入恒等映射,在残差单元的输入和输出之间添加短连接,能够在增加模型层数的同时有效解决梯度消失问题,防止过拟合。ResNet已经被广泛应用于图像处理领域,如超分辨率重建^[9]、目标检测^[10]、图像识别等,近年来,其在高光谱图像分类应用中也取得了良好的效果。钟健等^[11]提出了一种半监督残差梯型网络(Semi-RLNet),将传统梯型网络中的全连接网络结构改为ResNet结构,实现了ResNet与SAE的有效结合。Song等^[12]以多个含有不同卷积核数量的ResNet为基本单元,对各个残差单元进行池化操作,连接不同单元的池化层,能够实现高光谱图像不同层次特征的融合。Zhong等^[13]构建了包含三维卷积层的残差网络单元,为充分利用残差单元的特征提取能力,利用包含不同尺寸卷积核的残差单元分别提取图像中的光谱特征和空间特征,不仅有效保留了图像中的光谱信息和空间信息,还解决了由深层网络结构导致的精度下降问题。然而,ResNet没有充分利用残差单元中每一个卷积层输出的信息,也忽略了任意两个卷积层之间的联系,同时层层相加的模式也不利于网络中信息的传递。

Huang等^[14]提出了密集网络(DenseNet)模型,DenseNet能够以连接模式连接密集单元中的任意两个卷积层,实现了特征重利用及信息传递。Wang等^[15]将DenseNet用于高光谱图像分类,不仅提高了分类精度,还缩短了训练时间。然而,DenseNet只考虑了密集单元内部不同层之间的联系,没有充分利用不同单元提取的所有分层特征。Zhang等^[16]提出了用于图像超分辨率重建的残差密集网络(ResDenNet),将ResNet与DenseNet结合,再将网络模型中不同单元提取的浅层特征与深层特征结合,取得了更好的效果。ResDenNet包括浅层特征提取、残差密集单元(RDB)、密集特征融合三部分,首先对原始图像进行卷积操作提取浅层特征,将浅层特征作为残差密集单元的输入;残差密集单元包含密集连接和局部特征融合,其输出与下一个单元内的各个卷积层直接相关,实现了单元之间的信息连续传递;随后,密集特征融合实现了浅层特征和各个单元提取的不同分层特征之间的全局特征融合,局部特征融合及全局特征融合均以短连接的方式实现,最终的融合特征用于图像重建。而考虑到高光谱图像复杂的光谱-空间结构,充分利用不同单元提取的分层特征,将浅层特征与深层特征结合能够提供丰富的图像细节信息,有利于图像分类。根据高光谱图像数据的特点,本文设计了适用于高光谱图像分类的残差密集网络模型。与SVM、CNN、ResNet及DenseNet等方法在三组高光谱数据上进行对比实验,结果表明,本文方法能够有效提高高光谱图像分类的精度,增强分类方法的稳定性。

2 基本原理

2.1 残差网络

设残差单元的输入为x,对于没有短连接的网络单元输出为F(x),添加了短连接的残差单元,其输出为H(x),则存在H(x)=F(x)+x。实验证明,在残差单元中,优化残差映射F(x)比优化原始函数映射H(x)要容易得多,H(x)在网络结构中可以理解为残差映射F(x)与恒等映射x的加和。恒等映射既没有增加参数数量,也不会影响原始网络模型的复杂度。图1为ResNet的结构图,其中,Conv表示卷积操作,BN表示批归一化,ReLU表示网络采用ReLU激活函数。

图 1. 残差单元结构图

Fig. 1. Structure of residual block

下载图片 查看所有图片

2.2 密集网络

图2为密集单元的结构图。DenseNet以密集单元为基础,密集单元由卷积层、激活层、批归一化层组成,第l层的输入为从输入层到第l-1层所有输出特征图的叠加,可以表示为

Xl=Hl[X0,X1,…,Xl-1]),l=1,2,…,N,(1)

式中:X_l为第l层的输出;H_l(·)为第l层的非线性变换操作;[·]表示不同特征图之间的连接操作。DenseNet将不同卷积层输出的特征图连接起来,并保留了不同特征图的原始值。DenseNet的密集连接结构缓解了训练过程中的梯度消失问题,有助于构建更深层的网络模型,能够有效防止过拟合。

图 2. 密集单元结构图(l=3)

Fig. 2. Structure of dense block (l=3)

下载图片 查看所有图片

2.3 残差密集网络

图3为残差密集单元的示意图。ResDenNet以残差密集单元为基础,残差密集单元由多个卷积层和激活层构成,起到特征提取的作用,每个单元的输出都会与下一个单元的每个卷积层的输出建立短连接,实现了信息连续传递。

图 3. 残差密集单元示意图

Fig. 3. Illustration of residual dense block

下载图片 查看所有图片

设第d个单元的输入和输出分别为F_d-1和F_d,其特征图数量均为G₀,单元中第c个卷积层的输出可以表示为

Fd,c=H{[Fd-1,Fd,1,…,Fd,c-1]},(2)

式中:H(·)为该卷积层的非线性操作,包括卷积及ReLU函数。设F_d,c输出G个特征图, 表示上一单元输出的特征图与本单元前c-1个卷积层输出的特征图之间的连接,共含有G₀+(c-1)×G个特征图。

由于单元的输入与卷积层之间采用连接模式,有必要在单元的最后对特征图进行压缩,因此采用1×1卷积控制特征图的数量,可以表示为

Fd,LF=HLFFd[Fd-1,Fd,1,…,Fd,c]},(3)

式中: HdLFF表示1×1卷积操作。单元最后的输出可以表示为

Fd=Fd-1+Fd,LF。(4)

通过将单元的输出与输入相加实现了局部残差学习,进一步保留了大量图像细节信息,提高了残差密集单元的特征提取能力。

2.4 高光谱图像残差密集网络分类方法

图4为适用于高光谱图像分类的ResDenNet模型。将高光谱图像数据中某个像素的邻域作为网络模型的输入,经过二维卷积层及非线性激活层提取图像的浅层特征,同时作为残差密集单元的输入。网络模型包含两个残差密集单元。与Zhang等^[16]不同的是,由于高光谱图像数据结构复杂,需要在特征提取过程中加入对特征进行抽象简化的操作,因此在残差密集单元之后添加池化层,池化层能够进一步对提取的特征进行抽象,只需要保留对分类有用的抽象特征,适用于高光谱图像复杂数据结构。两个残差密集单元提取的密集特征经过连接操作及卷积操作后,与提取的浅层特征相加形成全局残差学习,实现了浅层特征和深层特征结合,充分保留了图像中含有的丰富信息,有利于提高网络模型的特征提取能力。针对高光谱图像的复杂数据结构,进一步增强特征的抽象程度,网络模型对全局残差学习输出的结果进行批归一化、dropout、全连接(FC)操作,能够提高特征的可分性,减少模型参数数量,降低模型训练难度,最后以softmax函数作为分类函数,生成类别标签。

除残差密集单元内部的1×1卷积层之外,其余卷积层中卷积核尺寸均设置为3×3,而且卷积层之后均伴随着非线性激活层,能够提高模型提取非线性特征的能力。模型的优化函数采用适合非凸优化问题的Adam函数^[17]。对于原始数据的邻域大小,实验证明,较大的邻域能够取得较好的效果,但是相应的训练时间会增加,因此综合考虑设置邻域大小为9×9^[18]。

图 4. 高光谱图像分类残差密集网络模型示意图

Fig. 4. Illustration of residual dense network model for hyperspectral image classification

下载图片 查看所有图片

3 实验结果与分析

3.1 实验数据

为了验证本文方法的合理性和有效性,采用高光谱图像数据Indian Pines数据(IN)、University of Pavia数据(UP)及Salinas数据(SA)进行验证实验。实验在计算机上基于Ubuntu系统,利用Python编程语言自主编程实现,配置为Intel Core i7-4720HQ @2.6 GHz、Nvidia GeForce GTX 965 M和16 GB内存。Indian Pines数据是由美国AVIRIS成像光谱仪获取的印第安纳州西北部某林区的图像,图像大小为145 pixel×145 pixel,去除水汽吸收波段后共200个波段,波长范围为0.4~2.45 μm,空间分辨率为20 m。图像中共有16类地物,在实验中剔除真实样本数量较少的类别,仅保留9类地物^[19],实验中训练样本和测试样本的数量如表1所示。University of Pavia数据是由德国宇航中心ROSIS成像光谱仪获取的意大利帕维亚大学图像,图像大小为610 pixel×340 pixel,去除水汽吸收波段后共103波段,波长范围为0.43~0.86 μm,空间分辨率为1.3 m。图像共有9类地物42776个标签样本,每类地物取200个训练样本,其余作为测试样本,如表2所示。Salinas数据是由AVIRIS传感器获取的美国加州Salinas山谷地区的高光谱图像,图像大小为512 pixel×217 pixel,去除水汽吸收波段后共204波段,图像中共包含16类地物,其训练样本和测试样本数量如表3所示。3组数据来自不同的传感器,具有不同的空间分辨率,能够有效验证本文方法的有效性和稳定性。

3.2 参数选择

ResDenNet主要由卷积层、池化层等组成,多个参数对网络模型的性能有着很大的影响,包括学习率、卷积核数量、批尺寸等,需要对网络参数进行选择和确定。先分别设置学习率为0.001、0.01和0.1,实验发现最优学习率为0.001。然后分别采用卷积核数量为8、16、24、32、40的网络模型进行分类实验。图5对比了三组数据利用不同模型的分类精度,可以看出,Indian Pines数据及University of Pavia数据的分类精度均在卷积核数量为32时达到最高,而Salinas数据在卷积核数量为24时取得最佳的分类精度。

图 5. 不同卷积核数量的模型分类精度

Fig. 5. Classification accuracies of models with different kernel numbers

下载图片 查看所有图片

其次设置训练过程中批尺寸为16、24、32、50、64,图6列出了不同批尺寸的模型的分类精度。可以看出,在Indian Pines数据中,批尺寸为32时模型表现最好;而在University of Pavia数据及Salinas数据中,批尺寸为64时分类精度最高。

图 6. 不同批尺寸的模型分类精度

Fig. 6. Classification accuracies of models with different batch sizes

下载图片 查看所有图片

3.3 实验结果与分析

为了评价本文方法的合理性和有效性,将本文方法与典型分类方法进行对比,如SVM、CNN、ResNet和DenseNet。其中,SVM核函数采用径向基函数(RBF)函数,并采用交叉验证的方法确定核参数λ和惩罚系数c。CNN、ResNet、DenseNet按照ResDenNet的模型结构设计,经过参数选择实验,在Indian数据中,CNN、ResNet、DenseNet的最优卷积核数量和批尺寸分别为32和24、40和24、24和50;在University of Pavia数据中,CNN、ResNet、DenseNet的最优卷积核数量和批尺寸分别为32和50、40和50、32和64;在Salinas数据中,CNN、ResNet、DenseNet的最优卷积核数量和批尺寸分别为32和32、32和24、40和64。在分类过程中,每个分类器的训练样本数量都是相同的(每类200个样本)。评价指标采用总体精度(OA)、平均精度(AA)及Kappa系数等,每种分类方法独立运行10次分类实验,给出了评价指标的平均值及方差。

表4列出了3组实验数据的分类结果评价指标,表中加粗数字为同一行中的最优值。从表4可以看出:SVM在3组数据中分类精度较差,而深度网络模型凭借其强大的特征提取能力取得了较高的分类精度;ResNet和DenseNet要比普通CNN模型的分类精度更高,证实了在网络模型中添加短连接和密集连接对模型性能的提高作用。本文方法ResDenNet取得了最高的分类精度,在3组数据上分别达到98.71%、99.31%和97.91%,相比DenseNet提高了0.8%、0.7%和1.4%,相比ResNet提高了0.9%、0.8%和1.5%。正是由于ResDenNet结合了ResNet和DenseNet,在DenseNet的基础上实现了局部残差学习及全局残差学习,同时结合了高光谱图像中不同尺度层次的特征,提高了模型的特征提取能力,促进了模型中信息流通,增强了模型的稳定性,因此ResDenNet结果的方差最小,稳定性最强。高光谱影像的空间分辨率普遍不高,导致影像中存在混合像元;而由于University of Pavia数据的空间分辨率最高,地物实际大小与像元对应尺度的匹配性最好,能够取得最高的分类精度。

利用Indian Pines数据和University of Pavia数据训练的模型对Salinas数据直接进行分类处理,进行10次独立实验,其结果如表5所示。可以看出,Salinas数据利用其他数据训练好的模型仍能得到较好的分类精度,但相比直接利用本数据内的样本训练得到的分类精度有所降低。

图7~9分别为3组数据采用不同方法获取的分类结果图,可以看出,ResDenNet的分类结果图更平滑,同质区域的整体性更好,孤立噪声点也最少。

图 7. Indian Pines数据分类结果图

Fig. 7. Classification maps for Indian Pines dataset

下载图片 查看所有图片

图 8. University of Pavia数据分类结果图

Fig. 8. Classification maps of University of Pavia dataset

下载图片 查看所有图片

图 9. Salinas数据分类结果图

Fig. 9. Classification maps of Salinas dataset

下载图片 查看所有图片

表6列出了CNN、ResNet、DenseNet及ResDenNet分类方法各自的平均训练测试时间,由于添加了短连接及密集连接,ResNet和DenseNet的训练测试时间要比CNN训练测试时间更长。在Indian Pines数据的DenseNet分类实验中,经过多次对比,发现去除密集单元中的批归一化层时,分类精度更高,因此DenseNet分类实验训练测试时间较ResNet和ResDenNet方法的训练测试时间更短。在University of Pavia数据中,DenseNet方法包含了批归一化层,因此训练测试时间比ResNet方法要长;而ResDenNet在残差密集单元中去除了批归一化层,降低了模型复杂度,相比于DenseNet缩短了训练测试时间。

最后利用不同数量的训练样本参与模型训练,检验模型在小样本情况下的分类精度。分别设置3组数据的训练样本数量为50、100、150和200,图10给出了3组数据的分类精度对比。从图10可以看出,随着训练样本数量的变化,ResNet和DenseNet的分类精度比较接近,而ResDenNet的分类精度始终保持最优,呈现逐步提高的趋势。正是由于ResDenNet充分利用了网络模型中不同单元提取的所有的分层特征,实现了信息连续传递,增强了网络模型的稳定性。

图 10. 不同训练样本数量的模型分类精度

Fig. 10. Classification accuracies for different training sample numbers

下载图片 查看所有图片

4 结论

为了充分利用网络模型不同单元提取的分层特征,设计了适用于高光谱图像分类的ResDenNet模型。ResDenNet结合了残差网络和密集网络,能够充分利用模型中不同单元提取的所有分层特征,不仅通过短连接和密集连接克服了梯度消失问题,还充分提取了图像中的细节信息,增强了特征重利用和信息连续传递。

分析了不同网络参数对分类精度的影响,选出适合不同网络模型的较好参数,对比了不同网络模型的训练测试时间,以及本文方法在不同数量的训练样本条件下的分类精度。实验表明,本文方法能够有效提高分类精度,增强分类方法的稳定性。ResNet和DenseNet充分利用CNN的特征提取能力,为高光谱图像分类提供了有力的工具,后续研究可以考虑将ResNet和DenseNet与半监督方法结合,利用少量的训练样本取得较高的分类精度。