基于多特征融合和混合卷积网络的高光谱图像分类

冯凡; 王双亭; 张津; 王春阳

doi:doi:10.3788/LOP202158.0810010

激光与光电子学进展, 2021, 58 (8): 0810010, 网络出版: 2021-04-12

基于多特征融合和混合卷积网络的高光谱图像分类下载： 977次

Hyperspectral Images Classification Based on Multi-Feature Fusion and Hybrid Convolutional Neural Networks

论文大纲

冯凡王双亭张津王春阳 ^*

作者单位

河南理工大学测绘与国土信息工程学院, 河南焦作454000

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对三维卷积网络在训练样本较少时对高光谱图像的分类精度不理想问题,提出了一种高效的基于多特征融合和混合卷积网络的分类模型。首先,对高光谱图像进行降维处理后用三维卷积层提取深层空谱联合特征。然后,引入残差连接并通过特征图连接和逐像素相加进行多特征融合,实现特征重用、增强信息传递。最后,用二维卷积层对提取的特征进行空间信息强化,实现图像分类。实验结果表明,在三个公开高光谱数据集Indian Pines、Salinas和University of Pavia中分别用标记样本的5%、1%、1%作为训练样本时,本模型的分类精度分别为97.09%、99.30%、97.60%,可以有效提升小样本情况下的高光谱图像分类效果。

Abstract

Aiming at the problem that the classification accuracy of hyperspectral images is not ideal when the amount of training samples of three-dimensional convolutional network is limited, an efficient classification model based on multi-feature fusion and hybrid convolutional neural networks is proposed in this paper. First, after the dimensionality reduction processing is performed on hyperspectral images, the three-dimensional convolutional layer is used to extract deep hierarchical spatial-spectral joint features. Then, the residual connection is introduced to perform multi-feature fusion through feature map concatenation and pixel-wise addition to realize feature reuse and enhance information transmission. Finally, a two-dimensional convolutional layer is used to enhance the spatial information of the extracted features and realize image classification. The experimental results show that in the three publicly available hyperspectral data sets Indian Pines, Salinas and University of Pavia, 5%, 1% and 1% of the labeled samples are used as training data, respectively, the classification accuracy of the model is 97.09%, 99.30% and 97.60%, respectively, which can effectively improve the classification accuracy of hyperspectral images for under small sample condition.

1 引言

成像光谱仪能在数十至数百个窄波段内获取目标地物丰富的光谱信息,高光谱图像的像素级分类结果,在遥感测绘、地质勘察、精准农业、环境监测和灾害评估等领域得到了广泛应用^[1]。近年来,以卷积神经网络(CNN)为代表的深度学习方法被成功用于高光谱图像的分类研究,相比传统分类方法,深度学习方法在分类精度方面有很大提升^[2]。高光谱数据中带标签的样本数量较少,因此,在训练样本有限条件下取得理想的分类效果具有一定的挑战性^[3]。

高光谱图像具有的高维性、高非线性和小样本等特点,要求分类器具有提取和处理深度抽象特征的能力^[4-5]。传统的机器学习分类器,如支持向量机(SVM)、随机森林(RF)、多元逻辑回归(MLR),在缺少深层特征的支持下,难以取得理想的分类效果^[6-7]。近年来,以CNN为代表的深度学习模型为高光谱图像分类的特征提取提供了解决方案^[8-9]。CNN用三维(3D)数据块作为输入,可直接学习待分类像素的光谱特征及其一定大小邻域内的空间特征,对高光谱图像的分类精度较高^[10]。

基于CNN的高光谱图像分类主要用二维CNN(2D-CNN)或3D-CNN提取空谱特征。2D-CNN用降维后的高光谱数据作为输入,保留的主成分数量和邻域窗口尺寸区别较大^[11-12]。因此,Chen等^[13]和Li等^[14]分别构建了3D-CNN,直接对原始高光谱数据进行特征提取,其中,文献[ 13]使用的邻域尺寸为27×27,卷积核尺寸为5×5×32;文献[ 14]使用的邻域尺寸和卷积核尺寸相对较小。实验结果表明,相比2D-CNN,3D-CNN的分类精度有所提高,原因是3D-CNN可以更好地探索高光谱图像中丰富的光谱信息。在3D-CNN的基础上进行网络优化设计,是基于CNN模型进行高光谱图像分类研究的主要方向之一。此外,由于高光谱数据的标记工作费时费力,因此小样本高光谱图像的分类近年来受到了广泛关注^[15]。与浅层神经网络相比,深层神经网络可确保提取特征的鲁棒性和判别力,减轻了过拟合现象对分类精度的影响^[16]。为了提高高光谱图像的分类精度,人们通过残差网络(ResNet)^[17]的残差连接加深网络深度和优化模型的拓扑结构。Lee等^[18]在2D-CNN中引入残差连接,构建了较深的2D-CNN(Res-2D-CNN),提升了高光谱图像的分类精度。刘冰等^[6]结合3D-CNN和残差连接,成功训练了一个12层的3D-CNN(Res-3D-CNN),进一步提升了高光谱图像的分类精度。Zhong等^[19]通过改进残差连接作用的位置构建了光谱空间残差网络(SSRN),通过分离空间特征学习和光谱特征学习进一步改善了提取特征的判别力。魏祥坡等^[21]借鉴稠密连接网络(DenseNet)^[20]中的密集单元,通过特征图逐像素相加和连接实现了多层特征重用,并加强了网络中的信息传递。颜铭靖等^[22]提出了一种空洞卷积残差网络,通过在深层残差网络中引入空洞卷积增大卷积核的感受野,在不增加网络参数量的情况下增强了网络提取空谱特征的能力。Roy等^[23]提出了一种三维二维混合卷积网络(HybridSN),在连续的三维卷积层后使用二维卷积层进一步处理提取的空谱特征,并通过实验验证了混合卷积网络在高光谱图像分类中的应用潜力。Feng等^[24]在HybirdSN的基础上引入非恒等残差连接和深度可分离卷积,构建了R-HybridSN(Residual HybridSN),减少了网络参数,增加了学习特征的路径,增强了光谱信息在网络中的流动性,进一步提升了小样本高光谱图像的分类精度。但R-HybridSN特征融合方式单一,且对浅层特征的利用不足,存在较大的改进空间。

为了进一步提升小样本高光谱图像的分类精度,本文提出了一种多特征融合HybridSN(M-HybridSN),通过特征图连接和逐像素相加两种方式进行多特征融合,使网络能更高效地学习高光谱数据中的复杂特征。通过与HybirdSN、R-HybirdSN等模型在Indian Pines(IP)、Salinas(SA)、University of Pavia(PU)三个公开数据集上的对比实验验证了本模型的有效性。

2 实验方法

2.1 三维二维混合卷积网络

本模型属于混合卷积网络,基本单元包括三维卷积层和二维深度可分离卷积层。三维卷积层在高光谱数据的空间维和光谱维同时进行运算,单个三维卷积核对三维高光谱数据块的运算结果是三维张量,多个三维卷积核提取的特征图可看作四维张量,因此三维卷积层能更好地探索高光谱数据的空谱联合特征。深度可分离卷积本质上是二维卷积,将卷积过程分为空间卷积和通道卷积两步^[25]。相比传统的二维卷积,深度可分离卷积一方面可以降低网络的参数量,另一方面更适合高光谱图像特殊的数据结构^[24]。

在HybridSN中,首先用三维卷积进行空谱联合特征学习,然后用二维深度可分离卷积进行空间信息增强。为了使数据维度满足二维卷积层的要求,将最后一层三维卷积层输出的特征图在光谱维和通道维连接,即将维度为W×H×B×C的四维张量重组(reshape)成维度为W×H×(BC)的三维张量,其中,W和H为特征图的宽和长,B为波段数,C为通道数。特征图送入全连接层前,要展平(flatten)成一维向量。本模型在混合网络的基础上,引入残差连接进行多特征融合,在加强网络中信息传递的同时强化网络学习多尺度特征和多抽象层次特征的能力。

2.2 基于残差连接的两种特征融合方式

基于残差连接实现的特征融合是构建深层CNN的核心。目前,CNN中的特征融合方式主要有特征图逐像素相加和特征图连接两种。其中,逐像素相加常用于融合某两层输出的特征图,可加强网络中的信息传递;特征图连接往往用于连接多层输出的特征图,可实现特征重用。设某CNN第k层的输出为X_k,若第k层使用逐像素相加的方式融合本层输入和输出的特征图,则

X_{k} = H_{k} (X_{k - 1}) + G_{k} (X_{k - 1}), (1)

式中,H_k(·)为第k层对输入的非线性变换函数,G_k(·)为残差连接中包含对输入处理的函数。若为恒等残差连接,则G_k(X_k_-1)=X_k_-1。若第k层的输入为前l层特征图连接的结果,则

X_{k} = H_{k} \{[X_{k - 1}, X_{k - 2}, \dots, X_{k - l}]\}, (2)

式中,[·]为特征图的连接操作,且l≤k。

特征图逐像素相加为特征学习构建了额外的路径,但这种方式改变了特征图中像素的取值,对单个特征图输出的信息利用不够充分。连接的方式完整保留了前若干层特征图的信息,为网络中浅层特征的重用提供了解决方案。但相比逐像素相加,连接的方式增加了特征图的通道数,可能会造成冗余。因此在构建高光谱图像分类模型时,需要精心设计残差连接的位置和特征图融合的方式,保证增强网络学习特征能力的同时不过多地增加网络参数。

2.3 多特征融合

由待分类像素及其邻域像素的光谱向量构成的三维数据块包含丰富的光谱信息和空间信息,为了取得良好的分类效果,网络必须具有提取深层次抽象特征的能力;且对于不同分辨率、不同地物分布特点的高光谱图像,不同尺度、不同抽象级别的特征都对分类有重要影响。为了更有效地融合不同尺度、不同抽象级别的特征,提出了一种多特征融合模块,该模块与R-HybridSN中三维卷积层的布局对比示意图如图1所示。图1(c)为本模型中的多特征融合模块,包含分支A和分支B。其中,分支A包含4个卷积层(Conv),前3个卷积层用来学习空谱联合特征,用连接的方式进行多特征融合,共进行3次连接。第4个卷积层起降低特征图通道数的作用。分支B包含1个卷积核尺寸较大的卷积层。将分支A和分支B的结果进行逐像素相加,最后作为多特征融合模块的输出。

图 1. R-HybridSN和M-HybridSN模块的对比。(a) R-HybridSN第一层的多尺度卷积层;(b) R-HybridSN的非恒等残差连接;(c) M-HybridSN的多特征融合模块

Fig. 1. Comparison of R-HybridSN and M-HybridSN modules. (a) Multi-scale convolutional layer of the first layer of R-HybridSN; (b) non-identical residual connection of the R-HybridSN; (c) multi-feature fusion module of the M-HybridSN

下载图片查看所有图片

连续卷积层学习的特征有两个特点:1)特征的抽象程度越来越高;2)特征图中单个像素在原始图像中映射的区域(感受野)越来越大。因此,在多特征融合模块分支A中,最终连接的特征图既有多尺度特点,又有多抽象级别的特点。相比R-HybridSN仅在网络开始使用的多尺度卷积层,本模型的多特征融合更彻底。在多特征融合模块分支A中,若不存在特征图连接,则最后输出特征图的感受野为7×7×7。由于重用了主路径上的浅层特征,实际的感受野小于7×7×7。因此,在分支B使用卷积核尺寸为7×7×7的卷积层对输入进行处理后,再进行特征融合,可进一步强化网络对空谱特征的学习能力。

2.4 M-HybridSN的结构

M-HybridSN是包含三维卷积和二维卷积的混合网络,其输入为经主成分分析(PCA)降维后的高光谱图像块。取待分类像素及其邻域若干像素的光谱向量组成图像块,记为P_M_×_M_×_D,其中,M为选定的邻域尺寸,D为降维后的波段数。通过权衡空间特征学习的需要和模型复杂度,取M=15,D=16。M-HybridSN包含13个卷积层(11个三维卷积层,2个二维卷积层),卷积层的类型、卷积核尺寸、卷积核个数如图2所示。对于输入的高光谱图像块,本模型用2个多特征融合模块学习深层空谱特征,然后用二维深度可分离卷积强化空间特征。在2个多特征融合模块之间,有一层步长为2的三维卷积层,可对特征图进行降维处理。网络中卷积层的非线性激活函数为修正线性单元(ReLU),经过全连接层进一步对特征进行抽象重组,最后用Softmax层完成分类。

图 2. M-HybridSN的结构

Fig. 2. Structure of the M-HybridSN

下载图片查看所有图片

3 实验结果与分析

3.1 实验数据

为了验证本模型的有效性,用三个公开的高光谱数据集进行分类实验,包括数据集IP、SA和PU。数据集IP中的图像尺寸为145 pixel×145 pixel,空间分辨率为20 m,主要包括农作物、树林和其他多年生植物等16类,标记样本总数为10249个。数据集SA中的图像尺寸为512 pixel×217 pixel,空间分辨率为3.7 m,主要包括植被、裸土和葡萄园等16类,总标记样本数为54129个。数据集PU中的图像尺寸为610 pixel×340 pixel,空间分辨率为1.3 m,标记样本被分为9类,大部分为城镇的地物,如金属板、屋顶、混凝土路面,标记样本总数为42776个。三个数据集的标记样本被随机划分为训练集、验证集和测试集,实验主要关注小样本高光谱图像的分类,因此需尽可能降低训练样本的数量。其中,数据集IP的训练集、验证集和测试集样本数占标记样本总数的比例分别为5%、5%、90%。数据集SA和PU的训练集、验证集和测试集样本数占标记样本总数的比例分别为1%、1%、98%。对于数据集IP,在训练样本占标记样本总数5%的比例下,部分地物仅包含1到2个训练样本,且不同地物之间训练样本的数量极不平衡,因此实验研究的小样本具有一定代表性。三个数据集训练、验证、测试样本的详细分布如表1~表3所示。

表 1. 数据集IP的分布情况

Table 1. Distribution situation of the data set IP

No.	Category	Labeled sample	Training	Validation	Testing
1	alfalfa	46	2	3	41
2	corn-notill	1428	71	72	1285
3	corn-mintill	830	42	41	747
4	corn	237	12	12	213
5	grass-pasture	483	24	24	435
6	grass-trees	730	36	37	657
7	grass-pasture-mowed	28	2	1	25
8	hay-windrowed	478	24	24	430
9	oats	20	1	1	18
10	soybean-notill	972	48	49	875
11	soybean-mintill	2455	123	122	2210
12	soybean-clean	593	30	29	534
13	wheat	205	10	10	185
14	woods	1265	63	63	1139
15	buildings-grass-trees-drives	386	19	20	347
16	stone-steel-towers	93	5	4	84
Total		10249	512	512	9225

查看所有表

表 2. 数据集SA的分布情况

Table 2. Distribution situation of the data set SA

No.	Category	Labeled sample	Training	Validation	Testing
1	brocoli_green_weeds_1	2009	20	20	1969
2	brocoli_green_weeds_2	3726	37	37	3652
3	fallow	1976	20	20	1936
4	fallow_rough_plow	1394	14	14	1366
5	fallow_smooth	2678	27	27	2624
6	stubble	3959	39	40	3880
7	celery	3579	36	36	3507
8	grapes_untrained	11271	113	112	11046
9	soil_vinyard_develop	6203	62	62	6079
10	corn_senesced_green_weeds	3278	33	33	3212
11	lettuce_romaine_4wk	1068	11	10	1047
12	lettuce_romaine_5wk	1927	19	20	1888
13	lettuce_romaine_6wk	916	9	9	898
14	lettuce_romaine_7wk	1070	11	10	1049
15	vinyard_untrained	7268	72	73	7123
16	vinyard_vertical_trellis	1807	18	18	1771
Total		54129	541	541	53047

查看所有表

表 3. 数据集PU的分布情况

Table 3. Distribution situation of the data set PU

No.	Category	Labeled sample	Training	Validation	Testing
1	asphalt	6631	66	66	6499
2	meadows	18649	186	186	18277
3	gravel	2099	21	21	2057
4	trees	3064	30	31	3003
5	painted metal sheets	1345	14	13	1318
6	bare Soil	5029	50	50	4929
7	bitumen	1330	14	13	1303
8	self-blocking bricks	3682	37	37	3608
9	shadows	947	9	10	928
Total		42776	427	427	41922

查看所有表

3.2 对比模型和实验设置

为了验证本模型的有效性,用Res-2D-CNN^[18]、Res-3D-CNN^[6]、HybridSN^[23]、R-HybridSN^[24]作为对比模型。不同模型的参数量、输入数据规模(M×M×D)如表4所示,其中,波段数以数据集IP为例。

表 4. 不同模型的参数量和输入数据规模

Table 4. Parameter number and input data scale of different models

Model	Res-2D-CNN	Res-3D-CNN	HybridSN	R-HybridSN	M-HybridSN
Parameter number	1065360	231184	5122176	719112	659296
Input data scale	5×5×200	9×9×200	25×25×30	15×15×16	15×15×16

查看所有表

为了观察模型结构对分类精度的影响,排除其他因素,统一使用Adam作为模型优化器,学习率固定为0.001。为了保证所有模型均能够充分训练,参考相应文献的设定,将Res-2D-CNN、Res-3D-CNN、HybridSN、R-HybridSN和M-HybridSN的训练轮数分别设置为200、200、200、100、100。训练时监控验证集的分类精度,在指定的训练轮数内保存验证集精度最高的模型。

3.3 实验结果

用总体精度(OA)、平均精度(AA)和Kappa系数定量衡量模型的分类效果,不同模型在三个数据集上的分类结果如表5~表7所示。除了以上三种指标,还给出了每一类地物的分类精度。为了减少偶然因素对分类造成的影响,在每个模型上对每个数据集连续进行20次实验,表中为20次实验得到的平均值,±为数值为标准差。

表 5. 不同模型对数据集IP的分类结果

Table 5. Classification results of the data set IP by different models unit: %

No.	Res-2D-CNN	Res-3D-CNN	HybridSN	R-HybridSN	M-HybridSN
1	9.51	23.78	58.54	58.17	65.61
2	72.39	83.73	93.08	94.98	95.28
3	60.31	76.53	96.57	97.38	97.36
4	37.86	53.47	75.09	92.16	94.51
5	80.14	93.54	94.00	96.68	97.01
6	94.00	96.54	97.19	99.08	98.63
7	34.60	71.20	82.40	94.00	99.80
8	99.13	98.66	98.73	99.81	99.93
No.	Res-2D-CNN	Res-3D-CNN	HybridSN	R-HybridSN	M-HybridSN
9	3.89	67.50	83.89	63.06	76.67
10	78.42	85.75	94.27	95.81	96.58
11	84.12	90.02	97.93	98.31	98.55
12	54.19	63.40	84.49	92.43	91.97
13	85.16	88.43	92.68	98.46	97.41
14	89.44	97.48	97.96	99.25	99.03
15	52.98	79.35	83.18	92.52	96.80
16	80.54	93.63	83.33	98.21	95.54
Kappa	74.0 ± 2.8	84.5 ± 2.4	93.4 ± 1.2	96.3 ± 0.6	96.7 ± 0.4
OA	77.28 ± 2.33	86.42 ± 2.13	94.26 ± 1.08	96.74 ± 0.52	97.09 ± 0.38
AA	63.54 ± 4.66	78.94 ± 3.22	88.33 ± 2.40	91.90 ± 2.58	93.79 ± 1.99

查看所有表

表 6. 不同模型对数据集SA的分类结果

Table 6. Classification results of the data set SA by different models unit: %

No.	Res-2D-CNN	Res-3D-CNN	HybridSN	R-HybridSN	M-HybridSN
1	66.09	97.13	99.98	100.00	99.92
2	99.36	99.92	99.97	99.96	99.99
3	61.79	93.00	99.82	99.62	99.56
4	99.19	99.09	97.39	98.87	99.22
5	94.62	97.75	98.79	98.83	99.21
6	99.95	99.97	99.78	99.90	99.91
7	97.34	98.24	99.77	99.88	99.91
8	82.99	87.66	99.04	98.33	98.96
9	99.19	99.58	100.00	99.99	99.96
10	85.81	91.16	98.98	98.06	98.89
11	83.73	90.83	98.95	98.62	98.83
12	98.32	99.20	99.09	99.88	99.29
13	95.23	97.88	97.28	92.41	96.99
14	96.07	98.25	96.60	93.96	97.17
15	70.49	77.52	98.57	96.61	98.90
16	91.08	86.44	99.69	99.46	99.56
Kappa	86.1 ± 1.6	91.6 ± 0.8	99.1 ± 0.3	98.5 ± 0.3	99.2 ± 0.3
OA	87.54 ± 1.40	92.48 ± 0.69	99.20 ± 0.27	98.66 ± 0.31	99.30 ± 0.24
AA	88.83 ± 2.64	94.60 ± 0.50	98.98 ± 0.28	98.40 ± 0.43	99.14 ± 0.30

查看所有表

图3~图5为1次实验中三个数据集用不同模型得到的分类结果,可以发现,Res-2D-CNN和Res-3D-CNN在训练样本较少时分类效果不够理想,存在较多噪声。而混合卷积的分类图像匀质性较好,分类效果好于单一模型。在三个混合模型中,M-HybridSN模型分类图像中的噪声较少且连续性较好,优于HybridSN模型。在数据集SA上,本模型的分类图像效果优于R-HybridSN模型的分类图像,在数据集IP和PU上,本模型和R-HybridSN模型的分类图像差距较小,需进一步通过定量实验数据进行对比。

表 7. 不同模型对数据集PA的分类结果

Table 7. Classification results of the data set PA by different models unit: %

No.	Res-2D-CNN	Res-3D-CNN	HybridSN	R-HybridSN	M-HybridSN
1	92.18	90.81	92.15	96.21	95.04
2	97.47	96.63	99.53	99.70	99.88
3	15.33	66.54	90.51	90.93	93.77
4	94.94	96.24	92.50	94.62	92.92
5	99.45	99.86	97.75	99.79	99.57
6	88.04	80.75	99.46	99.25	99.50
7	40.70	68.12	96.25	94.36	94.92
8	86.93	80.01	91.75	94.09	95.68
9	97.40	97.38	75.04	94.23	92.85
Kappa	85.0 ± 1.2	86.9 ± 1.9	94.8 ± 1.3	96.7 ± 0.6	96.8 ± 0.4
OA	88.72 ± 0.85	90.16 ± 1.40	96.07 ± 0.96	97.55 ± 0.48	97.60 ± 0.33
AA	79.16 ± 3.10	86.26 ± 2.10	92.77 ± 2.33	95.91 ± 0.96	96.01 ± 0.60

查看所有表

图 3. 数据集IP的分类结果

Fig. 3. Classification results of the data set IP

下载图片查看所有图片

图 4. 数据集SA的分类结果

Fig. 4. Classification results of the data set SA

下载图片查看所有图片

图 5. 数据集PU的分类结果

Fig. 5. Classification results of the data set PU

下载图片查看所有图片

表5~表7的定量实验结果和分类图像表现出的结果基本一致。Res-2D-CNN的分类精度较低,在三个数据集上均存在较大差距,原因是二维卷积对深度空谱特征能力的探索不足。Res-3D-CNN的分类精度优于Res-2D-CNN,在数据集IP、SA、PU中,Res-3D-CNN的OA分别比Res-2D-CNN高出9.14、4.94、1.44个百分点,这表明三维卷积在探索深层空谱联合特征上具有一定的优势。相比单一的2D-CNN和3D-CNN,混合模型在三个数据集上的分类效果有较大提升,HybridSN在数据集IP、SA、PU上的OA分别比Res-3D-CNN高7.84、6.72、5.91个百分点,验证了混合模型在探索高光谱图像特征方面的潜力。引入残差连接和深度可分离卷积改进的混合模型在数据集IP、PU上的OA比HybridSN分别高2.48和1.48个百分点。在数据集SA上,R-HybridSN的分类精度略低于HybridSN,OA约低0.54个百分点。总体来看,R-HybridSN的分类性能优于HybridSN,这表明非恒等残差连接和深度可分离卷积对网络结构具有优化作用,但仍存在一定问题。

综上所述,M-HybridSN的综合表现最好,在数据集IP、SA、PU上的OA分别比R-HybridSN高0.35、0.64、0.05个百分点。从表4的参数量和输入数据规模来看,本模型的参数规模较小,且分类单个像素需要的数据量较少。考虑到模型本身的情况,M-HybridSN作为改进的混合卷积模型,在结构上具有一定先进性,对模型本身参数的利用率较高,能更好地挖掘高光谱数据丰富的空谱特征,利用较少的训练样本得到更好的分类结果。

3.4 非恒等残差连接分析

相比HybridSN、R-HybridSN模型,M-HybridSN模型的特点是用多特征融合模块连接了不同层的特征图,同时用大尺寸的非恒等残差连接进行进一步特征融合。为了探索多特征融合模块中非恒等残差连接对分类精度的影响,去掉多特征融合模块中的两个非恒等残差连接,并将非恒等残差连接卷积核尺寸依次设置为1×1×1、3×3×3、5×5×5和9×9×9,20次实验的平均值如图6所示。可以看出,相比M-HybridSN模型,去除非恒等残差连接的模型在三个数据集上的分类精度均有所降低,这表明该残差连接可提高分类精度。随着卷积核尺寸的增大,模型分类精度总体呈先升高后降低的趋势,且数据集IP的变化最明显,数据集SA次之,而数据集PU对卷积核尺寸不敏感。结合三个数据集的空间分辨率可知,多特征融合模块在非恒等残差连接分支使用大尺寸卷积核,对低空间分辨率高光谱图像分类有一定提升作用。但过大的卷积核会引入额外的参数,导致样本有限时出现过拟合。此外,文献[ 26]指出带有残差连接的网络等价于若干较浅子网络的集成,由非恒等残差连接构成的子网络对低分辨率高光谱图像的分类具有较大意义,下一步工作还需研究如何提升M-HybridSN模型对不同高光谱数据集的普适性。

图 6. 非恒等残差连接不同条件下的对比实验结果

Fig. 6. Comparative experiment results under different conditions of the non-identical residual connection

下载图片查看所有图片

4 结论

针对高光谱图像小样本的特点,提出一种M-HybridSN模型。首先,用三维卷积层提取深层空谱联合特征;然后,用深度可分离卷积加强空间特征,经全连接层对特征进一步进行抽象重组;最后,由输出层完成分类。为了加强模型对浅层特征的重用,M-HybridSN模型在主路径用三维卷积连接不同层的特征图,同时引入大尺寸卷积核的非恒等残差连接构建次要路径,加强网络中的信息传递。用数据集IP、SA、PU中极少的标记样本训练模型进行分类实验,结果表明,相比其他模型,M-HybridSN模型在网络结构上具有一定先进性,在小样本高光谱图像的分类中表现较好。为了降低模型的计算复杂度和用较大邻域尺寸提取空间特征,用PCA对高光谱数据进行降维处理,但该过程会造成光谱信息的损失。因此,还需进一步研究如何在空间信息、光谱信息和计算复杂度三者之间达到平衡,同时在结构确定的情况下提高网络对不同数据集的适应能力。

参考文献

[1] 李盛阳, 刘志文, 刘康, 等. 航天高光谱遥感应用研究进展(特邀)[J]. 红外与激光工程, 2019, 48(3): 0303001.

Li S Y, Liu Z W, Liu K, et al. Advances in application of space hyperspectral remote sensing(invited)[J]. Infrared and Laser Engineering, 2019, 48(3): 0303001.

[2] Zhang J, Wei F Y, Feng F, et al. Spatial-spectral feature refinement for hyperspectral image classification based on attention-dense 3D-2D-CNN[J]. Sensors, 2020, 20(18): 5191.

[3] Pan B, Shi Z W, Xu X. MugNet: deep learning for hyperspectral image classification using limited samples[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 108-119.

[4] Zhou Y C, Wei Y T. Learning hierarchical spectral-spatial features for hyperspectral image classification[J]. IEEE Transactions on Cybernetics, 2016, 46(7): 1667-1678.

[5] 毕晓君, 周泽宇. 基于双通道GAN的高光谱图像分类算法[J]. 光学学报, 2019, 39(10): 1028002.

Bi X J, Zhou Z Y. Hyperspectral image classification algorithm based on two-channel generative adversarial network[J]. Acta Optica Sinica, 2019, 39(10): 1028002.

[6] 刘冰, 余旭初, 张鹏强, 等. 联合空-谱信息的高光谱影像深度三维卷积网络分类[J]. 测绘学报, 2019, 48(1): 53-63.

Liu B, Yu X C, Zhang P Q, et al. Deep 3D convolutional network combined with spatial-spectral features for hyperspectral image classification[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(1): 53-63.

[7] Bengio Y, Courville A, Vincent P. Representation learning: a review and new perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[8] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, 2018, 44(6): 961-977.

Zhang H K, Li Y, Jiang Y N. Deep learning for hyperspectral imagery classification: the state of the art and prospects[J]. Acta Automatica Sinica, 2018, 44(6): 961-977.

[9] 刘玉珍, 蒋政权, 马飞, 等. 基于超图和卷积神经网络的高光谱图像分类[J]. 激光与光电子学进展, 2019, 56(11): 111007.

Liu Y Z, Jiang Z Q, Ma F, et al. Hyperspectral image classification based on hypergraph and convolutional neural network[J]. Laser & Optoelectronics Progress, 2019, 56(11): 111007.

[10] Li S T, Song W W, Fang L Y, et al. Deep learning for hyperspectral image classification: an overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[11] MakantasisK, KarantzalosK, DoulamisA, et al.Deep supervised learning for hyperspectral data classification through convolutional neural networks[C] //2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), July 26-31, 2015, Milan, Italy.New York: IEEE Press, 2015: 4959- 4962.

[12] Yue J, Zhao W Z, Mao S J, et al. Spectral-spatial classification of hyperspectral images using deep convolutional neural networks[J]. Remote Sensing Letters, 2015, 6(6): 468-477.

[13] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.

[14] Li Y, Zhang H K, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[15] 杜培军, 夏俊士, 薛朝辉, 等. 高光谱遥感影像分类研究进展[J]. 遥感学报, 2016, 20(2): 236-256.

Du P J, Xia J S, Xue Z H, et al. Review of hyperspectral remote sensing image classification[J]. Journal of Remote Sensing, 2016, 20(2): 236-256.

[16] EldanR, ShamirO. The power of depth for feedforward neural networks[EB/OL]. [2020-07-25]. http://arxiv.org/abs/1512.03965.

[17] He KM, Zhang XY, Ren SQ, et al.Deep residual learning for image recognition[C] //2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA.New York: IEEE Press, 2016: 770- 778.

[18] Lee H, Kwon H. Going deeper with contextual CNN for hyperspectral image classification[J]. IEEE Transactions on Image Processing, 2017, 26(10): 4843-4855.

[19] Zhong Z L, Li J, Luo Z M, et al. Spectral-spatial residual network for hyperspectral image classification: a 3-D deep learning framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 847-858.

[20] HuangG, LiuZ, van der MaatenL, et al. Densely connected convolutional networks[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA.New York: IEEE Press, 2017: 2261- 2269.

[21] 魏祥坡, 余旭初, 谭熊, 等. 利用残差密集网络的高光谱图像分类[J]. 激光与光电子学进展, 2019, 56(15): 151006.

Wei X P, Yu X C, Tan X, et al. Hyperspectral image classification based on residual dense network[J]. Laser & Optoelectronics Progress, 2019, 56(15): 151006.

[22] 颜铭靖, 苏喜友. 基于三维空洞卷积残差神经网络的高光谱影像分类方法[J]. 光学学报, 2020, 40(16): 1628002.

Yan M J, Su X Y. Hyperspectral image classification based on three-dimensional dilated convolutional residual neural network[J]. Acta Optica Sinica, 2020, 40(16): 1628002.

[23] Roy S K, Krishna G, Dubey S R, et al. HybridSN:exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281.

[24] Feng F, Wang S T, Wang C Y, et al. Learning deep hierarchical spatial-spectral features for hyperspectral image classification based on residual 3D-2D CNN[J]. Sensors (Basel, Switzerland), 2019, 19(23): E5276.

[25] CholletF. Xception:deep learning with depthwise separable convolutions[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 1800- 1807.

[26] VeitA, WilberM, BelongieS. Residual networks behave like ensembles of relatively shallow networks[EB/OL]. [2020-07-23]. https://arxiv.org/abs/1605.06431.

冯凡, 王双亭, 张津, 王春阳. 基于多特征融合和混合卷积网络的高光谱图像分类[J]. 激光与光电子学进展, 2021, 58(8): 0810010. Fan Feng, Shuangting Wang, Jin Zhang, Chunyang Wang. Hyperspectral Images Classification Based on Multi-Feature Fusion and Hybrid Convolutional Neural Networks[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0810010.

基于多特征融合和混合卷积网络的高光谱图像分类 下载： 977次

1 引言

2 实验方法

2.1 三维二维混合卷积网络

2.2 基于残差连接的两种特征融合方式

2.3 多特征融合

图 1. R-HybridSN和M-HybridSN模块的对比。(a) R-HybridSN第一层的多尺度卷积层;(b) R-HybridSN的非恒等残差连接;(c) M-HybridSN的多特征融合模块

Fig. 1. Comparison of R-HybridSN and M-HybridSN modules. (a) Multi-scale convolutional layer of the first layer of R-HybridSN; (b) non-identical residual connection of the R-HybridSN; (c) multi-feature fusion module of the M-HybridSN

2.4 M-HybridSN的结构

图 2. M-HybridSN的结构

Fig. 2. Structure of the M-HybridSN

3 实验结果与分析

3.1 实验数据

表 1. 数据集IP的分布情况

Table 1. Distribution situation of the data set IP

表 2. 数据集SA的分布情况

Table 2. Distribution situation of the data set SA

表 3. 数据集PU的分布情况

Table 3. Distribution situation of the data set PU

3.2 对比模型和实验设置

表 4. 不同模型的参数量和输入数据规模

Table 4. Parameter number and input data scale of different models

3.3 实验结果

表 5. 不同模型对数据集IP的分类结果

Table 5. Classification results of the data set IP by different models unit: %

表 6. 不同模型对数据集SA的分类结果

Table 6. Classification results of the data set SA by different models unit: %

表 7. 不同模型对数据集PA的分类结果

Table 7. Classification results of the data set PA by different models unit: %

图 3. 数据集IP的分类结果

Fig. 3. Classification results of the data set IP

图 4. 数据集SA的分类结果

Fig. 4. Classification results of the data set SA

图 5. 数据集PU的分类结果

Fig. 5. Classification results of the data set PU

3.4 非恒等残差连接分析

图 6. 非恒等残差连接不同条件下的对比实验结果

Fig. 6. Comparative experiment results under different conditions of the non-identical residual connection

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于多特征融合和混合卷积网络的高光谱图像分类下载： 977次