激光与光电子学进展, 2020, 57 (8): 081010, 网络出版: 2020-04-03   

基于多特征和改进自编码的高光谱图像分类 下载: 1091次

Hyperspectral Image Classification Based on Multiple Features and an Improved Autoencoder
作者单位
1 长安大学理学院, 陕西 西安 710064
2 陕西师范大学计算机科学学院, 陕西 西安 710000
摘要
针对高光谱图像特征利用不足和训练样本难以获取的问题,提出了一种具有多特征和改进堆栈稀疏自编码网络的高光谱图像分类算法。采用流形学习获得高光谱图像的低维数据结构,并提取高光谱图像的光谱特征、具有空间信息的局部二值模式(LBP)特征及拓展多属性剖面 (EMAP)特征。利用主动学习查询特征性强的未标记样本并将其标记,利用融合空谱联合信息的样本训练堆栈主动稀疏自编码神经网络并用Softmax分类器对其分类。Indian pines数据集的总体分类精度达到98.14%,Pavia U数据集总体分类精度达到97.24%。实验结果表明,该算法分类精度高,边界点分类效果更好。
Abstract
In this study, we propose a hyperspectral image classification algorithm based on multiple features and the improved stacked sparse autoencoder network to solve the problems of insufficient feature utilization and less training samples. The low-dimensional data structures of the hyperspectral images can be obtained using manifold learning, and the local binary pattern (LBP) features with spatial information and extended multi-attribute profiles (EMAP) features can be extracted from the hyperspectral images. Further, Active learning is used to query and label highly characteristic unlabeled samples. Then, the samples fusing space spectrum joint information are used to train the stacked active sparse autoencoder neural network; these samples are subsequently classified using the Softmax classifier. The overall classification accuracy of the Indian pines dataset was 98.14%, whereas the overall classification accuracy of the Pavia U dataset was 97.24%. The experimental results prove that the proposed algorithm has a high classification accuracy and can appropriately classify the boundary points.

1 引言

高光谱图像(HSI)分类是遥感图像信息提取的主要研究问题,HSI具有空谱合一的特性,包含数百个具有高分辨率的连续光谱通道,在农业、医学和环境等方面应用广泛[1]

深度学习在特征提取方面展现出巨大优势[2],Lin等[3]采用自编码(AE)算法对HSI进行分类,但仅考虑了光谱波段间的相关性。基于复合内核的支持向量机(CK-SVM)[4]算法结合了空间和光谱特征,优于仅考虑光谱信息的支持向量机(SVM)[5]算法。Xing等[6-7]使用栈式自编码算法和深度置信网络进行特征提取实现HSI分类,获得了良好的分类效果,但需要大量的训练样本。Cao等[8]将卷积神经网络用于HSI分类,提取空谱特征。Song等[9]将多特征与稀疏表示相结合,优于只有单一特征的分类效果。Chen等[10]采用多特征的像元训练卷积神经网络,获得了较高的分类精确度,但计算复杂度较高。Dey等[11]对HSI进行张量研究。Ahmadi等[12]利用低阶表示和成对约束提取HSI特征。上述分类方法都取得了良好的分类效果,但还存在一些问题,例如没有充分利用空间特征、纹理特征等,深度学习中的堆栈稀疏自编码(SAE)网络需要大量的训练样本,训练时间较长。

针对HSI中空间特征利用不足以及获取训练样本的成本问题,提出一种基于多特征和改进自编码网络的高光谱分类算法。通过流形学习获得HSI的低维数据结构,提取HSI的光谱特征、局部二值模式(LBP)特征及拓展多属性剖面 (EMAP)特征;在堆栈稀疏网络的基础上,加入主动学习获得特征性更强的训练样本并得到堆栈主动稀疏自编码网络;最后利用多特征的像元训练堆栈主动稀疏自编码网络并用Softmax分类器进行分类获得样本标签。

2 堆栈稀疏自编码网络和Softmax分类器模型

2.1 堆栈稀疏自编码网络

稀疏自编码网络[13]在自编码网络的基础上对隐含层神经元增加稀疏性约束,防止出现过拟合。堆栈稀疏自编码网络在稀疏自编码网络的基础上增加多个隐含层,实现更优越的特征提取性能。自编码网络结构如图1所示。在编码层,输入向量x通过参数Wr,br获得隐含层y;在解码层,利用参数Wt,bt获得输出层得到重建向量z,这两个步骤的表达式为

y=f(Wrx+br),(1)z=f(Wty+bt)(2)

图 1. 自编码网络结构

Fig. 1. Autoencoder network structure

下载图片 查看所有图片

设参数集α= Wr,brWrRn×m,brRn,β= Wt,btWtRn×m,btRm,堆栈稀疏自编码器的目标函数为

argminα,βJSAE(α,β)=i=1mxi-zi/2S+λ(Wr2+Wt2)/2+μj=1vKLρρ^,(3)

式中:^为隐藏神经元的平均活跃度;KL为KL散度;λ为权重衰减参数;μ为散度参数;x(i)为第i组样本稀疏自编码网络输入层的输出值;z(i)为第i组样本稀疏自编码输出层的输出值;S为样本个数;ρ为稀疏性参数。

2.2 Softmax分类器

Softmax分类器[14]用于多分类问题。像元zi属于类别k的概率的表达式为

P(vi=k|zi,θ)=exp(θTkzi)k=1Kexp(θTkzi),(4)

式中:vi表示类别k;K为类别个数;θ为Softmax分类器的参数。

基于堆栈稀疏自编码和Softmax分类器的空谱联合分类算法(SSAE)步骤如下。

1) 采用主成分分析(PCA)算法[15]对原始HSI降维,将每个像元与其邻域像元连接起来,获得具有空间信息的新数据集。

2) 将具有空间信息的新数据集与原始HSI数据的像元对应连接,获得具有空谱联合信息的像元。

3) 采用具有空谱联合信息的像元训练SAE网络,获得隐含特征。

4) 利用隐含特征训练Softmax分类器,获得类别标签。

基于堆栈稀疏自编码和Softmax分类器的SSAE模型如图2所示。

3 基于多特征和改进自编码网络的HSI算法

3.1 LargeVis降维

gi,gj是HSI中低维空间的两个点,它们在KNN(K-Nearest Neighbor)图中具有一条二元边eij

图 2. SSAE算法模型图

Fig. 2. SSAE algorithm model diagram

下载图片 查看所有图片

在无权值网络中,eij=1的概率为

P(eij=1)=f(gi-gj2),(5)

式中:f(u)=1/(1+u2)。

在有权值网络中,eij=wij的概率为

P(eij=wij)=P(eij=1)wij(6)

假定正样本集合为E,负样本集合为 E-,通过最大化集合E在KNN图中有连接边的概率,最小化集合 E-在KNN图中有连接边的概率,从而获得优化目标。γ为负采样边的权值,则目标函数为

O=(i,j)EwijP(eij=1)(i,j)E-γ1-P(eij=1)(7)

边采样算法将所有带权值的边全部转化为二元边,然后在二元边中随机采样,利用随机负采样和边采样算法对模型进行优化,最后使用异步随机梯度下降算法获得低维空间样本分布。图3为Indian pines和Pavia U数据集上采用PCA和LargeVis得到的低维样本分布对比。

图 3. PCA与LargeVis算法对比图。(a) PCA-Indian pines;(b) PCA-Pavia U;(c) LargeVis-Indian pines;(d) LargeVis-Pavia U

Fig. 3. Comparison of PCA and LargeVis algorithm. (a) PCA-Indian pines; (b) PCA-Pavia U; (c) LargeVis-Indian pines; (d) LargeVis-Pavia U

下载图片 查看所有图片

3.2 圆环LBP特征

圆环LBP(CLBP)特征反映半径为R的圆形区域内的纹理信息[16],设中心点坐标为(xc,yc),近邻点为(xl,yl),lL,半径为R的圆形区域中具有L个样本的LBP算子,表达式为

xl=xc+Rcos(2πl/l),(8)yl=yc-Rsin(2πl/l)(9)

若计算得到的点不在图像上,则使用双线性插值进行处理,表达式为

f(x,y)=1-xxf(0,0)f(0,1)f(1,0)f(1,1)1-y y(10)

3.3 EMAP特征

EMAP特征反映多结构的属性特征,可从不同方向重建图像信息,对HSI进行属性滤波得到拓展属性剖面(EAP)结构,如图4所示,其中AP表示属性滤波,PC表示增厚变换。

图 4. EAP结构示意图

Fig. 4. EAP structure diagram

下载图片 查看所有图片

EMAP在EAP的基础上通过不同的属性滤波架构多层次的特征向量,再将所有特征向量串联成单一向量。设面积准则为a,惯性准则为e,像素标准差准则为q,形状准则为u,则

EMAP={E'APa,E'APe,E'APq,E'APu},(11)E'AP={PC1,PC2,,PCn},(12)

式中:EMAP代表EMAP;E'AP代表EAP;PC代表PC。

3.4 改进的稀疏自编码网络

在高光谱图像中难以获取大量的标记样本,只有少量的标记样本训练SSAE网络,容易出现过拟合现象,导致分类结果不准确[17]。改进的稀疏自编码(AL-SSAE)网络在SSAE网络的自编码层和Softmax层加入主动学习算法,获得信息更丰富、特征性更强的样本来训练网络,从而提高分类精确度和效率。

利用批量主动学习采样算法获得标记样本,算法流程如图5所示。先使用少量标记样本训练SSAE网络以获得数据特征,得到训练样本标签,再对候选集用Softmax分类器进行分类获得不确定的样本标签,最后利用主动学习迭代选择最不确定的未标记样本,将其添加到具有真实标签的训练集中,同时将其从候选集中移除。为了提高SSAE的性能,主动学习选择了在每次迭代时使用Softmax层细化调整SSAE网络中一些信息最丰富的样本,而不是重新训练Softmax层的参数。通过上述方式,可以使用有限的训练样本更有效地获得训练有素的SSAE网络。

采用多类不确定(MCLU)算法作为查询标准,MCLU算法的最小化是通过最小化误差函数获得未标记样本的子集并将其标记。则最小化误差函数为

cd(x)=P(xωmax1)-P(xωmax2),(13)

式中:ωmax1= argmaxωnΩP(xωn),ωmax2= argmaxωmΩ/{ωmax1}[P(xωm)],其中Ω为类别总数,ωn为类别个数,ωm为剩余类别个数。

图 5. 批量主动学习采样流程图

Fig. 5. Batch-mode active learning sampling strategy flow chart

下载图片 查看所有图片

图 6. MF-AL-SSAE算法模型图

Fig. 6. MF-AL-SSAE algorithm model diagram

下载图片 查看所有图片

基于多特征和改进自编码网络的HSI(MF-AL-SSAE)算法模型如图6所示。

4 实验结果与分析

为了分析MF-AL-SSAE算法的有效性,选择常用于HSI分类的Indian pines数据集和Pavia U数据集进行实验。仅采用光谱信息的SSAE算法和SVM算法,利用空谱联合信息的CK-SVM算法,光谱信息分别结合CLBP特征、EMAP特征再组合SSAE网络的算法,以及融合光谱特征、CLBP特征、EMAP特征再组合AL-SSAE网络(MF-AL-SSAE)的本文算法这6种算法对分类结果进行对比和分析。分类结果通过两个分类评估指标进行分析:总分类精度(OA)和Kappa系数。

4.1 Indian pines数据集实验

Indian pines数据集图像是美国印第安州西北部实验区通过AVRSI接收的遥感图像,原始图像的数据大小为145×145×220,包含220个光谱波段,去除20个被水吸收的波段,采用剩余200个波段进行实验。R=3,6种算法在Indian pines数据集上分类精度如表1所示,分类效果如图7所示。

表 1. Indian pines数据集的实验数据和分类精度

Table 1. Experimental data and classification accuracies of the Indian pines dataset

ClassSampleClassification accuracy /%
TrainingTestSSAESVMCK-SVMCLBP-SSAEEMAP-SSAEMF-AL-SSAE
Alfalfa54153.4257.3293.9192.1294.2696.88
Corn-notill143128576.5378.9895.4996.3194.6898.38
Corn-mintill8374746.1767.6795.8797.4896.5098.66
Corn2321452.3351.6294.3896.6596.2296.92
Grass-pasture5043383.6585.2194.2794.2595.9896.65
Grass-trees7565592.1993.8397.6597.2196.7198.12
Grass-pasture-mowed32581.8580.2198.8096.7396.0597.64
Hay-windrowed4942993.5894.6898.9597.2496.5897.93
Oats21842.7837.7867.8073.3176.6394.25
Soybean-notill9787567.4969.7193.3492.8794.4396.28
Soybean-mintill247220868.1274.5696.8996.2696.5298.83
Soybean-clean6153237.9164.7195.3396.6494.4997.11
Wheat2118492.7694.3299.8992.8793.3298.87
Woods129113693.4591.6895.0898.3597.68100.00
Bidg-grass-trees-drives3834831.0354.3993.6595.7994.9497.83
Stone-steel-towers108390.8086.3697.6395.5194.7597.91
OA /%76.6577.5394.8695.4296.6398.14
Kappa0.740.750.940.950.960.97

查看所有表

图 7. Indian pines数据集的6种算法分类效果图。(a)原始图像;(b)实际地物;(c) SSAE算法;(d) SVM算法;(e) CK-SVM算法;(f) CLBP-SSAE算法;(g) EMAP-SSAE算法;(h) MF-AL-SSAE算法

Fig. 7. Classification renderings of six algorithms on the Indian pines dataset. (a) Original image; (b) real ground; (c) SSAE algorithm; (d) SVM algorithm; (e) CK-SVM algorithm; (f) CLBP-SSAE algorithm; (g) EMAP-SSAE algorithm; (h) MF-AL-SSAE algorithm

下载图片 查看所有图片

4.2 Pavia U数据集实验

Pavia U数据集是意大利帕维亚大学通过ROSIS传感器接收的遥感图像,包含9类常见地物,图像的数据大小为610×340×103,包含115个光谱波段,42776个样本,去除背景噪声波段剩余103个波段,其中每类选取200个训练样本进行实验。6种算法在Pavia U数据集上分类精度如表2所示,分类效果如图8所示。

表 2. Pavia U数据集的实验数据和分类精度

Table 2. Experimental data and classification accuracies of the Pavia U dataset

ClassSampleClassification accuracy /%
TrainingTestSSAESVMCK-SVMCLBP-SSAEEMAP-SSAEMF-AL-SSAE
Asphalt200643156.8657.3296.9190.5492.5694.88
Meadows2001838977.6878.9896.4992.3695.6896.58
Grave200189965.1767.6795.8795.4896.5097.66
Trees200286460.8351.6297.3496.6596.2296.84
Painted metal sheets200114550.8490.2198.2794.2592.9896.14
Baresoil200482992.1994.8396.6594.2195.1197.56
Bitumen200113073.8569.2196.8096.7397.0597.64
Self-blocking bricks200384294.5896.6895.2594.5594.5893.95
Shadows20074742.7857.7898.3797.3197.6398.45
OA /%76.8778.0397.8695.7895.9897.24
Kappa0.750.760.970.940.950.96

查看所有表

图 8. Pavia U数据集的6种算法分类效果图。(a)原始图像;(b)实际地物;(c) SSAE算法;(d) SVM算法;(e) CK-SVM算法;(f) CLBP-SSAE算法;(g) EMAP-SSAE算法;(h) MF-AL-SSAE算法

Fig. 8. Classification renderings of six algorithms on the Pavia U dataset. (a) Original image; (b) real ground; (c) SSAE algorithm; (d) SVM algorithm; (e) CK-SVM algorithm; (f) CLBP-SSAE algorithm; (g) EMAP-SSAE algorithm; (h) MF-AL-SSAE algorithm

下载图片 查看所有图片

4.3 实验结果分析

4.1节和4.2节的实验结果表明,仅利用光谱特征的分类算法,准确率较低,分错的离散点较多,如SSAE算法和SVM算法。加入空间特征的CK-SVM算法比SVM算法的分类精确度提升了10个百分点以上。加入空间特征及纹理特征的CLBP-SSAE比SSAE算法提升了12个百分点以上,在局部特征上表现良好。加入空间特征及结构特征的EMAP-SSAE算法比SSAE算法提升了13个百分点以上,EMAP-SSAE算法和CLBP-SSAE算法的分类准确率相当,EMAP特征突出结构特征,CLBP特征在局部分类效果较好。本文算法融合了光谱特征、空间特征的结构特征及纹理特征,并加入主动学习的MF-AL-SSAE算法,分类精度比使用单一特征且未加入主动学习的原始SSAE网络算法提高了14个百分点以上,比CLBP-SSAE算法和EMAP-SSAE算法提升了2个百分点。在Indian pines数据集上MF-AL-SSAE算法的分类精确度比CK-SVM算法提高了3个百分点以上,在Pavia U数据集上MF-AL-SSAE算法稍逊于CK-SVM算法。本文算法融合了多特征,使得在小目标边界点范围内改善了分类效果,而像元较多并且类别总数较少的HSI中,MF-AL-SSAE算法像元噪声较多,导致分错的离散点较多。

考虑到训练样本个数对分类精度的影响,分别在Indian pines和Pavia U数据集上进行分析,如图9所示。由图9可以看到,训练样本个数与分类精度呈正比例关系,具有空谱多特征的算法优于只考虑光谱信息的算法,加入改进稀疏自编码网络的分类算法也优于原始的堆栈稀疏自编码分类算法。

图 9. 不同数据集的OA随训练样本个数的变化。(a) Indian pines;(b) Pavia U

Fig. 9. Variation in OA of different datasets with the number of training samples. (a) Indian pines; (b) Pavia U

下载图片 查看所有图片

5 结论

针对高光谱图像维数高、标签样本有限及特征利用不足的问题,提出了基于多特征和改进自编码的高光谱图像分类算法。该算法融合了高光谱图像的光谱特征、CLBP特征及EMAP特征,改善了局部邻域像元的分类问题,利用主动学习获得特征性强的样本,减少了人工标注样本的代价及训练时间。具有多特征信息的像元训练主动堆栈稀疏自编码网络并用Softmax分类器对像元进行分类,充分考虑训练样本难以获得的问题,较为全面地提取了HSI的空谱联合特征。实验数据表明,该算法提高了分类精确度,小目标边界点处分类效果更好。

参考文献

[1] 刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.

    Liu D W, Han L, Han X Y. High spatial resolution remote sensing image classification based on deep learning[J]. Acta Optica Sinica, 2016, 36(4): 0428001.

[2] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[3] LinZ, ChenY, ZhaoX, et al. ( 2015-11-09)[2019-07-14]. top/abs/1511. 02916. https://arxiv.xilesou.

[4] Camps-Valls G, Bruzzone L. Kernel-based methods for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(6): 1351-1362.

[5] Gao L R, Li J, Khodadadzadeh M, et al. Subspace-based support vector machines for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 349-353.

[6] Xing C, Ma L, Yang X Q. Stacked denoise autoencoder based feature extraction and classification for hyperspectral images[J]. Journal of Sensors, 2016, 2016: 3632943.

[7] Chen Y S, Zhao X, Jia X P. Spectral-spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.

[8] CaoJ, ChenZ, WangB. Deep convolutional networks with superpixel segmentation for hyperspectral image classification[C]//2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), July 10-15, 2016, Beijing, China. New York: IEEE, 2016: 3310- 3313.

[9] Song B Q, Li J, Dalla Mura M, et al. Remotely sensed image classification using sparse representations of morphological attribute profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 5122-5136.

[10] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.

[11] Dey N, Hong S, Ach T, et al. Tensor decomposition of hyperspectral images to study autofluorescence in age-related macular degeneration[J]. Medical Image Analysis, 2019, 56: 96-109.

[12] Ahmadi S A, Mehrshad N, Razavi S M. Noise reduction and feature extraction based on low-rank representation and pairwise constraint preserving for hyperspectral images[J]. International Journal of Remote Sensing, 2019, 40(22): 8236-8269.

[13] Rahmani V, Rostami V. Adaptive color mapping for NAO robot using neural network[J]. Advances in Computer Science: an International Journal, 2014, 3(5): 66-71.

[14] Zhong Y F, Zhang L P. An adaptive artificial immune network for supervised classification of multi-/hyperspectral remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 894-909.

[15] 叶珍, 白璘. 基于主成分分析与局部二值模式的高光谱图像分类[J]. 激光与光电子学进展, 2017, 54(11): 111006.

    Ye Z, Bai L. Hyperspectral image classification based on principal component analysis and local binary patterns[J]. Laser & Optoelectronics Progress, 2017, 54(11): 111006.

[16] 于纯妍, 赵猛, 宋梅萍, 等. 基于目标约束与谱空迭代的高光谱图像分类方法[J]. 光学学报, 2018, 38(6): 0628003.

    Yu C Y, Zhao M, Song M P, et al. Hyperspectral image classification method based on targets constraint and spectral-spatial iteration[J]. Acta Optica Sinica, 2018, 38(6): 0628003.

[17] 黄鸿, 何凯, 郑新磊, 等. 基于深度学习的高光谱图像空-谱联合特征提取[J]. 激光与光电子学进展, 2017, 54(10): 101001.

    Huang H, He K, Zheng X L, et al. Spatial-spectral feature extraction of hyperspectral image based on deep learning[J]. Laser & Optoelectronics Progress, 2017, 54(10): 101001.

张倩, 董安国, 宋睿. 基于多特征和改进自编码的高光谱图像分类[J]. 激光与光电子学进展, 2020, 57(8): 081010. Qian Zhang, Anguo Dong, Rui Song. Hyperspectral Image Classification Based on Multiple Features and an Improved Autoencoder[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081010.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!