基于多特征和改进自编码的高光谱图像分类 下载: 1091次
1 引言
高光谱图像(HSI)分类是遥感图像信息提取的主要研究问题,HSI具有空谱合一的特性,包含数百个具有高分辨率的连续光谱通道,在农业、医学和环境等方面应用广泛[1]。
深度学习在特征提取方面展现出巨大优势[2],Lin等[3]采用自编码(AE)算法对HSI进行分类,但仅考虑了光谱波段间的相关性。基于复合内核的支持向量机(CK-SVM)[4]算法结合了空间和光谱特征,优于仅考虑光谱信息的支持向量机(SVM)[5]算法。Xing等[6-7]使用栈式自编码算法和深度置信网络进行特征提取实现HSI分类,获得了良好的分类效果,但需要大量的训练样本。Cao等[8]将卷积神经网络用于HSI分类,提取空谱特征。Song等[9]将多特征与稀疏表示相结合,优于只有单一特征的分类效果。Chen等[10]采用多特征的像元训练卷积神经网络,获得了较高的分类精确度,但计算复杂度较高。Dey等[11]对HSI进行张量研究。Ahmadi等[12]利用低阶表示和成对约束提取HSI特征。上述分类方法都取得了良好的分类效果,但还存在一些问题,例如没有充分利用空间特征、纹理特征等,深度学习中的堆栈稀疏自编码(SAE)网络需要大量的训练样本,训练时间较长。
针对HSI中空间特征利用不足以及获取训练样本的成本问题,提出一种基于多特征和改进自编码网络的高光谱分类算法。通过流形学习获得HSI的低维数据结构,提取HSI的光谱特征、局部二值模式(LBP)特征及拓展多属性剖面 (EMAP)特征;在堆栈稀疏网络的基础上,加入主动学习获得特征性更强的训练样本并得到堆栈主动稀疏自编码网络;最后利用多特征的像元训练堆栈主动稀疏自编码网络并用Softmax分类器进行分类获得样本标签。
2 堆栈稀疏自编码网络和Softmax分类器模型
2.1 堆栈稀疏自编码网络
稀疏自编码网络[13]在自编码网络的基础上对隐含层神经元增加稀疏性约束,防止出现过拟合。堆栈稀疏自编码网络在稀疏自编码网络的基础上增加多个隐含层,实现更优越的特征提取性能。自编码网络结构如
设参数集α=
式中:^为隐藏神经元的平均活跃度;KL为KL散度;λ为权重衰减参数;μ为散度参数;x(i)为第i组样本稀疏自编码网络输入层的输出值;z(i)为第i组样本稀疏自编码输出层的输出值;S为样本个数;ρ为稀疏性参数。
2.2 Softmax分类器
Softmax分类器[14]用于多分类问题。像元zi属于类别k的概率的表达式为
式中:vi表示类别k;K为类别个数;θ为Softmax分类器的参数。
基于堆栈稀疏自编码和Softmax分类器的空谱联合分类算法(SSAE)步骤如下。
1) 采用主成分分析(PCA)算法[15]对原始HSI降维,将每个像元与其邻域像元连接起来,获得具有空间信息的新数据集。
2) 将具有空间信息的新数据集与原始HSI数据的像元对应连接,获得具有空谱联合信息的像元。
3) 采用具有空谱联合信息的像元训练SAE网络,获得隐含特征。
4) 利用隐含特征训练Softmax分类器,获得类别标签。
基于堆栈稀疏自编码和Softmax分类器的SSAE模型如
3 基于多特征和改进自编码网络的HSI算法
3.1 LargeVis降维
设gi,gj是HSI中低维空间的两个点,它们在KNN(K-Nearest Neighbor)图中具有一条二元边eij。
在无权值网络中,eij=1的概率为
式中:f(u)=1/(1+u2)。
在有权值网络中,eij=wij的概率为
假定正样本集合为E,负样本集合为
边采样算法将所有带权值的边全部转化为二元边,然后在二元边中随机采样,利用随机负采样和边采样算法对模型进行优化,最后使用异步随机梯度下降算法获得低维空间样本分布。
图 3. PCA与LargeVis算法对比图。(a) PCA-Indian pines;(b) PCA-Pavia U;(c) LargeVis-Indian pines;(d) LargeVis-Pavia U
Fig. 3. Comparison of PCA and LargeVis algorithm. (a) PCA-Indian pines; (b) PCA-Pavia U; (c) LargeVis-Indian pines; (d) LargeVis-Pavia U
3.2 圆环LBP特征
圆环LBP(CLBP)特征反映半径为R的圆形区域内的纹理信息[16],设中心点坐标为(xc,yc),近邻点为(xl,yl),l∈L,半径为R的圆形区域中具有L个样本的LBP算子,表达式为
若计算得到的点不在图像上,则使用双线性插值进行处理,表达式为
3.3 EMAP特征
EMAP特征反映多结构的属性特征,可从不同方向重建图像信息,对HSI进行属性滤波得到拓展属性剖面(EAP)结构,如
EMAP在EAP的基础上通过不同的属性滤波架构多层次的特征向量,再将所有特征向量串联成单一向量。设面积准则为a,惯性准则为e,像素标准差准则为q,形状准则为u,则
式中:EMAP代表EMAP;E'AP代表EAP;PC代表PC。
3.4 改进的稀疏自编码网络
在高光谱图像中难以获取大量的标记样本,只有少量的标记样本训练SSAE网络,容易出现过拟合现象,导致分类结果不准确[17]。改进的稀疏自编码(AL-SSAE)网络在SSAE网络的自编码层和Softmax层加入主动学习算法,获得信息更丰富、特征性更强的样本来训练网络,从而提高分类精确度和效率。
利用批量主动学习采样算法获得标记样本,算法流程如
采用多类不确定(MCLU)算法作为查询标准,MCLU算法的最小化是通过最小化误差函数获得未标记样本的子集并将其标记。则最小化误差函数为
式中:ωmax1=
基于多特征和改进自编码网络的HSI(MF-AL-SSAE)算法模型如
4 实验结果与分析
为了分析MF-AL-SSAE算法的有效性,选择常用于HSI分类的Indian pines数据集和Pavia U数据集进行实验。仅采用光谱信息的SSAE算法和SVM算法,利用空谱联合信息的CK-SVM算法,光谱信息分别结合CLBP特征、EMAP特征再组合SSAE网络的算法,以及融合光谱特征、CLBP特征、EMAP特征再组合AL-SSAE网络(MF-AL-SSAE)的本文算法这6种算法对分类结果进行对比和分析。分类结果通过两个分类评估指标进行分析:总分类精度(OA)和Kappa系数。
4.1 Indian pines数据集实验
Indian pines数据集图像是美国印第安州西北部实验区通过AVRSI接收的遥感图像,原始图像的数据大小为145×145×220,包含220个光谱波段,去除20个被水吸收的波段,采用剩余200个波段进行实验。R=3,6种算法在Indian pines数据集上分类精度如
表 1. Indian pines数据集的实验数据和分类精度
Table 1. Experimental data and classification accuracies of the Indian pines dataset
|
图 7. Indian pines数据集的6种算法分类效果图。(a)原始图像;(b)实际地物;(c) SSAE算法;(d) SVM算法;(e) CK-SVM算法;(f) CLBP-SSAE算法;(g) EMAP-SSAE算法;(h) MF-AL-SSAE算法
Fig. 7. Classification renderings of six algorithms on the Indian pines dataset. (a) Original image; (b) real ground; (c) SSAE algorithm; (d) SVM algorithm; (e) CK-SVM algorithm; (f) CLBP-SSAE algorithm; (g) EMAP-SSAE algorithm; (h) MF-AL-SSAE algorithm
4.2 Pavia U数据集实验
Pavia U数据集是意大利帕维亚大学通过ROSIS传感器接收的遥感图像,包含9类常见地物,图像的数据大小为610×340×103,包含115个光谱波段,42776个样本,去除背景噪声波段剩余103个波段,其中每类选取200个训练样本进行实验。6种算法在Pavia U数据集上分类精度如
表 2. Pavia U数据集的实验数据和分类精度
Table 2. Experimental data and classification accuracies of the Pavia U dataset
|
图 8. Pavia U数据集的6种算法分类效果图。(a)原始图像;(b)实际地物;(c) SSAE算法;(d) SVM算法;(e) CK-SVM算法;(f) CLBP-SSAE算法;(g) EMAP-SSAE算法;(h) MF-AL-SSAE算法
Fig. 8. Classification renderings of six algorithms on the Pavia U dataset. (a) Original image; (b) real ground; (c) SSAE algorithm; (d) SVM algorithm; (e) CK-SVM algorithm; (f) CLBP-SSAE algorithm; (g) EMAP-SSAE algorithm; (h) MF-AL-SSAE algorithm
4.3 实验结果分析
4.1节和4.2节的实验结果表明,仅利用光谱特征的分类算法,准确率较低,分错的离散点较多,如SSAE算法和SVM算法。加入空间特征的CK-SVM算法比SVM算法的分类精确度提升了10个百分点以上。加入空间特征及纹理特征的CLBP-SSAE比SSAE算法提升了12个百分点以上,在局部特征上表现良好。加入空间特征及结构特征的EMAP-SSAE算法比SSAE算法提升了13个百分点以上,EMAP-SSAE算法和CLBP-SSAE算法的分类准确率相当,EMAP特征突出结构特征,CLBP特征在局部分类效果较好。本文算法融合了光谱特征、空间特征的结构特征及纹理特征,并加入主动学习的MF-AL-SSAE算法,分类精度比使用单一特征且未加入主动学习的原始SSAE网络算法提高了14个百分点以上,比CLBP-SSAE算法和EMAP-SSAE算法提升了2个百分点。在Indian pines数据集上MF-AL-SSAE算法的分类精确度比CK-SVM算法提高了3个百分点以上,在Pavia U数据集上MF-AL-SSAE算法稍逊于CK-SVM算法。本文算法融合了多特征,使得在小目标边界点范围内改善了分类效果,而像元较多并且类别总数较少的HSI中,MF-AL-SSAE算法像元噪声较多,导致分错的离散点较多。
考虑到训练样本个数对分类精度的影响,分别在Indian pines和Pavia U数据集上进行分析,如
图 9. 不同数据集的OA随训练样本个数的变化。(a) Indian pines;(b) Pavia U
Fig. 9. Variation in OA of different datasets with the number of training samples. (a) Indian pines; (b) Pavia U
5 结论
针对高光谱图像维数高、标签样本有限及特征利用不足的问题,提出了基于多特征和改进自编码的高光谱图像分类算法。该算法融合了高光谱图像的光谱特征、CLBP特征及EMAP特征,改善了局部邻域像元的分类问题,利用主动学习获得特征性强的样本,减少了人工标注样本的代价及训练时间。具有多特征信息的像元训练主动堆栈稀疏自编码网络并用Softmax分类器对像元进行分类,充分考虑训练样本难以获得的问题,较为全面地提取了HSI的空谱联合特征。实验数据表明,该算法提高了分类精确度,小目标边界点处分类效果更好。
[1] 刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.
[2] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[4] Camps-Valls G, Bruzzone L. Kernel-based methods for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(6): 1351-1362.
[5] Gao L R, Li J, Khodadadzadeh M, et al. Subspace-based support vector machines for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 349-353.
[6] Xing C, Ma L, Yang X Q. Stacked denoise autoencoder based feature extraction and classification for hyperspectral images[J]. Journal of Sensors, 2016, 2016: 3632943.
[7] Chen Y S, Zhao X, Jia X P. Spectral-spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.
[8] CaoJ, ChenZ, WangB. Deep convolutional networks with superpixel segmentation for hyperspectral image classification[C]//2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), July 10-15, 2016, Beijing, China. New York: IEEE, 2016: 3310- 3313.
[10] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.
[11] Dey N, Hong S, Ach T, et al. Tensor decomposition of hyperspectral images to study autofluorescence in age-related macular degeneration[J]. Medical Image Analysis, 2019, 56: 96-109.
[12] Ahmadi S A, Mehrshad N, Razavi S M. Noise reduction and feature extraction based on low-rank representation and pairwise constraint preserving for hyperspectral images[J]. International Journal of Remote Sensing, 2019, 40(22): 8236-8269.
[13] Rahmani V, Rostami V. Adaptive color mapping for NAO robot using neural network[J]. Advances in Computer Science: an International Journal, 2014, 3(5): 66-71.
[15] 叶珍, 白璘. 基于主成分分析与局部二值模式的高光谱图像分类[J]. 激光与光电子学进展, 2017, 54(11): 111006.
[16] 于纯妍, 赵猛, 宋梅萍, 等. 基于目标约束与谱空迭代的高光谱图像分类方法[J]. 光学学报, 2018, 38(6): 0628003.
[17] 黄鸿, 何凯, 郑新磊, 等. 基于深度学习的高光谱图像空-谱联合特征提取[J]. 激光与光电子学进展, 2017, 54(10): 101001.
Article Outline
张倩, 董安国, 宋睿. 基于多特征和改进自编码的高光谱图像分类[J]. 激光与光电子学进展, 2020, 57(8): 081010. Qian Zhang, Anguo Dong, Rui Song. Hyperspectral Image Classification Based on Multiple Features and an Improved Autoencoder[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081010.