激光与光电子学进展, 2019, 56 (21): 212802, 网络出版: 2019-11-02   

基于聚类降维和视觉注意机制的高光谱影像分类 下载: 886次

Hyperspectral Image Classification Based on Clustering Dimensionality Reduction and Visual Attention Mechanism
作者单位
1 河南测绘职业学院空间信息工程系, 河南 郑州 450015
2 河南大学环境与规划学院, 河南 开封 475004
摘要
将基于多尺度显著性检测的视觉注意机制引入到高光谱影像的噪声去除和图像增强处理中,并基于分层聚类算法,提出一种结合聚类降维和视觉注意机制的高光谱影像分类方法。以Indian数据集和Pavia数据集为例,开展降维、显著性映射图获取和支持向量机监督分类实验。结果表明,本文方法能够较大地提升高光谱影像的分类精度和效率。
Abstract
A multi-scale saliency detection-based visual attention mechanism is introduced to eliminate noise and enhance the quality of the hyperspectral images. Further, a hyperspectral image classification method is proposed by combining the clustering dimensionality reduction and visual attention mechanism in accordance with the hierarchical clustering algorithm. Subsequently, dimensionality reduction, acquisition of saliency mapping, and support-vector-machine-supervised classification experiments are conducted by considering the Indian and Pavia datasets as examples. The results denote that the proposed method can considerably improve the classification accuracy and efficiency of hyperspectral images.

1 引言

高光谱遥感是20世纪80年代发展起来的对地观测技术,近年来在我国取得了长足发展。2018年5月成功发射的高分五号卫星携带有国际上首台兼顾大幅宽和宽谱段的可见短波红外高光谱载荷和红外甚高光谱探测仪等,足见国家战略层面上对该技术的重视[1]。高光谱观测技术可以同时获取地表的空间特征和光谱特征,尤其是,它在光谱维上的观测尺度可以达到nm级。所以,与宽波段遥感相比,光谱的高精细性是高光谱影像的突出特点。然而,高光谱影像也存在一些不足。第一,与多光谱影像仅需要存在数个波段不同,高光谱影像需要存储成百上千个波段,这需要大量的磁盘空间,且这些数据有着高冗余性[2];第二,星载或机载高光谱影像在获取时会受到传感器系统状态、地表天气及光照等各种不确定条件的影响,不同波段的影像会出现不同程度的噪声[3];第三,高光谱影像存在显著的“同物异谱”和“同谱异物”现象;第四,过多的波段会使高光谱数据在分类和反演等应用中出现Hughes效应,即,过多的波段会使分类精度不升反降。高光谱影像的这些不足会阻碍其在图像分类[4]、目标检测[5]和地表参数反演[6]等领域中的有效利用。

主成分分析(PCA)是一种简单高效的高光谱图像降维方法,可一定程度上减轻高光谱影像分类中的Hughes现象[7]。近年来,空谱特征提取和分类在高光谱遥感领域取得了较快发展[8-9]。Benediktsson等[8]提出一种基于多尺度形态学的空谱特征提取算法(EMP),该算法可实现较高的分类水平。Mura等[9]提出一种改进的多尺度形态学空谱特征(EAP)。空谱特征分类方法在高光谱影像分类中展现出良好性能,为本文的研究重点。

视觉注意机制是计算机视觉领域的一个研究热点,它是人类视觉信息处理中的一项心理调节机制[10]。视觉注意能够使人在错综复杂的视野中迅速找到感兴趣的目标,同时忽略复杂的背景信息。在计算机视觉领域,视觉注意可以有效地实现图像去噪和空间信息增强。

综上所述,针对高光谱多噪声的特点和视觉机制去噪声的功能,本文提出一种基于聚类降维和视觉注意机制的高光谱影像分类方法。该算法采用构建分层聚类降维的方法筛选出优质波段,并基于多尺度显著检测的视觉注意机制对优质波段进行去噪和空域信息增强。最后,进行典型数据集的监督分类实验,以验证本文方法的有效性。

2 分层聚类降维和多尺度显著性检测的分类方法

2.1 分层聚类降维

在高光谱分类研究和实践中,标签样本的获取成本相对较高,所以,无需标签样本的非监督方法被广泛应用[2,11-12]。本文使用基于互信息的分层聚类算法对高光谱影像进行降维[8],基于互信息的分层聚类算法是由Martínez-Usómartinez-Uso等[11]提出的一种无监督的自适应波段选择方法,在高光谱降维应用中取得了较好的效果[12]。该方法的基本思路是:首先,解算高光谱影像的波段互信息矩阵;其次,基于波段互信息矩阵将全部波段划分为K个波段子集,并使子集内波段的相似度越高越好,而子集之间的独立性越高越好;最后,从每个子集中选出一个能代表子集的波段,组成K个优质波段,达到降维的效果。其中,高光谱互信息矩阵M定义为

M=I11I12I1nI21I22I2nIn1In2Inn,(1)

式中:n为高光谱的波段数量;Iij为波段ij之间的互信息,i=1,2,…,nIij定义为

MIij=E(i)+E(j)-E(i,j),(2)

式中,E(i)、E(j)、E(i,j)分别为波段i的香农熵、波段j的香农熵、波段ij的联合熵。Iij越大,表示波段ij的相似度越高;反之则反。

分成聚类降维的一般步骤如下:

1) 将拥有n个波段的高光谱图像初始化为n个单独子集,即每个初始子集仅含有一个波段;

2) 基于波段互信息矩阵,将互信息最大的两个波段合并为新的子集,并删去合并前的两个子集,此时波段子集数量为n-1;

3) 重复2)的操作,直到波段子集数量降为K为止,便可得到K个波段子集;

4) 对于分层聚类的每个子集,选出一个能代表整个子集的波段,即在子集内部,该波段与其他波段的相似度均值最大。

经过分层聚类降维后,将获得K个优质波段,接着进行下一步的多尺度显著性检测,以便去噪和增强图像,改善图像视觉效果。

2.2 多尺度显著性检测

视觉注意机制理论认为,人类的视觉系统会对图像的局部区域进行详细处理,而忽略视野中的背景部分[13-15]。详细处理的局部区域常被称为“显著性区域(saliency region)”、“重要性区域(important region)”或“感兴趣区域(region of interest)” [15],本文统称之为显著性区域。多尺度显著性检测是由Shi等[13]于2016年提出的一种视觉显著性探测方法,它基于以下假设进行建模:在不同尺度(大小)的空间邻域上,人的视觉系统关注的显著性区域不同。基于此,首先基于分水岭算法[16]从原图像中自适应地提取出三种尺度的超像素图像[17-18];然后,基于局部对比度,对三个尺度的超像素图像分别进行单张图像的显著性检测[19-20],从而得到三个显著性映射图;最后,通过最优化层次推理[13],将不同尺度的显著性映射图进行线性最优组合,最终得到图像的多尺度显著性映射结果。最优化层次推理的公式为

E(S)=kiED(sik)+kij,RkiRk+1jEH(sik,sjk+1)+kij,Rkjf(Rki)ECsik,sjk,(3)

式中: sik表示显著性映射图Lk上的局部区域i,k=1,2,3;S表示所有映射图上的局部区域块总集;E(S)表示待优化的目标能量函数。显然,该能量函数包含3部分,第1部分中的ED( sik)表示 sik的显著性置信度,定义为[13]

ED(sik)=βksik-s-ik22,(4)

式中,βk表示显著性映射图k的置信度, s-ik表示显著性初始值。第2部分中的EH( sik, sjk+1)度量不同尺度下显著性映射图之间的跨层联系,加强不同图层在相同位置处的局部区域一致性,其定义为[13]

EH(sik,sjk+1)=λksik-sjk+122,(5)

式中,λk表示显著性映射图层之间的联系强度,通过调节其大小,可以有效纠正单层显著性映射图的误差。第3部分中的EC( sik, sjk)表示局部一致性,它强调图层内部的平滑性,使相似相邻区域的显著性检测结果更平滑,定义为[13]

EC(sik,sjk)=γkωi,jksik-sjk22,(6)

式中,γk表示显著性映射图k层内一致性强度, ωi,jk表示映射图k内相邻区域 RikRjk之间的联系。当相邻两个局部区域具有越相似的颜色和结构时, ωi,jk越大,定义为

ωi,jk=exp-cik-cjk2σc,(7)

式中, cikcjk分别为 RikRjk的颜色值,σc为归一化参数。

与单一尺度的超像素特征提取和显著性检测相比,多尺度显著性检测利用其优化能量函数能够对多映射图层中的每个显著区域的置信度、图层之间的跨层联系、单图层内的局部一致性进行联合优化,具有较高的稳健性。

基于多尺度显著性检测的视觉注意机制算法在RGB三通道图片上可表现出较好的效果。本研究将该算法引入到高光谱影像的空谱特征提取应用中,提出一种基于分层聚类降维和多尺度显著性检测的空谱特征提取与分类方法。针对高光谱影像光谱维度较高(在降维后,依然远高于3个通道)的特点,本研究直接对每个降维后的优质波段分别进行多尺度显著性检测,这样做有助于充分利用优质波段的空间信息。

3 结果与分析

本文进行实验的硬件配置为Intel(R)Core(TM)i7 6500U,主频2.6 GHz,内存8 GB,软件平台为Windows 8系统上的MATLAB数据分析软件。实验采用国际通用的美国印第安纳州西北部农场的高光谱遥感数据集(简称为Indian数据集)和意大利帕维亚大学周边城市高光谱影像数据集(简称为Pavia数据集)。Indian数据集的传感器为AVIRIS,空间分辨率为20 m,波段数为224个,波长范围为400~2500 nm。该数据集图像大小为145×145,在剔除水吸收严重的波段后,共有200个波段,包含16种分类目标,主要有小麦地、苜蓿地、玉米地、树林、燕麦地等,如图1所示。

图 1. Indian高光谱数据集。(a)伪彩色合成图像;(b)被标记的数据;(c)分类图例

Fig. 1. Indian hyperspectral image dataset. (a) False-color composite imge; (b) labeled data; (c) legends of classification

下载图片 查看所有图片

Pavia数据集的传感器为ROSIS-3,空间分辨率为1.3 m,波段数为115个,波长范围为430~860 nm。该数据集大小为610×340,在剔除噪声波段后,共有103个波段,包含有9种分类目标,主要有柏油马路、草地、裸地、阴影等,如图2所示。

图 2. Pavia高光谱数据集。(a)伪彩色合成图像;(b)被标记的数据;(c)分类图例

Fig. 2. Pavia hyperspectral image dataset. (a) False-color composite imge; (b) labeled data; (c) legends of classificatin

下载图片 查看所有图片

根据(1)式和(2)式分别计算Indian和Pavia数据集的全波段互信息矩阵,结果如图3所示。不难看出,高光谱波段之间的联系具有明显的分块现象[21]。总体而言,相邻波段的相似性较高,而相距较远的波段之间的联系较弱。分层聚类降维算法正是基于此规律进行模型构建的。

依据分层聚类降维的流程,利用波段互信息矩阵分别对Indian和Pavia数据集进行波段选择。Indian数据集的结果为:当选择波段数量为5时,选出的波段为{21, 68, 92, 198, 173};当设定波段数量为10时,选择的优质波段集为{10, 21, 51, 67, 92, 198, 168, 122, 145, 200}。Pavia数据集的结果为:当选择波段数量为5时,选出的波段为{20, 31, 56, 76, 91};当设定波段数量为10时,选择的优质波段集为{3, 11, 20, 31, 47, 60, 71, 76, 87, 94}。

为直观地展示多尺度显著性检测对高光谱影像空间特征增强的有效性,本研究对Indian数据集优选的波段122和剔去的波段1,Pavia数据集优选的波段94和剔去的波段1分别进行多尺度显著性检测处理,结果如图4所示。

图 3. 高光谱数据集的波段互信息矩阵。(a) Indian数据集;(b) Pavia数据集

Fig. 3. Band mutual information matrix of hyperspectral datasets. (a) Indian dataset; (b) Pavia dataset

下载图片 查看所有图片

图 4. 单一波段显著性映射结果。(a) Indian数据集优选的波段122及其显著性映射;(b) Indian数据集剔去的波段1及其显著性映射;(c) Pavia数据集优选的波段94及其显著性映射;(d) Pavia数据集剔去的波段1及其显著性映射

Fig. 4. Results of saliency mapping of single band. (a) Band 122 and its saliency mapping selected by Indian dataset; (b) band 1 and its saliency mapping removed by Indian dataset; (c) band 94 and its saliency mapping selected by Pavia dataset; (d) band 1 and its saliency mapping removed by Pavia dataset

下载图片 查看所有图片

结果表明:1)对Indian的波段122和Pavia的波段94来说,其显著性映射图较好地消除了同类地物之间的差异和噪声,同时增强了不同类地物之间的差异性,即增大了类间可分性,如图4(a)、(c)所示;2)对于Indian和Pavia的波段1而言,其显著性映射图不具有良好的分类特性,如图4(b)、(d)所示;(3)采用分层聚类降维,可将类似于Indian和Pavia中波段1这样的劣质波段剔除。换言之,分层聚类能够选择出潜在的优质波段,以便更好地进行多尺度显著性映射图提取。这也说明分层聚类降维方法与多尺度显著性检测算法之间具有较高的协调性,通过分层聚类降维剔除劣质波段,选出潜在的优质波段进行多尺度显著性映射图提取,这样既能降低空间复杂度,又能提高算法的精度和效率。

为验证本研究方法的有效性,选择PCA降维(前20个主成分[7])和EAP空谱特征[9]与本文方法作对比,选择经典的基于高斯核函数的支持向量机(SVM)分类器,随机选择5%的带标签样本作为训练集,剩余的95%样本作为测试集,开展20次相互独立的分类和精度评价实验。采用Kappa系数、总体分类精度(OA)和平均分类精度(AA)这3个精度评价指标和分类耗时对分类实验进行性能评价,并取20次实验结果的平均值,结果分别如表1表2所示。

表 1. Indian数据集上各方法分类精度评价指标对比(黑体表示最优)

Table 1. Evaluation indices of classification accuracy of different methods on Indian dataset (best results are highlighted in bold)

ClassClass nameSVMPCAEAPHSD5-SVMHSD10-SVM
1Alfalfa0.82610.97060.95651.00000.9130
2Corn-notill0.66100.68080.75180.85040.8578
3Corn-mintill0.55840.66500.85630.94160.8718
4Corn0.33330.72000.91790.71560.8711
5Grass-pasture0.81700.83440.93160.90410.8388
6Grass-trees0.94080.70470.96140.84270.8990
7Grass-pasture-mowed0.85710.87500.92860.78570.9286
8Hay-windrowed0.83480.99140.99780.96041.0000
9Oats1.00001.00001.00001.00001.0000
10Soybean-notill0.69990.79170.77490.86570.8342
11Soybean-mintill0.79160.60250.73280.93570.9400
12Soybean-clean0.47420.77800.93430.88810.7336
13Wheat0.88720.98450.97710.91280.9436
14Woods0.93340.87710.96920.99920.9992
15Buildings-grass-trees-drives0.35690.89300.76400.92920.9373
16Stone-steel-towers0.93480.97530.96830.95651.0000
Kappa0.69440.71260.81890.89700.8878
OA0.73430.74300.84050.90990.9018
AA0.74420.83400.90140.90550.9105
Time/s16.703.294.215.706.99

查看所有表

Note: HSD stands for Hierarchical Saliency Detection[13]. 表1表2中,SVM、HSD5-SVM和HSD10-SVM分别表示原始数据的SVM分类、5个优质波段显著性映射图的SVM分类和10个优质波段显著性映射图的SVM分类。

结果表明:在Indian数据集上,本文方法(HSD5-SVM)的Kappa、OA和AA分别比原始影像SVM高0.2026、0.1756和0.1613,前者耗时比后者低65.87%;在Pavia数据集上,HSD5-SVM的Kappa、OA和AA分别比原始影像SVM高0.0592、0.0444和0.0601,前者耗时比后者低88.41%;在分类精度上,HSD5-SVM与HSD10-SVM相差不大;在算法效率上,HSD5-SVM略优于HSD10-SVM;但HSD5-SVM仅需要5个优质波段;在Indian数据集上,全波段影像和PCA降维影像在”建筑物-草地-树木-车道“和”玉米地“等目标的分类上均表现一般,而EAP和本文方法则有较好表现;在Pavia数据集上,HSD10-SVM的单类分类精度最优的占多数,但与次优的HSD5-SVM相差极小,从而使两者的总体分类精度相差不大。与原始影像SVM、PCA和EAP相比,本文方法具有最优的分类精度和相对较高的分类效率,验证了本文方法的有效性。

表 2. Pavia数据集上各方法分类精度评价指标对比(黑体表示最优)

Table 2. Evaluation indices of classification accuracy of different methods on Pavia dataset (best results are highlighted in bold)

ClassClass nameSVMPCAEAPHSD5-SVMHSD10-SVM
1Asphalt0.93190.95410.97180.97830.9850
2Meadows0.97950.95830.98100.99380.9950
3Gravel0.77080.68500.95790.97860.9852
4Trees0.93340.83240.90430.86270.8597
5Metal sheets0.99150.99480.98750.99580.9815
6Bare soil0.87870.71530.94900.99190.9922
7Bitumen0.84920.58030.99550.99900.9888
8Bricks0.88920.78160.98420.98480.9932
9Shadows0.99870.99890.99910.97830.9560
Kappa0.91440.82600.96090.97360.9752
OA0.93570.86800.97050.98010.9813
AA0.91360.83370.97000.97370.9707
Time/s84.3216.2318.249.7712.25

查看所有表

4 结论

提出一种基于降维和多尺度视觉注意机制的高光谱影像空域信息增强和空谱分类方法。首先,利用基于波段互信息矩阵的分层聚类算法对原始影像进行降维,以获取少量优质波段;然后,对每个优质波段进行多尺度的视觉注意映射图的提取。选择经典的Indian和Pavia高光谱数据集进行了监督分类实验和分类精度及耗时评价,结果表明,本文方法具有最优的分类精度和相对较高的分类效率,验证了本文方法的有效性。视觉注意机制在计算机视觉领域的应用甚广,本文将其引入到高光谱影像的分类处理中,这对高光谱影像的分类研究具有一定的意义。此外,本文方法仍存在一些不足,如多尺度显著性检测算法可以充分利用RGB三通道的颜色信息,但本文直接将其用于单波段的显著映射图求解,不能有效挖掘出原算法的潜能,在接下来的研究中,将重点研究多尺度视觉注意机制对高光谱三波段假彩色合成图像的适用性。

此外,本文侧重通过与经典方法的比较来验证本文方法的有效性。为更好地与其他算法进行对比论述,本文仅选择了5个和10个优质波段进行多尺度显著性映射图提取和分类实验分析。通过绘制分类精度随优质波段数量增加的变化曲线,进一步探讨面向高光谱图像分类的多尺度显著性检测方法的最优波段数量,这也将是今后需要深入研究的内容。

参考文献

[1] 范斌, 陈旭, 李碧岑, 等. “高分五号”卫星光学遥感载荷的技术创新[J]. 红外与激光工程, 2017, 46(1): 0102002.

    Fan B, Chen X, Li B C, et al. Technical innovation of optical remote sensing payloads onboard GF-5 satellite[J]. Infrared and Laser Engineering, 2017, 46(1): 0102002.

[2] Wei X H, Zhu W, Liao B, et al. Matrix-based margin-maximization band selection with data-driven diversity for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(12): 7294-7309.

[3] Xie W Y, Li Y S, Hu J, et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising[J]. Neural Networks, 2018, 108: 272-286.

[4] Yu X C, Wang R R, Liu B, et al. Salient feature extraction for hyperspectral image classification[J]. Remote Sensing Letters, 2019, 10(6): 553-562.

[5] Wu K, Xu G, Zhang Y X, et al. Hyperspectral image target detection via integrated background suppression with adaptive weight selection[J]. Neurocomputing, 2018, 315: 59-67.

[6] Mananze S, Pôças I, Cunha M. Retrieval of maize leaf area index using hyperspectral and multispectral data[J]. Remote Sensing, 2018, 10(12): 1942.

[7] Prasad S, Bruce L M. Limitations of principal components analysis for hyperspectral target recognition[J]. IEEE Geoscience and Remote Sensing Letters, 2008, 5(4): 625-629.

[8] Benediktsson J A, Palmason J A, Sveinsson J R. Classification of hyperspectral data from urban areas based on extended morphological profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3): 480-491.

[9] Mura M D, Benediktsson J A, Waske B, et al. Extended profiles with morphological attribute filters for the analysis of hyperspectral data[J]. International Journal of Remote Sensing, 2010, 31(22): 5975-5991.

[10] 黎万义, 王鹏, 乔红. 引入视觉注意机制的目标跟踪方法综述[J]. 自动化学报, 2014, 40(4): 561-576.

    Li W Y, Wang P, Qiao H. A survey of visual attention based methods for object tracking[J]. Acta Automatica Sinica, 2014, 40(4): 561-576.

[11] Martínez-Usómartinez-Uso A, Pla F, Sotoca J M, et al. . Clustering-based hyperspectral band selection using information measures[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(12): 4158-4171.

[12] Sui C H, Tian Y, Xu Y P, et al. Unsupervised band selection by integrating the overall accuracy and redundancy[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 185-189.

[13] Shi J P, Yan Q, Xu L, et al. Hierarchical image saliency detection on extended CSSD[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(4): 717-729.

[14] Borji A, Itti L. State-of-the-art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207.

[15] 程明明. 图像内容的显著性与相似性研究[D]. 北京: 清华大学, 2012.

    Cheng MM. Saliency and similarity detection for image scene analysis[D]. Beijing: Tsinghua University, 2012.

[16] GonzalezR, Woods RE. Digital image processing[M]. USA: Prentice-Hall, 2002.

[17] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[18] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[19] Liu T, Yuan Z J, Sun J, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[20] Shen XH, WuY. A unified approach to salient object detection via low rank matrix recovery[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 853- 860.

[21] 任智伟, 吴玲达. 基于自动子空间划分的高光谱本征图像分解[J]. 激光与光电子学进展, 2018, 55(10): 103004.

    Ren Z W, Wu L D. Hyperspectral intrinsic image decomposition based on automatic subspace partitioning[J]. Laser & Optoelectronics Progress, 2018, 55(10): 103004.

曾朝平, 琚丽君, 张建辰. 基于聚类降维和视觉注意机制的高光谱影像分类[J]. 激光与光电子学进展, 2019, 56(21): 212802. Chaoping Zeng, Lijun Ju, Jianchen Zhang. Hyperspectral Image Classification Based on Clustering Dimensionality Reduction and Visual Attention Mechanism[J]. Laser & Optoelectronics Progress, 2019, 56(21): 212802.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!