基于聚类降维和视觉注意机制的高光谱影像分类 下载: 886次
1 引言
高光谱遥感是20世纪80年代发展起来的对地观测技术,近年来在我国取得了长足发展。2018年5月成功发射的高分五号卫星携带有国际上首台兼顾大幅宽和宽谱段的可见短波红外高光谱载荷和红外甚高光谱探测仪等,足见国家战略层面上对该技术的重视[1]。高光谱观测技术可以同时获取地表的空间特征和光谱特征,尤其是,它在光谱维上的观测尺度可以达到nm级。所以,与宽波段遥感相比,光谱的高精细性是高光谱影像的突出特点。然而,高光谱影像也存在一些不足。第一,与多光谱影像仅需要存在数个波段不同,高光谱影像需要存储成百上千个波段,这需要大量的磁盘空间,且这些数据有着高冗余性[2];第二,星载或机载高光谱影像在获取时会受到传感器系统状态、地表天气及光照等各种不确定条件的影响,不同波段的影像会出现不同程度的噪声[3];第三,高光谱影像存在显著的“同物异谱”和“同谱异物”现象;第四,过多的波段会使高光谱数据在分类和反演等应用中出现Hughes效应,即,过多的波段会使分类精度不升反降。高光谱影像的这些不足会阻碍其在图像分类[4]、目标检测[5]和地表参数反演[6]等领域中的有效利用。
主成分分析(PCA)是一种简单高效的高光谱图像降维方法,可一定程度上减轻高光谱影像分类中的Hughes现象[7]。近年来,空谱特征提取和分类在高光谱遥感领域取得了较快发展[8-9]。Benediktsson等[8]提出一种基于多尺度形态学的空谱特征提取算法(EMP),该算法可实现较高的分类水平。Mura等[9]提出一种改进的多尺度形态学空谱特征(EAP)。空谱特征分类方法在高光谱影像分类中展现出良好性能,为本文的研究重点。
视觉注意机制是计算机视觉领域的一个研究热点,它是人类视觉信息处理中的一项心理调节机制[10]。视觉注意能够使人在错综复杂的视野中迅速找到感兴趣的目标,同时忽略复杂的背景信息。在计算机视觉领域,视觉注意可以有效地实现图像去噪和空间信息增强。
综上所述,针对高光谱多噪声的特点和视觉机制去噪声的功能,本文提出一种基于聚类降维和视觉注意机制的高光谱影像分类方法。该算法采用构建分层聚类降维的方法筛选出优质波段,并基于多尺度显著检测的视觉注意机制对优质波段进行去噪和空域信息增强。最后,进行典型数据集的监督分类实验,以验证本文方法的有效性。
2 分层聚类降维和多尺度显著性检测的分类方法
2.1 分层聚类降维
在高光谱分类研究和实践中,标签样本的获取成本相对较高,所以,无需标签样本的非监督方法被广泛应用[2,11-12]。本文使用基于互信息的分层聚类算法对高光谱影像进行降维[8],基于互信息的分层聚类算法是由Martínez-Usómartinez-Uso等[11]提出的一种无监督的自适应波段选择方法,在高光谱降维应用中取得了较好的效果[12]。该方法的基本思路是:首先,解算高光谱影像的波段互信息矩阵;其次,基于波段互信息矩阵将全部波段划分为
式中:
式中,
分成聚类降维的一般步骤如下:
1) 将拥有
2) 基于波段互信息矩阵,将互信息最大的两个波段合并为新的子集,并删去合并前的两个子集,此时波段子集数量为
3) 重复2)的操作,直到波段子集数量降为
4) 对于分层聚类的每个子集,选出一个能代表整个子集的波段,即在子集内部,该波段与其他波段的相似度均值最大。
经过分层聚类降维后,将获得
2.2 多尺度显著性检测
视觉注意机制理论认为,人类的视觉系统会对图像的局部区域进行详细处理,而忽略视野中的背景部分[13-15]。详细处理的局部区域常被称为“显著性区域(saliency region)”、“重要性区域(important region)”或“感兴趣区域(region of interest)” [15],本文统称之为显著性区域。多尺度显著性检测是由Shi等[13]于2016年提出的一种视觉显著性探测方法,它基于以下假设进行建模:在不同尺度(大小)的空间邻域上,人的视觉系统关注的显著性区域不同。基于此,首先基于分水岭算法[16]从原图像中自适应地提取出三种尺度的超像素图像[17-18];然后,基于局部对比度,对三个尺度的超像素图像分别进行单张图像的显著性检测[19-20],从而得到三个显著性映射图;最后,通过最优化层次推理[13],将不同尺度的显著性映射图进行线性最优组合,最终得到图像的多尺度显著性映射结果。最优化层次推理的公式为
式中:
式中,
式中,
式中,
式中,
与单一尺度的超像素特征提取和显著性检测相比,多尺度显著性检测利用其优化能量函数能够对多映射图层中的每个显著区域的置信度、图层之间的跨层联系、单图层内的局部一致性进行联合优化,具有较高的稳健性。
基于多尺度显著性检测的视觉注意机制算法在RGB三通道图片上可表现出较好的效果。本研究将该算法引入到高光谱影像的空谱特征提取应用中,提出一种基于分层聚类降维和多尺度显著性检测的空谱特征提取与分类方法。针对高光谱影像光谱维度较高(在降维后,依然远高于3个通道)的特点,本研究直接对每个降维后的优质波段分别进行多尺度显著性检测,这样做有助于充分利用优质波段的空间信息。
3 结果与分析
本文进行实验的硬件配置为Intel(R)Core(TM)i7 6500U,主频2.6 GHz,内存8 GB,软件平台为Windows 8系统上的MATLAB数据分析软件。实验采用国际通用的美国印第安纳州西北部农场的高光谱遥感数据集(简称为Indian数据集)和意大利帕维亚大学周边城市高光谱影像数据集(简称为Pavia数据集)。Indian数据集的传感器为AVIRIS,空间分辨率为20 m,波段数为224个,波长范围为400~2500 nm。该数据集图像大小为145×145,在剔除水吸收严重的波段后,共有200个波段,包含16种分类目标,主要有小麦地、苜蓿地、玉米地、树林、燕麦地等,如
图 1. Indian高光谱数据集。(a)伪彩色合成图像;(b)被标记的数据;(c)分类图例
Fig. 1. Indian hyperspectral image dataset. (a) False-color composite imge; (b) labeled data; (c) legends of classification
Pavia数据集的传感器为ROSIS-3,空间分辨率为1.3 m,波段数为115个,波长范围为430~860 nm。该数据集大小为610×340,在剔除噪声波段后,共有103个波段,包含有9种分类目标,主要有柏油马路、草地、裸地、阴影等,如
图 2. Pavia高光谱数据集。(a)伪彩色合成图像;(b)被标记的数据;(c)分类图例
Fig. 2. Pavia hyperspectral image dataset. (a) False-color composite imge; (b) labeled data; (c) legends of classificatin
根据(1)式和(2)式分别计算Indian和Pavia数据集的全波段互信息矩阵,结果如
依据分层聚类降维的流程,利用波段互信息矩阵分别对Indian和Pavia数据集进行波段选择。Indian数据集的结果为:当选择波段数量为5时,选出的波段为{21, 68, 92, 198, 173};当设定波段数量为10时,选择的优质波段集为{10, 21, 51, 67, 92, 198, 168, 122, 145, 200}。Pavia数据集的结果为:当选择波段数量为5时,选出的波段为{20, 31, 56, 76, 91};当设定波段数量为10时,选择的优质波段集为{3, 11, 20, 31, 47, 60, 71, 76, 87, 94}。
为直观地展示多尺度显著性检测对高光谱影像空间特征增强的有效性,本研究对Indian数据集优选的波段122和剔去的波段1,Pavia数据集优选的波段94和剔去的波段1分别进行多尺度显著性检测处理,结果如
图 3. 高光谱数据集的波段互信息矩阵。(a) Indian数据集;(b) Pavia数据集
Fig. 3. Band mutual information matrix of hyperspectral datasets. (a) Indian dataset; (b) Pavia dataset
图 4. 单一波段显著性映射结果。(a) Indian数据集优选的波段122及其显著性映射;(b) Indian数据集剔去的波段1及其显著性映射;(c) Pavia数据集优选的波段94及其显著性映射;(d) Pavia数据集剔去的波段1及其显著性映射
Fig. 4. Results of saliency mapping of single band. (a) Band 122 and its saliency mapping selected by Indian dataset; (b) band 1 and its saliency mapping removed by Indian dataset; (c) band 94 and its saliency mapping selected by Pavia dataset; (d) band 1 and its saliency mapping removed by Pavia dataset
结果表明:1)对Indian的波段122和Pavia的波段94来说,其显著性映射图较好地消除了同类地物之间的差异和噪声,同时增强了不同类地物之间的差异性,即增大了类间可分性,如
为验证本研究方法的有效性,选择PCA降维(前20个主成分[7])和EAP空谱特征[9]与本文方法作对比,选择经典的基于高斯核函数的支持向量机(SVM)分类器,随机选择5%的带标签样本作为训练集,剩余的95%样本作为测试集,开展20次相互独立的分类和精度评价实验。采用Kappa系数、总体分类精度(OA)和平均分类精度(AA)这3个精度评价指标和分类耗时对分类实验进行性能评价,并取20次实验结果的平均值,结果分别如
表 1. Indian数据集上各方法分类精度评价指标对比(黑体表示最优)
Table 1. Evaluation indices of classification accuracy of different methods on Indian dataset (best results are highlighted in bold)
|
Note: HSD stands for Hierarchical Saliency Detection[13].
结果表明:在Indian数据集上,本文方法(HSD5-SVM)的Kappa、OA和AA分别比原始影像SVM高0.2026、0.1756和0.1613,前者耗时比后者低65.87%;在Pavia数据集上,HSD5-SVM的Kappa、OA和AA分别比原始影像SVM高0.0592、0.0444和0.0601,前者耗时比后者低88.41%;在分类精度上,HSD5-SVM与HSD10-SVM相差不大;在算法效率上,HSD5-SVM略优于HSD10-SVM;但HSD5-SVM仅需要5个优质波段;在Indian数据集上,全波段影像和PCA降维影像在”建筑物-草地-树木-车道“和”玉米地“等目标的分类上均表现一般,而EAP和本文方法则有较好表现;在Pavia数据集上,HSD10-SVM的单类分类精度最优的占多数,但与次优的HSD5-SVM相差极小,从而使两者的总体分类精度相差不大。与原始影像SVM、PCA和EAP相比,本文方法具有最优的分类精度和相对较高的分类效率,验证了本文方法的有效性。
表 2. Pavia数据集上各方法分类精度评价指标对比(黑体表示最优)
Table 2. Evaluation indices of classification accuracy of different methods on Pavia dataset (best results are highlighted in bold)
|
4 结论
提出一种基于降维和多尺度视觉注意机制的高光谱影像空域信息增强和空谱分类方法。首先,利用基于波段互信息矩阵的分层聚类算法对原始影像进行降维,以获取少量优质波段;然后,对每个优质波段进行多尺度的视觉注意映射图的提取。选择经典的Indian和Pavia高光谱数据集进行了监督分类实验和分类精度及耗时评价,结果表明,本文方法具有最优的分类精度和相对较高的分类效率,验证了本文方法的有效性。视觉注意机制在计算机视觉领域的应用甚广,本文将其引入到高光谱影像的分类处理中,这对高光谱影像的分类研究具有一定的意义。此外,本文方法仍存在一些不足,如多尺度显著性检测算法可以充分利用RGB三通道的颜色信息,但本文直接将其用于单波段的显著映射图求解,不能有效挖掘出原算法的潜能,在接下来的研究中,将重点研究多尺度视觉注意机制对高光谱三波段假彩色合成图像的适用性。
此外,本文侧重通过与经典方法的比较来验证本文方法的有效性。为更好地与其他算法进行对比论述,本文仅选择了5个和10个优质波段进行多尺度显著性映射图提取和分类实验分析。通过绘制分类精度随优质波段数量增加的变化曲线,进一步探讨面向高光谱图像分类的多尺度显著性检测方法的最优波段数量,这也将是今后需要深入研究的内容。
[1] 范斌, 陈旭, 李碧岑, 等. “高分五号”卫星光学遥感载荷的技术创新[J]. 红外与激光工程, 2017, 46(1): 0102002.
[3] Xie W Y, Li Y S, Hu J, et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising[J]. Neural Networks, 2018, 108: 272-286.
[5] Wu K, Xu G, Zhang Y X, et al. Hyperspectral image target detection via integrated background suppression with adaptive weight selection[J]. Neurocomputing, 2018, 315: 59-67.
[6] Mananze S, Pôças I, Cunha M. Retrieval of maize leaf area index using hyperspectral and multispectral data[J]. Remote Sensing, 2018, 10(12): 1942.
[8] Benediktsson J A, Palmason J A, Sveinsson J R. Classification of hyperspectral data from urban areas based on extended morphological profiles[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3): 480-491.
[10] 黎万义, 王鹏, 乔红. 引入视觉注意机制的目标跟踪方法综述[J]. 自动化学报, 2014, 40(4): 561-576.
[15] 程明明. 图像内容的显著性与相似性研究[D]. 北京: 清华大学, 2012.
Cheng MM. Saliency and similarity detection for image scene analysis[D]. Beijing: Tsinghua University, 2012.
[16] GonzalezR, Woods RE. Digital image processing[M]. USA: Prentice-Hall, 2002.
[20] Shen XH, WuY. A unified approach to salient object detection via low rank matrix recovery[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 853- 860.
[21] 任智伟, 吴玲达. 基于自动子空间划分的高光谱本征图像分解[J]. 激光与光电子学进展, 2018, 55(10): 103004.
Article Outline
曾朝平, 琚丽君, 张建辰. 基于聚类降维和视觉注意机制的高光谱影像分类[J]. 激光与光电子学进展, 2019, 56(21): 212802. Chaoping Zeng, Lijun Ju, Jianchen Zhang. Hyperspectral Image Classification Based on Clustering Dimensionality Reduction and Visual Attention Mechanism[J]. Laser & Optoelectronics Progress, 2019, 56(21): 212802.