光子学报
2023, 52(12): 1210001
内蒙古农业大学计算机与信息工程学院, 内蒙古 呼和浩特 010018
近年来, 基于深度学习的模型在高光谱图像(HSI)分类方面效果显著。 针对小样本数据基于深度学习的高光谱图像分类方法分类精度不高的问题, 提出一种融合卷积长短期记忆(ConvLSTM)和多注意力机制网络的高光谱图像分类方法。 该方法分三个分支: 光谱分支、 空间X分支和空间Y分支分别提取光谱特征、 空间X特征和空间Y特征, 并将三个方向的特征融合进行高光谱图像分类。 由于ConvLSTM在学习有价值的特征和对光谱数据中的长期依赖关系建模方面表现出良好的性能, 所以在光谱分支中用了3个隐藏层、 卷积核大小为3×3、 通道分别为150、 100和60提取光谱信息。 在空间X分支和空间Y分支, 采用基于DenseNet和3D-CNN的Dense空间X块和Dense空间Y块分别提取空间X特征和空间Y特征。 为了增强特征提取, 在这三个分支中还分别引入了其特征方向的注意力机制, 针对信息丰富的光谱波段设计了光谱注意块, 信息丰富的像素点分别设计了空间X和空间Y注意块。 在三个公开的高光谱数据集上进行了实验, 即Indian Pines(IP)、 Pavia University(UP)和Salinas Valley(SV)数据集; 并对比了其他五种方法: 基于RBF径向核的支持向量机模型(SVM)、 更深更广的卷积神经网络模型(CDCNN)、 快速密集光谱-空间卷积网络模型(FDSSC)、 空谱残差网络模型(SSRN)、 双分支双注意力机制网络模型(DBDA)。 实验中, IP数据集上训练样本和验证样本的大小设为总样本的3%, UP和SV数据集上训练样本和验证样本的大小设为总样本的0.5%。 该方法和所有基于深度学习的方法, 批处理大小均设置为16, 优化器设为Adam, 学习率设置为0.000 5, 并动态调整学习率。 由于SVM直接利用光谱信息进行分类, 输入样本块像素大小为1×1, 其他基于深度学习方法的输入样本块像素均设置为9×9。 实验结果表明, 该方法能充分利用高光谱图像的光谱和空间特征, 在OA、 AA、 KAPPA等评价标准上均获得了更好的效果, 其中, 该方法的OA指标比次优的算法平均提高0.12%~2.04%。
高光谱图像分类 深度学习 卷积神经网络 注意力机制 Hyperspectral image classification Deep learning ConvLSTM ConvLSTM Convolutional neural network Attention mechanism 光谱学与光谱分析
2023, 43(8): 2608
1 西安邮电大学 电子工程学院,陕西西安702
2 西安电子科技大学 电子工程学院,陕西西安710071
针对高光谱遥感图像的特征提取与地物分类,提出一种基于分数阶微分的高光谱图像特征提取方法,设计二维分数阶微分掩模提取高光谱图像的像素空间分数阶微分(SpaFD)特征,并提出一种空谱联合准则用于选取微分掩模阶数。为充分利用高光谱图像的空间特征与光谱特征,将SpaFD特征与原始特征直连融合获得SpaFD-Spe-Spa混合特征,并采用三维卷积神经网络(3DCNN)、先采用主成分分析(PCA)对像素光谱进行降维处理再送入三维卷积神经网络(3DCNNPCA)以及采用混合光谱网络(HybridSN)验证SpaFD-Spe-Spa混合特征的有效性。实验中分别采用3✕3,5✕5和7✕7的分数阶微分掩模进行空间特征提取,4个真实高光谱图像的实验结果表明,所提取的SpaFD特征和SpaFD-Spe-Spa特征可有效提升高光谱图像的地物分类精度,且SpaFD-Spe-Spa特征对地物分类准确率的提升更为明显:SpaFD特征相比原始特征在Indian Pines,Botswana,Pavia University和Salinas 4个数据上的分类识别率在最优情况下分别提升了3.87%,1.42%,2.41%和2.87%;SpaFD-Spe-Spa特征相比原始特征在Indian Pines,Botswana,Pavia University和Salinas 4个数据上的分类识别率在最优情况下分别提升了3.90%,5.62%,3.35%和5.18%。
高光谱图像分类 分数阶微分 特征提取 卷积神经网络 hyperspectral images classification fractional differentiation feature extraction convolutional neural network 光学 精密工程
2023, 31(21): 3221
光学 精密工程
2023, 31(22): 3357
光子学报
2023, 52(11): 1110002
1 中国科学院沈阳自动化研究所,辽宁 沈阳 110016
2 中国科学院光电信息处理重点实验室,辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169
4 中国科学院大学,北京 100049
为了提高在少标签数据条件下的地物分类精度,提出一种利用高光谱图像(HSI)数据与机载激光雷达(LiDAR)数据进行对比学习的地物分类方法。首先利用不带标签的HSI数据与LiDAR数据进行对比学习,通过对比学习可以建立这两种数据的空间特征之间的联系,实现对这两种数据的空间特征提取;设计了卷积模块与Transformer模块相结合的网络,使模型能够利用提取出的局部特征建立全局交互关系。在Houston 2013数据集和Trento数据集上进行对比实验,所提方法的分类精度高于其他多源数据融合地物分类的对照方法,在Houston 2013数据集上当每类标签样本量为5时,所提方法的分类精度比对照方法提高20.73个百分点,在Trento数据集上当每类标签样本量为2时,所提方法的分类精度比对照方法提高8.35个百分点。
图像处理 高光谱图像分类 机载激光雷达 地物分类 多源数据 激光与光电子学进展
2023, 60(22): 2228006
1 福州大学 先进制造学院,福建 泉州 362200
2 中国科学院 福建物质结构研究所,福建 福州 350002
3 中国福建光电信息科学与技术创新实验室(闽都创新实验室),福建 福州 350108
针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题,受启发于储备池计算不依赖于训练而缓解过拟合的特性,提出了一种基于储备池计算的小样本学习方法(Reservoir Computing based Network for Few-shot Image Classification,RCFIC)。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成,分别对特征提取网络的特征进行通道级增强和像素级增强,同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明,本文算法在Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高1.07%,在从Mini-ImageNet到CUB-200的跨域场景设置下的分类精度优于次优方法1.77%。同时,消融实验验证了RCFIC的有效性。所提方法泛化性强,能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。
小样本学习 储备池计算 注意力机制 特征增强 图像分类 few-shot learning reservoir computing attention mechanism feature enhancement image classification