1 中国科学院西安光学精密机械研究所光谱成像技术重点实验室,陕西 西安 710119
2 中国科学院大学,北京 100049
遥感场景分类旨在为航空图像指定特定的语义标签,是遥感图像解译中一个基础且重要的任务。现有的研究主要利用卷积神经网络(CNN)学习全局和局部特征,提高网络的判别性表达。然而基于CNN的方法的感受野在建模局部特征的远程依赖性方面存在局限性。近年来,Vision Transformer(ViT)在传统的分类任务中表现出了强大的性能。Transformer的自我注意力机制将每个Patch标记与分类标记连接起来,捕捉图像像素之间的上下文关系,考虑空间域中的全局信息。提出一个基于局部选择ViT的遥感场景分类网络。首先将输入图像分割成小块的Patch,将其展开转换成序列,并进行位置编码添加到序列中;然后将得到的序列输入编码器中;除此之外,为了学习到局部判别特征,在最后一层输入前加入局部选择模块,选择具有判别性的Token作为输入,得到最后用于分类的输出。实验结果表明,所提方法在两个大型遥感场景分类数据集(AID和NWPU)取得不错的效果。
遥感场景分类 深度学习 Vision Transformer 局部特征 激光与光电子学进展
2023, 60(22): 2228005
光学 精密工程
2023, 31(17): 2598
1 辽宁工程技术大学软件学院,辽宁 葫芦岛 125105
2 中国科学院福建物质结构研究所泉州装备制造研究中心,福建 泉州 362216
遥感影像场景分类方法多基于传统机器学习或卷积神经网络,此类方法的特征提取能力极为有限,尤其在处理类间相似度大、空间信息复杂、几何结构繁多的光学遥感影像时更容易出现特征信息丢失、分类精度受限等问题。基于此,提出一种融合字典学习与视觉转换器(ViT)的高分辨率遥感影像场景分类方法。该方法不仅能够挖掘图像内部的长距离依赖关系,而且可以利用字典学习抓取图像的深层非线性结构信息,从而达到提升分类准确度的目的。在PyTorch深度学习框架上,在RSSCN7、NWPU-RESISC45和Aerial Image Data Set(AID)3个公开的遥感影像数据集上对所提方法和模型进行了广泛实验,验证了所提方法的可行性,其分类正确率比原始视觉转换器模型分别高出1.763个百分点、1.321个百分点和3.704个百分点。与其他先进的场景分类方法相比,所提方法实现了更加优异的分类性能。
视觉转换器 字典学习 遥感场景分类 高分辨率遥感影像 激光与光电子学进展
2023, 60(14): 1410019
1 南京邮电大学计算机学院、软件学院、网络空间安全学院,江苏 南京 210023
2 江苏省大数据安全与智能处理重点实验室,江苏 南京 210023
3 南京邮电大学自动化学院、人工智能学院,江苏 南京 210023
4 南京航空航天大学电子信息工程学院,江苏 南京 211106
提出一种小波-空间高阶特征聚合网络(WHFA-Net),该网络可分为小波域特征提取和空间域特征提取两个分支。首先,将Harr小波变换嵌入卷积神经网络(CNNs),保留深度卷积特征的低频分量作为小波深度特征;其次,利用最大池化进行深度特征学习,并将其输出作为空间深度特征;将两分支的深度特征进行向量化后,获取其自相关和互相关高阶深度特征向量,并依次进行特征正规化、特征聚合和特征归一化操作;最后,引入交叉熵损失函数进行端到端网络训练。在NWPU45(NWPU-RESISC45 Dataset)和AID(Aerial Image Dataset)数据集上的实验结果表明:相较于基准网络(VGG-16),本文所提WHFA-Net的场景分类准确率有5.13%~12.12%的提升;与DCCNN、APDC-Net、GBNet、LCNN-BFF、MSCP和Wavelet CNN相比,WHFA-Net的场景分类准确率均有不同程度的提升;通过消融实验验证了各模块和分支的有效性及其性能差异。因此,WHFA-Net可有效且稳定地抽取遥感场景图像不同特征域的高阶聚合特征,并提升场景分类准确率。
遥感 场景分类 卷积神经网络 特征可辨别性 特征聚合 光学学报
2022, 42(24): 2428005
1 重庆邮电大学 空间大数据智能技术重庆市工程研究中心,重庆 400065
2 南阳理工学院 计算机与软件学院,河南 南阳 473000
针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法。首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加入结合门控的注意力模块,以增强特征判别能力。在EuroSAT和UC Merced数据集上的实验结果表明,该方法能够有效提取判别力更强的特征,提高半监督分类性能。
遥感图像 场景分类 半监督 生成对抗网络 注意力机制 Remote sensing image Scene classification Semi-supervised Generative Adversarial network Attention mechanism
光子学报
2021, 50(11): 1128002
1 中国地质大学(武汉)地理与信息工程学院, 湖北 武汉 430074
2 国家地理信息系统工程技术研究中心, 湖北 武汉 430074
针对小样本遥感影像场景数据集中地物多样性和分布复杂性引起的分类精度低下的问题,提出一种基于迁移学习的混合专家(TLMoE)分类模型。该模型通过多通道充分利用包含场景全局信息的全连接层特征和包含场景局部细节信息的卷积层特征,能够实现更精确的场景分类。基于全连接层特征的预判通道,利用场景全局信息完成对全部类别场景的初判;通过专家通道为每类场景训练专属专家网络,针对性地挖掘各类场景卷积层特征中蕴含的关键局部信息,提取可区分相似场景间细微差异的局部特征,完成细粒度的识别;结合预判权重实现顾及场景全局及局部差异的分类。在小样本数据集上的实验表明,本文方法可有效识别易混淆场景,能够取得较好的分类效果。
遥感 高分辨率遥感影像 场景分类 混合专家系统 迁移学习 光学学报
2021, 41(23): 2301003
辽宁工程技术大学软件学院, 辽宁 葫芦岛 125105
高分遥感影像的场景分类是解译遥感影像信息的重要工作之一。为了准确提取出目标信息,针对高分遥感影像场景分类中存在的背景复杂、目标多样、目标信息与背景信息难以区分等问题,提出了一种基于显著性特征和深度卷积神经网络(DCNN)的高分遥感影像场景分类方法。首先,利用K-means聚类与超像素分割算法得到影像的颜色空间分布与颜色对比图,融合不同对比图,以得到显著图。然后,通过对数变换增强显著图中的特征,采用自适应阈值分割方法提高目标的区分度并划分出目标区域和背景区域,以提取出感兴趣区域。最后,构建了一种用于提取深层语义特征的DCNN模型,并将得到的特征输入网络模型中进行训练和分类。实验结果表明,本方法能有效区分主要目标信息与背景信息,减少无关信息的干扰,在UC-Merced数据集和WHU-RS数据集上的分类精度分别为96.10%和95.84%。
大气光学 高分遥感影像 场景分类 显著性检测 卷积神经网络 深层语义特征 激光与光电子学进展
2021, 58(20): 2001002