针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高，本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先，采用重参数化方法设计了一种残差局部特征模块，以有效地提取图像局部特征；同时考虑到图像内部出现的相似特征，设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力，并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能；最后，在上采样模块前使用多层特征融合模块聚合所有的深度特征，以产生更全面的特征表示。在UC Merced遥感数据集上进行测试，该算法在遥感图像3倍超分辨率下的参数量为539 K，峰值信噪比为30.01 dB，结构相似性为0.844 9，模型的推理时间为0.010 s；而HSENet算法的参数量为5 470 K，峰值信噪比为30.00 dB，结构相似性为0.842 0，模型的推理时间为0.059 s。实验结果表明，该算法相比HSENet算法，参数量更少，运行速度较快，且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试，该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势，表明该算法的泛化能力较强。
超分辨率 遥感图像 全局上下文 重参数化 残差网络 super resolution remote sensing images global context re-parameterization residual network
1 南京信息工程大学电子与信息工程学院，江苏 南京 210044
2 无锡学院电子信息工程学院，江苏 无锡 214105
针对光学遥感图像目标分布密集、尺度变化范围较大及小目标特征信息过少等造成目标检测精度不高、泛化能力差等问题，本文提出了一种增强小目标特征的多尺度神经网络（ESF-MNet）。首先在骨干网络中引入注意力模块构建出高效层注意力聚合结构，以增强特征提取能力；此外，在浅层特征图与颈部网络融合之前加入感受野增强模块，以捕获不同尺度的上下文信息。其次，使用GSConv构成颈部网络，减少网络层参数量，保持网络的特征提取能力，并通过基于内容感知的特征重组模块提高识别精度。最后，采用下采样率分别为4、8和16倍的三个下采样模块作为头部网络输入，来提高小目标的检测效果。为了证明该方法的有效性，在DOTA数据集和NWPU NHR-10数据集上进行实验，平均检测精度分别达78.6%和94.3%，计算复杂度为94.7 G，整体模型大小为26.2 M。该方法具备检测精度高、计算复杂度低、模型权重小等特点，能有效提高小目标的检测精度，进一步改善光学遥感图像小目标检测性能。
光学遥感图像 目标检测 感受野增强 特征融合 注意力机制
1 重庆邮电大学计算机科学与技术学院重庆空间大数据智能技术工程研究中心，重庆 400065
2 昆明理工大学信息工程与自动化学院，云南 昆明 650500
高分辨率无人机遥感图像具有极为丰富的语义和地物特征，在语义分割中容易出现目标分割不全、边缘信息缺失、分割精度不足等问题。为了解决上述问题，基于DeepLabV3_plus模型提出改进的DeepLabV3_DHC。首先，利用多种主干网络进行下采样，采集图像的低级特征和高级特征。其次，将原模型的atrous spatial pyramid pooling（ASPP）全部替换成深度可分离混合空洞卷积，同时添加自适应系数，减弱网格效应。之后，抛弃传统上采样的双线性插值法，替换为可学习的密集上采样卷积。最后，在低级特征中串联注意机制。选用多种主干网络进行实验，数据集选用四川省隆昌市地区的部分图像，采用平均交并比和类别平均像素准确率作为评价指标。实验结果表明：所提方法不仅具有较高的分割精度，而且减少了计算量和参数量。
城市无人机遥感图像 语义分割 深度可分离混合空洞卷积 密集上采样 注意力机制 网格效应 激光与光电子学进展
2024, 61(4): 0428005
中国电子科技集团公司第十研究所航空电子信息系统技术重点实验室，四川 成都 610036
针对人工描述子在多模态匹配任务中辨识能力不足导致匹配效果不佳的问题，基于构造的累积结构特征图对多模态图像特征匹配方法的特征点提取、主方向分配和描述子构造等3方面进行扩展。在特征提取阶段，在不同尺度的累积结构特征图上提取混合特征点，兼顾特征点重复性和定位精度；在主方向分配阶段，采用累积结构特征和方向构造局部结构特征场提取特征点主方向，缓解特征点主方向估计容易出错的问题；在描述子构造阶段，对累积结构特征描述子进行L1距离归一化及开方操作替代L2距离归一化，提高描述子在特征匹配阶段的辨识能力。多模态匹配对比实验结果表明：相较于LHOPC、RIFT和HAPCG，所提方法在平均匹配正确点数目和平均匹配正确率等综合指标上明显占优；相较于CSF，所提方法平均正确率提升6.6%，平均匹配精度提升5.8%，表明其有效性。
多模态遥感图像 非线性辐射差异 累积结构特征 特征场 特征匹配 激光与光电子学进展
2024, 61(4): 0428002
1 国防科技大学 空天科学学院，湖南 长沙 410000
2 国防科技大学 图像测量与视觉导航湖南省重点实验室，湖南 长沙 410000
旋转目标检测是遥感图像处理领域中的重要任务，其存在的目标尺度变化大和目标方向任意等问题给自动目标检测带来了挑战。针对上述问题，提出了一种改进的RoI Transformer旋转目标检测框架：首先，利用RoI Transformer检测框架获取旋转的感兴趣区域特征(rotated region of interest, RRoI)用于鲁棒的几何特征提取；其次，在检测器中引入高分辨率网络(high-resolution network, HRNet)提取多分辨率特征图，在保持高分辨率特征同时适应目标的多尺度变化；最后，引入KLD(Kullback-Leibler divergence)损失，解决旋转目标表示的角度周期性的问题，提高检测方法对任意方向目标的适应性，并通过旋转目标边界框参数的联合优化提升目标定位精度。本文提出的旋转目标检测方法，即HRD-ROI Transformer (HRNet + KLD ROI Transformer)，在DOTAv1.0和DIOR-R两个公开数据集上与典型的旋转目标检测方法进行了比较。结果显示：相比于传统的RoI Transformer检测框架，本文方法在DOTAv1.0和DIOR-R数据集上检测结果的mAP(mean-average-precision)分别提高了3.7%和4%。
旋转目标检测 RoI Transformer 高分辨率网络 遥感图像目标检测 oriented object detection RoI Transformer high-resolution network object detection of remote sensing image
武汉工程大学智能机器人湖北省重点实验室, 武汉 430000
针对遥感地物图像具有背景复杂且种类众多的特点, 利用传统算法进行分割会导致边缘模糊、信息丢失及分割精度低的问题, 提出了一种基于改进DeepLabV3+网络的语义分割算法。首先, 在主干网络中引入改进后的特征提取网络CHRNet; 其次, 使用非下采样轮廓波变换(NSCT)算法重构空洞空间金字塔池化(ASPP)模块中的全局池化操作; 最后, 在模型编码和解码阶段添加无参数的注意力机制SimAM, 加强模块间的特征传递, 提高特征利用率。实验表明, 在PASCAL VOC2012和WHDLD数据集上, 改进算法的平均交并比(MIoU)分别达到了81.56%和64.2%, 较原有算法分别提升了约4.61和2.8个百分点, 改进算法在保证分割速率的同时, 提升了分割精度。
遥感图像 非下采样轮廓波变换 空洞空间金字塔池化 注意力机制 remote sensing image DeepLabV3+ DeepLabV3+ Non-Subsampled Contourlet Transform Atrous Spatial Pyramid Pooling attention mechanism
1 太原工业学院电子工程系, 山西太原 030008
2 长春理工大学电子信息工程学院, 吉林长春 130022
3 长春理工大学电子信息工程学院, 吉林长春 130022教育部学科创新引智基地(D17017), 吉林长春 130022
针对复杂任务场景中, 目标检测存在的多尺度特征学习能力不足、检测精度与模型参数量难以平衡的问题, 提出一种基于 CSE-YOLOv5(CBAM-SPPF-EIoU-YOLOv5, CSE-YOLOv5)模型的目标检测方法。模型以 YOLOv5主干网络框架为基础, 在浅层引入卷积块注意力机制层, 以提高模型细化特征提取能力并抑制冗余信息干扰。在深层设计了串行结构空间金字塔快速池化层, 改进了统计池化方法, 实现了由浅入深地融合多尺度关键特征信息。此外, 通过改进损失函数与优化锚框机制, 进一步增强多尺度特征学习能力。实验结果显示, CSE-YOLOv5系列模型在公开数据集 RSOD、DIOR和 DOTA上表现出良好的性能。 mAP@0.5的平均值分别为 96.8%、92.0%和 71.0%, 而 mAP@0.5:0.95的平均值分别为 87.0%、78.5%和 61.9%。此外, 该模型的推理速度满足实时性要求。与 YOLOv5系列模型相比, CSE-YOLOv5模型的性能显著提升, 并且在与其他主流模型的比较中展现出更好的检测效果。
遥感图像 目标检测 注意力机制 金字塔快速池化 多尺度目标 remote sensing images, target detection, attention
针对遥感卫星和高空无人机在海上航拍的可见光遥感图像中黑极性舰船目标检出率低的问题，提出了一种基于暗原色先验和恒虚警率原理的舰船目标检测方法。这种方法先对目标图像进行预处理，得到其暗原色图(DarkChannelImage，DCI)；再将 DCI作为二维恒虚警(2-DCFAR)检测法的输入，以局部统计灰度均值和方差作为目标检测特征，通过选择合适的目标判定阈值及目标空间分布信息完成疑似目标定位；疑似目标集合可以有效地被舰船目标特征矢量进行检验，根据得到的结果判定虚警是否去除，最后得到最终目标检测结果。实验结果表明，该方法对于可见光遥感图像中的舰船目标有较为准确的检测效果，总检出率可达 96.07%，并且对人眼视觉不易判别的黑极性目标有着类似“放大镜”的作用，对黑极性舰船目标的检出率可达 86.71%，较大地提高了可见光遥感图像中黑极性舰船目标的检出率，对优化黑极性目标检测方法创新有一定的指导意义，也为暗原色先验原理的应用提供了新思路。
可见光遥感图像 暗通道 恒虚警 黑极性舰船目标检测 目标特征矢量 visible remote sensing images dark channel constant false-alarm rate black polar ship targets target feature vector
东北林业大学信息与计算机工程学院, 哈尔滨 150000
遥感图像实时检测是遥感应用领域的关键技术问题之一, 针对目前主流的目标检测算法在图像处理器(GPU)上存在模型参数量大、实时性差、功耗大和成本高的问题, 提出一种基于现场可编程门阵列(FPGA)的遥感图像实时检测方案。首先, 为减少参数量、提高检测速度, 采用MobileNetv2作为特征提取网络, 融合深度可分离卷积, 使得模型轻量化便于部署; 接着,采用CA注意力模块提高检测精度;最后, 将模型浮点数参数量化为8位定点数, 并将量化后的网络模型在FPGA上完成部署。实验表明, 在遥感数据集VisDrone 2019上, 所提设计方案平均精度均值(mAP)达到14.79%, FPS达到46.78 帧/s, 平均功耗为8 W, 比CPU提高375.4%的检测速度, 比GPU降低96.8%的功耗。该方案可以满足实时目标检测的要求, 并且能够部署在功耗受限的卫星、无人机等设备上。
遥感图像 注意力机制 remote sensing image attention mechanism FPGA FPGA YOLOv4 YOLOv4
