1 吉林大学 计算机科学与技术学院,吉林长春3002
2 中国科学院 苏州生物医学工程技术研究所,江苏苏州15163
针对高光谱遥感图像分类时有标注的源域训练数据与无标注目标域数据分布不一致的问题,提出基于部分最优传输的无监督领域自适应方法,实现对处于不同数据分布的高光谱遥感地物像素级分类。利用深度卷积神经网络将样本映射到潜在高维空间,根据部分最优传输理论建立样本传输方案,最小化域间分布差异,构建适配模型。采用类感知采样技术和质量分数因子自适应调整策略,促进域间类别对齐,建立全局最优传输。在两组公开高光谱遥感图像数据集上进行实验,从总体分类精度OA(%)、类别平均分类精度AA(%)、分类一致性检验Kappa(×100)等3个评价指标对像素分类结果量化比较。实验结果显示,在两组迁移任务上,相较于仅使用源域数据的基线模型,总体分类准确率分别提升2.21%和2.75%,相较于原始最优传输策略提升1.71%和2.01%,表明模型能够有效提升高光谱遥感影像中像素级地物的分类精度。
计算机视觉 神经网络 领域自适应 最优传输 高光谱图像 computer vision neural network domain adaptation optimal transport hyperspectral image 光学 精密工程
2023, 31(17): 2555
红外与激光工程
2023, 52(7): 20230321
由于卫星遥感合成孔径雷达(SAR)与可见光图像之间存在显著的非线性辐射差异,故现有的SAR与可见光图像配准算法存在实时性差、旋转与尺度不变性弱等问题。针对目前算法只关注图像局部特征的外观信息,而忽略几何结构信息的问题,提出了一种结合卷积与图神经网络(GNN)的SAR与可见光图像匹配方法。该方法采用卷积神经网络进行特征检测与描述的同时,引入了GNN进行特征匹配。与最近邻匹配算法仅利用局部描述符信息相比,GNN先将特征点的位置坐标嵌入到描述符中,使得描述符具有几何位置信息,再利用注意力机制进一步聚合特征描述符的几何上下文信息,最后利用可微分的最优传输算法直接输出特征点的匹配结果,保证了网络可进行端到端的训练。实验结果表明:所提方法在大范围旋转与尺度变化的配准任务上,获得了最先进的性能;与目前主流配准算法辐射不变特征变换相比,所提方法在提升匹配精度的同时,计算速度也提高了50倍以上。
图像处理 异源图像匹配 合成孔径雷达与可见光图像配准 卷积神经网络 图神经网络 最优传输 光学学报
2022, 42(24): 2410002
江西理工大学 信息工程学院, 江西 赣州 341000
颜色传递在图像处理领域一直备受关注, 传统的颜色传递方法往往存在细节保持能力不足、层次感欠缺和视觉效果不佳等问题。针对上述问题, 本文提出了一种结合图像签名和最优传输的局部颜色传递新方法。首先, 引入基于图像签名的显著区域检测方法, 得到参考图像和内容图像的前景区域和背景区域, 然后在对应区域进行颜色传递以提高结果图像的层次感。其次, 在传统线性颜色传递模型的基础上, 结合最优传输理论提出了一种保持内容图像亮度的颜色传递策略, 以较好地提升结果图像的质量。最后, 为了更好地评估颜色传递效果, 结合色度差和结构相似度设计了一种新的颜色传递客观评价指标。实验结果表明, 相比于传统的颜色传递方法, 文中所提方法得到的结果图像能够较好地保持内容图像的细节信息和层次感, 并且具有更佳的视觉效果(新方法综合效果较传统方法提升了约30%)。另外, 相对于传统的颜色传递评价指标而言, 文中所提客观评价指标更加忠实于用户的主观评价结果。实验分析表明, 与传统颜色传递方法相比, 文中所提方法得到的结果图像在细节保持、层次感保持以及视觉效果上均有更佳表现, 而且文中所提客观评价指标更为贴近主观评价结果。
图像签名 显著检测 最优传输 传递策略 颜色传递 image signature saliency map optimal transmission delivery strategy color transfer