由于卫星遥感合成孔径雷达（SAR）与可见光图像之间存在显著的非线性辐射差异，故现有的SAR与可见光图像配准算法存在实时性差、旋转与尺度不变性弱等问题。针对目前算法只关注图像局部特征的外观信息，而忽略几何结构信息的问题，提出了一种结合卷积与图神经网络（GNN）的SAR与可见光图像匹配方法。该方法采用卷积神经网络进行特征检测与描述的同时，引入了GNN进行特征匹配。与最近邻匹配算法仅利用局部描述符信息相比，GNN先将特征点的位置坐标嵌入到描述符中，使得描述符具有几何位置信息，再利用注意力机制进一步聚合特征描述符的几何上下文信息，最后利用可微分的最优传输算法直接输出特征点的匹配结果，保证了网络可进行端到端的训练。实验结果表明：所提方法在大范围旋转与尺度变化的配准任务上，获得了最先进的性能；与目前主流配准算法辐射不变特征变换相比，所提方法在提升匹配精度的同时，计算速度也提高了50倍以上。
图像处理 异源图像匹配 合成孔径雷达与可见光图像配准 卷积神经网络 图神经网络 最优传输 光学学报
2022, 42(24): 2410002
长春理工大学光电工程学院，吉林 长春 130022
由于待匹配图像存在视场差别且像素灰度存在非线性差异，异源图像在匹配过程中存在特征点稳定性弱、分布不均匀、匹配质量差等问题，基于此，提出了一种基于尺度不变特征变换（SIFT）算法的图像特征点匹配算法。首先，特征点检测时，在尺度空间设置权重系数对各层图片分别设置网格，并结合图像的相位响应强度图采用四叉树的方法筛选出均匀分布且稳定的特征点。其次，重新构建了描述子，并以标准化欧氏距离代替欧氏距离对特征描述符进行度量，采用双向匹配策略进行粗匹配。最后，以随机抽样一致性（RANSAC）算法进行提纯。实验结果表明，所提算法可以提取到异源图像间可靠稳定的特征，提高特征点匹配的准确性。
成像系统 异源图像 图像匹配 尺度不变特征变换算法 特征点 激光与光电子学进展
2022, 59(12): 1211002
1 山东黄金矿业(莱西)有限公司, 山东 青岛 266000
2 中国矿业大学信息与控制工程学院, 江苏 徐州 221000
针对异源图像配准中传感器物理特性差异造成的待匹配特征维度较高、稳定性较弱、配准质量较差等问题,提出一种基于尺度不变特征变换(SIFT)的异源图像配准方法。该方法首先结合相位一致性和改进的SIFT算法获得稳定的特征,然后利用最近邻距离比方法进行初匹配,接着提出了一种联合误差与欧氏距离(JEED)方法进行再匹配,最后采用模式搜索尺度不变特征变换(MS-SIFT)方法优化匹配点对以提高图像配准质量。实验结果表明,相比于现有方法,所提方法能够提取可靠稳定的特征,获得了较高配准质量,同时提高了配准算法的实时性。
图像处理 异源图像 图像配准 特征点 尺度不变特征变换算法 分层区域 激光与光电子学进展
2021, 58(24): 2410003
提出了一种基于相位特征及金字塔算法的图像匹配方法, 提高了对异源图像的匹配性能及算法处理速度。首先, 对图像进行金字塔运算, 由顶层匹配至底层匹配进行基于不同尺度的图像相位特征处理。处理的具体流程为：在图像中选取感兴趣区域, 然后遍历该区域上每个像素点提取的图像块, 与对应的异源图像进行FM相位特征匹配; 然后, 在感兴趣区域中获取相位特征匹配系数最大的点作为平移量。进入下级金字塔进行处理, 在得到的初始平移参数附近搜索更精确的参数。遍历全部金字塔层级后, 得到最终的平移量、缩放及旋转参数。通过几组红外-可见光、SAR-可见光匹配对的仿真实验及高斯白噪声干扰实验可知, 该方法比几种经典算法及近年来提出的算法匹配成功率更高, 匹配稳定性更好, 鲁棒性更强。
FM变换 相位特征 异源图像匹配 最优化问题 参数变换 FM transformation phase characteristics heterogeneous image matching optimization problem parameter transformation
1 河南工学院计算机科学与技术学院，河南新乡 453000
2 北京邮电大学电子工程学院，北京 100876
针对异源图像提出一种基于多尺度密集结构特征的快速匹配算法。算法首先利用 Gabor滤波器逐像素提取图像中的结构响应，再根据主方向响应对多尺度结构特征融合，然后使用快速傅里叶 变换在频域计算各特征分量图像之间的卷积，最后将卷积生成的系数矩阵求和计算出图像之间的相似性并选择相似性最大位置作为匹配结果输出。本文算法能有效适应异源图像间的非线性灰度变化 和噪声干扰问题。测试使用可见光、红外、雷达图像组成的异源图像数据集对本文算法和现有算法进行测试比较，结果表明：本文算法的平均误匹配率最低，并且计算速度有明显优势。
异源图像匹配 卷积定理 快速傅里叶变换 密集特征 Gabor滤波器 multi-sensor image matching, convolution theorem,
1 昆明物理研究所，云南 昆明 650223
2 国网辽阳供电公司，辽宁 辽阳 111000
对于异源可见光与红外图像配准，以互信息为相似性度量条件，以粒子群算法为搜索算法，在搜索空间中搜索极大值点，通过改变图像分辨率，由粗到精，逐步实现可见光图像与红外图像的配准，对粒子群算法、统计互信息和仿射变换3 个部分的内在并行性，利用CUDA C 语言实现GPU-CPU 异构编程。实验证明，在不降低精度的前提下提高了算法效率，得到了很好的加速比，算法正确匹配率高，鲁棒性好，计算效率高。
异源图像 互信息 粒子群 图像配准 Heterogeneous images mutual information particle swarm optimization images registration GPU GPU
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
为了寻求应用于复杂地物条件下异源景象匹配的算法, 使其满足尺度和旋转不变性, 受视觉成像系统的启发, 利用初始简图可以表征图像大部分信息的特点, 提出了一种新的基于线段对的异源图像匹配算法。首先, 提取并筛选图像中能够表征图像信息的线段; 然后, 利用线段自身信息及线段的相对位置关系构建线段对特征; 接着, 通过线段对之间的相似性对图像进行粗匹配; 最后, 利用线段之间的拓扑关系进行精匹配。实验表明, 本文方法对具有旋转、缩放和平移变换的异源图像的匹配正确率达到了75%以上, 运算时间是传统匹配算法的1/5左右, 基本满足了异源景象匹配应用对算法实时性和准确性的要求。
图像匹配 线段对匹配 尺度旋转无关 异源图像 image registration line-pairs registration rotation and scale invariance multi-sensor image
在基于特征的异源图像匹配中，由于成像原因导致的轮廓不完整会使得匹配难度增加。针对这一问题，提出了一种基于分块形状特征的匹配方法。首先从基准图和实时图中提取轮廓特征并对其进行分块，然后提取分块特征并归一化，最后采用加权相似性度量实现匹配定位。由于利用候选目标区域信息排除了虚警，进一步提高了匹配的正确性和鲁棒性。采用该方法对红外与可见光图像进行了测试。结果表明，本文方法具有较好的匹配性能。
异源图像 图像匹配 形状相似性 分块特征 multi-sensor images image matching shape matching block feature
1 国防科学技术大学航天科学与工程学院, 湖南 长沙 410073
2 国防科学技术大学图像测量与视觉导航湖南重点实验室, 湖南 长沙 410073
3 海军装备部, 北京 100071
非均态灰度变化和局部景象变化是异源图像配准面临的主要挑战。基于平均局部相位角(MLPA)和频率展开相位一致(FSPC)两种局部频率表达实现了对异源图像的非均态灰度和对比度反转不变的描述，并通过FSPC提取了图像间的公共结构信息；通过目标函数综合MLPA和FSPC的优势，对图像间公共结构信息分配更大的置信度；通过调整单纯型模拟退火算法，避免算法陷于局部最优解。大量真实和仿真实验证明了该方法能有效容忍图像间较大几何变形、景物差异和非均态灰度变化，改善了传统方法的配准精度和稳定性。
机器视觉 图像配准 图像表达 异源图像 局部频率信息 单纯型模拟退火
