由于卫星遥感合成孔径雷达（SAR）与可见光图像之间存在显著的非线性辐射差异，故现有的SAR与可见光图像配准算法存在实时性差、旋转与尺度不变性弱等问题。针对目前算法只关注图像局部特征的外观信息，而忽略几何结构信息的问题，提出了一种结合卷积与图神经网络（GNN）的SAR与可见光图像匹配方法。该方法采用卷积神经网络进行特征检测与描述的同时，引入了GNN进行特征匹配。与最近邻匹配算法仅利用局部描述符信息相比，GNN先将特征点的位置坐标嵌入到描述符中，使得描述符具有几何位置信息，再利用注意力机制进一步聚合特征描述符的几何上下文信息，最后利用可微分的最优传输算法直接输出特征点的匹配结果，保证了网络可进行端到端的训练。实验结果表明：所提方法在大范围旋转与尺度变化的配准任务上，获得了最先进的性能；与目前主流配准算法辐射不变特征变换相比，所提方法在提升匹配精度的同时，计算速度也提高了50倍以上。

针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。

针对复杂环境下引起的目标失跟问题，提出了一种基于模型互更新的可见光与红外图像融合跟踪算法。基于把视觉跟踪问题视为 “中心-周围”分类的思想，首先从可见光与红外图像中分别提取目标及周围像素点的特征，然后采用 Boosting算法训练得到跟踪模型。基于分类结果计算像素点的置信度，采用决策级融合方法得到似然图像，通过均值漂移算法估计目标位置。最后在 Co-Training框架下结合目标跟踪结果进行模型的互更新。实验结果表明，该算法提高了跟踪的鲁棒性，有效利用了多模图像的信息。

提出了基于修正的尺度不变特征变换（SIFT）特征提取和Shape Context特征描述算子相结合的多模图像自动配准算法，该算法利用修正的SIFT算法提取多模图像中的特征点，然后采用Shape Context算子描述特征点，利用特征点周围区域边缘点的梯度方向形成特征向量。采用欧氏距离作为匹配标准对多模图像中特征点进行初始匹配，然后通过RANSAC算法消除误匹配的特征点对，并采用最小二乘法计算仿射变换参数，最后通过仿射变换和双线性插值实现图像配准。对红外图像和可见光图像的配准实验结果表明了本算法的有效性和稳定性。