目前主流的深度融合方法仅利用卷积运算来提取图像局部特征, 但图像与卷积核之间的交互过程与内容无关, 且不能有效建立特征长距离依赖关系, 不可避免地造成图像上下文内容信息的丢失, 限制了红外与可见光图像的融合性能。为此, 本文提出了一种红外与可见光图像多尺度 Transformer融合方法。以 Swin Transformer为组件, 架构了 Conv Swin Transformer Block模块, 利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码 -解码网络, 实现了图像全局特征提取与全局特征重构; 设计了特征序列融合层, 利用 SoftMax操作计算特征序列的注意力权重系数, 突出了源图像各自的显著特征, 实现了端到端的红外与可见光图像融合。在 TNO、Roadscene数据集上的实验结果表明, 该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制, 利用 Transformer建立图像的长距离依赖关系, 构建了图像全局特征融合模型, 比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。

由于成像机理不同，红外图像以像素分布表征典型目标，而可见光图像以边缘和梯度描述 纹理细节，现有的融合方法不能依据源图像特征自适应变化，造成融合结果不能同时保留红外目 标特征与可见光纹理细节。为此，本文提出红外与可见光图像多特征自适应融合方法。首先，构 建了多尺度密集连接网络，可以有效聚合所有不同尺度不同层级的中间特征，利于增强特征提取 和特征重构能力。其次，设计了多特征自适应损失函数，采用VGG-16网络提取源图像的多尺度 特征，以像素强度和梯度为测量准则，以特征保留度计算特征权重系数。多特征自适应损失函数 监督网络训练，可以均衡提取源图像各自的特征信息，从而获得更优的融合效果。公开数据集的 实验结果表明，该方法在主、客观评价方面均优于其他典型方法。

目前, 基于深度学习的融合方法依赖卷积核提取局部特征, 而单尺度网络、卷积核大小以及网络深度的限制无法满足图像的多尺度与全局特性。为此, 本文提出了红外与可见光图像注意力生成对抗融合方法。该方法采用编码器和解码器构成的生成器以及两个判别器。在编码器中设计了多尺度模块与通道自注意力机制, 可以有效提取多尺度特征, 并建立特征通道长距离依赖关系, 增强了多尺度特征的全局特性。此外, 构建了两个判别器, 以建立生成图像与源图像之间的对抗关系, 保留更多细节信息。实验结果表明, 本文方法在主客观评价上都优于其他典型方法。

传统稀疏表示融合方法，以图像块进行字典训练和稀疏分解，由于没有考虑图像块之间的内在联系，易造成字典原子表征图像特征能力不足、稀疏系数不准确，导致图像融合效果不好。为此，本文提出可见光与红外图像组 K-SVD(K-means singular value decomposition)融合方法，利用图像的非局部相似性，将相似图像块构造成图像结构组矩阵，通过组 K-SVD进行字典训练和稀疏分解，可以有效提高字典原子的表征能力及稀疏系数的准确性。实验结果表明，该方法在主观和客观评价上都优于传统稀疏融合方法。

传统的可见光与红外稀疏表示融合方法, 采用图像块构造解析字典或者学习字典, 利用字典的原子表征图像的显著特征。这类方法存在两个问题, 一是没有考虑图像块与块之间的联系, 二是字典的适应能力不够并且复杂度高。针对这两个问题, 本文提出可见光与红外图像结构组双稀疏融合方法。该方法首先利用图像的非局部相似性, 将图像块构建成图像相似结构组, 然后对图像相似结构组进行字典训练, 采用双稀疏分解模型, 有效结合解析字典和学习字典的优势, 降低了字典训练的复杂度, 得到的结构字典更加灵活, 适应性提高。该方法能够有效提高红外与可见光融合图像的视觉效果, 经对比实验分析, 在主观和客观评价上都优于传统的稀疏表示融合方法。

针对现有融合算法在处理红外偏振和光强两种模态图像时无法随着差异特征的不同而变化的问题, 提出了一种双模态红外图像的集值映射融合方法。以多组红外偏振和光强图像为训练样本, 根据底层特征的融合算法的类型分别建立差异特征类集和融合算法类集; 构造各个差异特征对应各融合算法的融合有效度分布; 通过多组图像融合有效度分布的均值聚合, 建立全局图像的差异特征与融合算法的集值映射关系; 提取被融合图像的差异特征, 根据集值映射选择相应算法, 通过各算法的组合得到融合结果。实验表明, 该融合方法可以优化选择融合算法, 将互补性强的差异特征有效融合。

针对SAR、红外和可见光图像的灰度差异性大，融合图像感兴趣目标不突出的问题，提出一种基于NSST 和稀疏表示的多源异类图像融合方法。首先将训练图像进行NSST 变换，在低频系数上构建多尺度学习字典；对SAR、红外和可见光图像进行NSST 变换，利用滑动窗口分解低频系数为图像块序列，对图像块序列零均值化后再稀疏分解，采用稀疏系数绝对值取大的融合规则；高频子带系数采用局部方向信息熵显著性因子取大的融合规则；最后对融合系数进行NSST 逆变换得到最终的融合图像。

针对目前合成孔径雷达(SAR)与可见光图像融合结果目标信息缺失、对比度不高的缺点，提出了一种基于纹理分割和top-hat变换的图像增强融合算法。将SAR图像灰度共生矩阵的熵纹理特征图进行阈值分割，提取SAR图像的感兴趣区域（ROI）；并对SAR和可见光图像进行非下采样Contourlet变换(NSCT)分解，低频系数采用基于区域的融合规则，在感兴趣区域内选择SAR的低频系数。对低频系数进行top-hat变换得到显著化的图像亮、暗细节特征，并加入到低频系数上形成低频合成系数；高频子带系数采用局部方向信息熵显著性因子取大的融合规则；对融合系数进行NSCT逆变换得到最终的融合图像。实验证明了本算法的有效性。

特征匹配的准确率影响图像配准的精度, 是基于特征配准方法的重点和难点之一。为了解决单向最近邻/次近邻法所导致特征点一对多的误匹配问题, 提出了一种红外和可见光图像的特征双向匹配方法。首先, 对红外图像进行反相和直方图均衡化处理, 增强两类图像的相似性, 提取数量更多重复率高的共有特征；其次, 对提取的 SURF(Speed-up Robust Feature)特征进行双向最近邻/次近邻粗匹配, 确保特征匹配的一致性, 降低误匹配率, 并利用 RANSAC(Random Sample Consensus)算法对特征点进行二次匹配, 实现特征点精确匹配。实验结果表明, 该算法在正确匹配率和配准精度方面都优于传统 SURF的单向最近邻/次近邻匹配方法, 具有有效性。