为改善现有融合策略对源图像信息利用不够充分的问题，利用滚动引导滤波器和各向异性扩散来提取基础层和细节层，对获取的基础层和细节层分别使用视觉显著映射和权重图构建的方法进行融合，然后添加某一权重将融合后的基础层与细节层图像融合为最终图像。基于公开数据集的多个场景进行方法实验验证。实验结果表明，相比其他方法，所提方法得到的融合结果具有更好的对比度，在保持图像像素强度均匀分布的前提下在边缘细节处保留了丰富的纹理特征，具有更好的视觉效果和融合精度，同时在平均梯度、信息熵、空间频率等指标上取得了显著的进步。

针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制，而鉴别阶段缺乏注意力感知能力的问题，提出了一种基于双注意力机制生成对抗网络（double attention generative adversarial networks,DAGAN）的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块，该模块在不同尺度空间中将空间注意力和通道注意力结合，并将其应用在图像生成阶段和鉴别阶段，使生成器和鉴别器均能感知图像中最具鉴别性的区域，同时提出了一种注意力损失函数，利用鉴别阶段的注意力图计算注意力损失，保存更多目标信息和背景信息。公开数据集 TNO测试表明：与其他 7种融合方法相比， DAGAN具有最好的视觉效果与最高的融合效率。

针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。

为增强红外与可见光图像融合可视性, 克服红外与可见光图像融合结果中细节丢失、 目标不显著和对比度低等问题, 提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。 首先, 以人类视觉感知理论为基础, 针对人眼对图像不同区域敏感性不同特性, 在跨模态融合任务中需要对源图像进行不同层次分解, 避免高频分量和低频分量混合减少光晕效应, 采用二尺度分解方法对源红外与可见光图像进行分解, 分别获取各自的基本层和细节层, 该分解方法能够很好的表达图像并具有很好的实时性; 然后, 针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则, VSM方法能够很好提取源图像中的显著结构和目标。 采用基于VSM的加权平均融合规则对基本层融合, 能够有效避免直接使用加权平均策略而导致对比度损失, 使融合图像可视性更好; 针对细节层的融合, 采用Kirsch算子对源图像分别提取得到显著图, 然后通过VGG-19网络对显著图进行特征提取获取权值图, 并与细节层进行融合, 得到融合的细节层; Kirsch算子能在八个方向上快速提取图像边缘, 显著图中将包含更多边缘信息和更少噪声, 且VGG-19网络能够提取到图像更深层特征信息, 获取的权值图中将包含更多有用信息; 最后, 将融合后的基本层和细节层图像进行叠加, 获取最终融合结果。 在实验部分, 选取了四组典型的红外与可见光图像来进行测试, 并与其他六种目前主流方法进行对比。 结果表明, 该方法在主观质量上具有高对比度、 目标突出、 细节信息丰富和图像边缘特征保持较好等优势。 在信息熵、 互信息、 标准差、 多尺度结构相似度测量和差异相关和等客观指标上也展现出比较好的结果。

红外与可见光图像融合一直是图像领域研究的热点, 融合技术能弥补单一传感器的不足, 为图像理解与分析提供良好的成像基础。 因生产工艺以及成本的限制, 红外探测器的分辨率远低于可见光探测器, 并在一定程度上因源图像分辨率的差异阻碍了实际应用。 针对红外与可见光图像分辨率不一致的问题, 提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架, 应用于多分辨率图像融合。 在网络结构方面, 首先设计了双通道网络分别提取红外与可见光特征, 使算法不受源图像分辨率的限制; 其次提出了特征上采样模块, 先用双线性插值方法增加像素个数, 再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系, 无需重新训练模型即可实现任意尺度的红外图像上采样; 接着将线性注意力引入网络, 学习特征空间位置间的非线性关系, 抑制无关信息并增强网络对全局信息的表达。 在损失函数方面, 提出了梯度损失, 保留红外与可见光图像中绝对值较大的滤波器响应值, 并计算该值与重建的融合图像响应值的Frobenius范数, 无需理想的融合图像作为真值监督网络学习就能生成融合图像; 此外, 在梯度损失、 像素损失的共同作用下对多任务模型进行优化, 可以同时重建融合图像和高分辨率红外图像。 算法在RoadScene数据集上进行训练, 与其他4种相关算法在TNO数据集上进行对比, 主观性能上该方法可以输入任意分辨率的源图像, 融合图像红外目标突出、 可见光细节纹理丰富, 在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像, 模型泛化性能强; 客观性能上在信息熵、 差异相关性总量、 空间频率等多个评价指标上表现优异, 结果表明重建的融合图像信息丰富、 信息转化率高、 清晰度高, 验证了算法的有效性。

针对红外与可见光图像融合中出现细节信息丢失及边缘模糊的问题, 提出一种在变换域中通过 VGGNet19网络的红外与可见光图像融合方法。首先, 为了使得源图像在分解过程中提取到精度更高的基础与细节信息, 将源图像利用具有保边平滑功能的多尺度引导滤波器进行分解, 分解为一个基础层与多个细节层；然后, 采用具有保留主要能量信息特点的拉普拉斯能量对基础层进行融合得到基础融合图；其次, 为了防止融合结果丢失一些细节边缘信息, 采用 VGGNet19网络对细节层进行特征提取, L1正则化、上采样以及最终的加权平均策略得到融合后的细节部分；最后, 通过两种融合图的相加即可得最终的融合结果。实验结果表明, 本文方法更好地提取了源图像中的边缘及细节信息, 在主观评价以及客观评价指标中均取得了更好的效果。

不同类型的探测器在成像机理上有不同的侧重点，使得成像图像表征的信息也有所不同，导致单幅图像不能完整地反映场景的有效信息。因此，提取多源图像的互补信息，并去除其中的冗余信息，合成一幅能准确、完整表达场景的复合图像的技术成为了图像处理领域中一项非常重要的技术，图像融合正是这类问题的一种有效解决方法。针对传统多尺度分解的图像融合方法易产生噪声和信息缺失的现象，文中提出了一种基于多层级图像分解的红外与可见光图像融合算法。首先，利用加权平均曲率滤波的边缘保持特性与高斯滤波的平滑特性，构建了多层级图像分解模型。在利用该模型将源图像分解为小尺度层、大尺度层和基层等3个不同层级。然后，针对基层，采用能量属性融合策略进行融合；针对大尺度层，采用复合融合策略进行融合；针对小尺度层，采用最大值融合策略。最后，将融合后的层级进行加和，以重构出最终的融合图像。实验结果表明：文中提出的基于多层级图像分解的图像融合算法能够有效降低噪声产生的概率，同时减少了融合后的信息缺失。

最近, 多尺度特征提取被广泛应用于红外与可见光图像融合领域, 但是大多数提取过程过于复 杂, 并且视觉效果不佳。为了提高融合结果的视觉保真度, 本文提出一种基于边缘感知平滑锐化滤波 器(Edge-Aware Smoothing-Sharpening Filter, EASSF)的多尺度图像融合模型。首先, 提出一种基于 EASSF 的多尺度水平图像分解方法对源图像进行分解, 得到水平方向上的多尺度纹理成分和基础成 分; 其次, 采用最大值融合规则(Max-Fusion, MF)融合纹理成分, 避免图像细节信息的丢失; 然后, 通过一种感知融合规则(Perceptual-Fusion, PF)融合基础成分, 捕获显著性目标信息; 最后, 通过整 合融合后的多尺度纹理成分和基础成分得到融合图像。实验通过分析感知融合系数, 对比融合结果的 客观数据得出红外与可见光图像融合在多尺度 EASSF 下较为合适的取值范围; 在该取值范围内, 本 文提出的融合模型同一些较为经典和流行的融合方法相比, 不仅解决了特征信息提取的复杂性, 而且 通过整合基础成分的显著性光谱信息, 有效地保证了融合结果的视觉保真度。