为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题，提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计，主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征；将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积；引入Soft-NMS改善结群行人漏检问题；嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明：与其他融合方法相比，所提方法行人漏检率降低、检测速度显著提高；与YOLOv7-Tiny相比，改进后的模型检测精度提高了2.4%，每秒检测帧数达到124 frame/s，能够满足低能见度行人实时检测需求。

红外与可见光图像融合可以生成包含更多信息的图像，比原始图像更符合人类视觉感知也有利于下游任务的进行。传统的基于信号处理的图像融合方法存在泛化能力不强、处理复杂图片融合性能下降等问题。深度学习有很强的特征提取能力，其生成的结果较好，但结果中存在纹理细节信息保存少、图像模糊的问题。针对这一问题，文中提出一种基于多尺度 Swin-transformer和注意力机制的红外与可见光图像融合网络模型。Swin-transformer可以在多尺度视角下提取长距离语义信息，注意力机制可以将所提特征中的不重要特征弱化，保留主要信息。此外本文提出了一种新的混合特征聚合模块，针对红外和可见光图像各自的特点分别设计了亮度增强模块和细节保留模块，有效保留更多的纹理细节和红外目标信息。该融合方法包括编码器、特征聚合和解码器三部分。首先，将源图像输入编码器，提取多尺度深度特征；然后，设计特征聚合融合每个尺度的深度特征；最后，采用基于嵌套连接的解码器重构融合后的图像。在公开数据集上的实验结果表明本文提出的方法对比其他先进的方法具有更好的融合性能。其中在客观评价指标中 EI、AG、QP、EN、SD指标达到最优。从主观感受上，所提红外和可见光图像融合方法能够使结果中保留更多的边缘细节。

针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制，而鉴别阶段缺乏注意力感知能力的问题，提出了一种基于双注意力机制生成对抗网络（double attention generative adversarial networks,DAGAN）的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块，该模块在不同尺度空间中将空间注意力和通道注意力结合，并将其应用在图像生成阶段和鉴别阶段，使生成器和鉴别器均能感知图像中最具鉴别性的区域，同时提出了一种注意力损失函数，利用鉴别阶段的注意力图计算注意力损失，保存更多目标信息和背景信息。公开数据集 TNO测试表明：与其他 7种融合方法相比， DAGAN具有最好的视觉效果与最高的融合效率。

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（ Non-Subsampled Shearlet Transform, NSST）、残差网络（ Residual Network, ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种 N-RGAN模型。通过 NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行 NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（ Peak Signal to Noise Ratio, PSNR）、平均梯度（ Average Gradient, AVG）、图像熵（ Image Entropy, IE）、空间频率（ Spatial Frequency, SF）、边缘强度（ Edge Strength, ES）、图像清晰度（ Image Clarity, IC）等多个客观指标上均有提高，可提升复杂场景下的红外与可见光图像融合效果，改善图像细节纹理信息损失严重的问题，同时提升图像对比度与清晰度。

针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。

针对传统图像融合算法目标不突出、边缘及纹理细节不清晰或缺失、对比度降低等问题，提出一种基于引导滤波（GF）和双树复小波变换（DTCWT）的红外与可见光图像融合算法。首先，根据红外与可见光图像的特点，在DTCWT分解前对可见光图像进行GF增强，同时对经DTCWT分解后的红外高频分量进行GF增强；然后，根据不同频带系数特点，提出一种基于显著性的自适应加权规则对红外与可见光低频子带分量进行融合，采用一种基于拉普拉斯能量和（SML）与梯度值向量的规则对不同尺度、方向下高频子带进行融合；最后，对融合后的高、低频系数进行DTCWT逆变换以得到最终重构图像。将所提算法与6种高效融合算法进行对比评价，实验结果表明，所提融合算法在不同场景下具有显著的目标特征，同时背景纹理和边缘细节清晰，整体对比度适宜，并且在4类客观评价指标上也取得了较好的效果。

为增强红外与可见光图像融合可视性, 克服红外与可见光图像融合结果中细节丢失、 目标不显著和对比度低等问题, 提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。 首先, 以人类视觉感知理论为基础, 针对人眼对图像不同区域敏感性不同特性, 在跨模态融合任务中需要对源图像进行不同层次分解, 避免高频分量和低频分量混合减少光晕效应, 采用二尺度分解方法对源红外与可见光图像进行分解, 分别获取各自的基本层和细节层, 该分解方法能够很好的表达图像并具有很好的实时性; 然后, 针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则, VSM方法能够很好提取源图像中的显著结构和目标。 采用基于VSM的加权平均融合规则对基本层融合, 能够有效避免直接使用加权平均策略而导致对比度损失, 使融合图像可视性更好; 针对细节层的融合, 采用Kirsch算子对源图像分别提取得到显著图, 然后通过VGG-19网络对显著图进行特征提取获取权值图, 并与细节层进行融合, 得到融合的细节层; Kirsch算子能在八个方向上快速提取图像边缘, 显著图中将包含更多边缘信息和更少噪声, 且VGG-19网络能够提取到图像更深层特征信息, 获取的权值图中将包含更多有用信息; 最后, 将融合后的基本层和细节层图像进行叠加, 获取最终融合结果。 在实验部分, 选取了四组典型的红外与可见光图像来进行测试, 并与其他六种目前主流方法进行对比。 结果表明, 该方法在主观质量上具有高对比度、 目标突出、 细节信息丰富和图像边缘特征保持较好等优势。 在信息熵、 互信息、 标准差、 多尺度结构相似度测量和差异相关和等客观指标上也展现出比较好的结果。

红外与可见光图像融合一直是图像领域研究的热点, 融合技术能弥补单一传感器的不足, 为图像理解与分析提供良好的成像基础。 因生产工艺以及成本的限制, 红外探测器的分辨率远低于可见光探测器, 并在一定程度上因源图像分辨率的差异阻碍了实际应用。 针对红外与可见光图像分辨率不一致的问题, 提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架, 应用于多分辨率图像融合。 在网络结构方面, 首先设计了双通道网络分别提取红外与可见光特征, 使算法不受源图像分辨率的限制; 其次提出了特征上采样模块, 先用双线性插值方法增加像素个数, 再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系, 无需重新训练模型即可实现任意尺度的红外图像上采样; 接着将线性注意力引入网络, 学习特征空间位置间的非线性关系, 抑制无关信息并增强网络对全局信息的表达。 在损失函数方面, 提出了梯度损失, 保留红外与可见光图像中绝对值较大的滤波器响应值, 并计算该值与重建的融合图像响应值的Frobenius范数, 无需理想的融合图像作为真值监督网络学习就能生成融合图像; 此外, 在梯度损失、 像素损失的共同作用下对多任务模型进行优化, 可以同时重建融合图像和高分辨率红外图像。 算法在RoadScene数据集上进行训练, 与其他4种相关算法在TNO数据集上进行对比, 主观性能上该方法可以输入任意分辨率的源图像, 融合图像红外目标突出、 可见光细节纹理丰富, 在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像, 模型泛化性能强; 客观性能上在信息熵、 差异相关性总量、 空间频率等多个评价指标上表现优异, 结果表明重建的融合图像信息丰富、 信息转化率高、 清晰度高, 验证了算法的有效性。