为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题，提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计，主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征；将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积；引入Soft-NMS改善结群行人漏检问题；嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明：与其他融合方法相比，所提方法行人漏检率降低、检测速度显著提高；与YOLOv7-Tiny相比，改进后的模型检测精度提高了2.4%，每秒检测帧数达到124 frame/s，能够满足低能见度行人实时检测需求。

红外与可见光图像融合可以生成包含更多信息的图像，比原始图像更符合人类视觉感知也有利于下游任务的进行。传统的基于信号处理的图像融合方法存在泛化能力不强、处理复杂图片融合性能下降等问题。深度学习有很强的特征提取能力，其生成的结果较好，但结果中存在纹理细节信息保存少、图像模糊的问题。针对这一问题，文中提出一种基于多尺度 Swin-transformer和注意力机制的红外与可见光图像融合网络模型。Swin-transformer可以在多尺度视角下提取长距离语义信息，注意力机制可以将所提特征中的不重要特征弱化，保留主要信息。此外本文提出了一种新的混合特征聚合模块，针对红外和可见光图像各自的特点分别设计了亮度增强模块和细节保留模块，有效保留更多的纹理细节和红外目标信息。该融合方法包括编码器、特征聚合和解码器三部分。首先，将源图像输入编码器，提取多尺度深度特征；然后，设计特征聚合融合每个尺度的深度特征；最后，采用基于嵌套连接的解码器重构融合后的图像。在公开数据集上的实验结果表明本文提出的方法对比其他先进的方法具有更好的融合性能。其中在客观评价指标中 EI、AG、QP、EN、SD指标达到最优。从主观感受上，所提红外和可见光图像融合方法能够使结果中保留更多的边缘细节。

针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制，而鉴别阶段缺乏注意力感知能力的问题，提出了一种基于双注意力机制生成对抗网络（double attention generative adversarial networks,DAGAN）的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块，该模块在不同尺度空间中将空间注意力和通道注意力结合，并将其应用在图像生成阶段和鉴别阶段，使生成器和鉴别器均能感知图像中最具鉴别性的区域，同时提出了一种注意力损失函数，利用鉴别阶段的注意力图计算注意力损失，保存更多目标信息和背景信息。公开数据集 TNO测试表明：与其他 7种融合方法相比， DAGAN具有最好的视觉效果与最高的融合效率。

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（ Non-Subsampled Shearlet Transform, NSST）、残差网络（ Residual Network, ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种 N-RGAN模型。通过 NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行 NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（ Peak Signal to Noise Ratio, PSNR）、平均梯度（ Average Gradient, AVG）、图像熵（ Image Entropy, IE）、空间频率（ Spatial Frequency, SF）、边缘强度（ Edge Strength, ES）、图像清晰度（ Image Clarity, IC）等多个客观指标上均有提高，可提升复杂场景下的红外与可见光图像融合效果，改善图像细节纹理信息损失严重的问题，同时提升图像对比度与清晰度。

针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题，提出基于互信息特征分离表达的红外与可见光图像融合方法，有效分离特征的同时保留源图像的典型信息。首先，采用互信息约束的编码网络提取特征，最大化源图像与特征间互信息来保留源图像的特征表示，同时通过最小化私有和公有特征的互信息来达到分离表达的目的；其次，特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息，减小语义差距并调整感受野，增强网络对特征的学习能力；此外，损失函数采用软加权强度损失来平衡红外与可见光特征分布；最后，对比实验的主客观评价结果表明，所提方法能有效融合红外与可见光图像的重要信息，具有良好的视觉感知。

不同类型的探测器在成像机理上有不同的侧重点，使得成像图像表征的信息也有所不同，导致单幅图像不能完整地反映场景的有效信息。因此，提取多源图像的互补信息，并去除其中的冗余信息，合成一幅能准确、完整表达场景的复合图像的技术成为了图像处理领域中一项非常重要的技术，图像融合正是这类问题的一种有效解决方法。针对传统多尺度分解的图像融合方法易产生噪声和信息缺失的现象，文中提出了一种基于多层级图像分解的红外与可见光图像融合算法。首先，利用加权平均曲率滤波的边缘保持特性与高斯滤波的平滑特性，构建了多层级图像分解模型。在利用该模型将源图像分解为小尺度层、大尺度层和基层等3个不同层级。然后，针对基层，采用能量属性融合策略进行融合；针对大尺度层，采用复合融合策略进行融合；针对小尺度层，采用最大值融合策略。最后，将融合后的层级进行加和，以重构出最终的融合图像。实验结果表明：文中提出的基于多层级图像分解的图像融合算法能够有效降低噪声产生的概率，同时减少了融合后的信息缺失。

针对现有基于可见光的目标检测算法存在的不足，提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合，构建并列的高效率特征提取网络，分别提取红外和可见光图像目标信息；同时，引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征，使两类图像信息互补；最后，利用特征金字塔结构将深层特征逐层与浅层融合，提升网络对不同尺度目标的检测精度。实验结果表明，所提网络能够充分融合红外和可见光图像中的有效信息，并在保障精度与效率的前提下实现目标识别与定位；同时，在实际变电站设备检测场景中，该网络也体现出较好的鲁棒性和泛化能力，可以高效完成检测任务。