为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题，提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计，主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征；将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积；引入Soft-NMS改善结群行人漏检问题；嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明：与其他融合方法相比，所提方法行人漏检率降低、检测速度显著提高；与YOLOv7-Tiny相比，改进后的模型检测精度提高了2.4%，每秒检测帧数达到124 frame/s，能够满足低能见度行人实时检测需求。

空间目标监视和检测是维护空间环境安全的重要保障, 天基观测是其中的一个重要观测手段。在天基观测图像中, 恒星和空间小目标形状、大小相似, 影响空间小目标的检测。且空间环境复杂, 图像的噪声也会对空间小目标检测造成干扰。针对以上问题, 提出了一种基于轨迹预判的空间小目标在轨检测方法。首先对图像进行预处理, 包含使用图像滤波剔除坏像元和背景影响以及阈值分割。对相机进行畸变误差校正, 再进行坐标系转换以及匹配星表剔除大部分恒星。然后采集多帧图像, 对候选目标进行轨迹关联、预判, 确定搜索范围。最后实现对空间小目标的检测。本检测方法具有以下几方面的优势: 在低信噪比下, 实现高检测精度和低虚警率; 减少搜索范围, 提高在轨实时检测能力; 具备对连续帧图像上目标不连续出现的检测能力, 适应更复杂的空间环境下目标检测需求。本检测方法的检测能力在硬件系统上得到了验证, 实验结果表明, 该算法在检测信噪比为2的目标时也具有99.9%的检测率和0.002%的虚警率, 为在轨空间小目标检测提供参考。

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果, 针对复杂红外背景下变电设备分割精度低的问题, 提出了一种融合可见光和红外图像的多模态路径聚合网络Multimodal Path Aggregation Network, MPAN)。首先提取并融合两种模态图像的特征, 考虑到两种模态图像的特征空间存在差异, 提出了自适应特征融合模块(Adaptive Feature Fuse Module, AFFM), 以充分融合两种模态特征; 对具有多尺度特征的主干网络增加自底向上的金字塔网络, 并对横向连接的路径增强模块引入自注意力机制; 最后使用 dice系数优化掩膜损失函数。实验结果表明, 多模态图像的融合能够增强分割性能, 且验证了提出各模块的有效性, 该模型能够显著提高红外图像中变电设备实例分割的准确率。

红外与可见光图像融合可以生成包含更多信息的图像，比原始图像更符合人类视觉感知也有利于下游任务的进行。传统的基于信号处理的图像融合方法存在泛化能力不强、处理复杂图片融合性能下降等问题。深度学习有很强的特征提取能力，其生成的结果较好，但结果中存在纹理细节信息保存少、图像模糊的问题。针对这一问题，文中提出一种基于多尺度 Swin-transformer和注意力机制的红外与可见光图像融合网络模型。Swin-transformer可以在多尺度视角下提取长距离语义信息，注意力机制可以将所提特征中的不重要特征弱化，保留主要信息。此外本文提出了一种新的混合特征聚合模块，针对红外和可见光图像各自的特点分别设计了亮度增强模块和细节保留模块，有效保留更多的纹理细节和红外目标信息。该融合方法包括编码器、特征聚合和解码器三部分。首先，将源图像输入编码器，提取多尺度深度特征；然后，设计特征聚合融合每个尺度的深度特征；最后，采用基于嵌套连接的解码器重构融合后的图像。在公开数据集上的实验结果表明本文提出的方法对比其他先进的方法具有更好的融合性能。其中在客观评价指标中 EI、AG、QP、EN、SD指标达到最优。从主观感受上，所提红外和可见光图像融合方法能够使结果中保留更多的边缘细节。

针对红外与可见光图像融合过程中细节信息的缺失、融合结果对比度较低等问题，提出一种基于显著性检测与多层潜在低秩表示的红外与可见光图像融合方法。首先，使用基于显著性检测的方法对红外与可见光图像进行预融合；然后，使用多层潜在低秩表示方法依次将红外图像、可见光图像和预融合图像分解为低秩层和细节层；其中细节层采用结构相似性和 L2范数相结合的方法进行融合，低秩层使用基于能量属性的方法进行融合；最后，将低秩层和细节层的融合结果重构便得到最终的融合图像。文中将该方法与 11种具有代表性的图像融合方法进行了评估比较，通过对比多组融合图像的主客观评价，其结果表明，相较于对比方法，本方法能够保留红外与可见光图像融合过程中源图像的有效细节，且融合结果具有较高的对比度，更符合人们的视觉理解。

针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制，而鉴别阶段缺乏注意力感知能力的问题，提出了一种基于双注意力机制生成对抗网络（double attention generative adversarial networks,DAGAN）的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块，该模块在不同尺度空间中将空间注意力和通道注意力结合，并将其应用在图像生成阶段和鉴别阶段，使生成器和鉴别器均能感知图像中最具鉴别性的区域，同时提出了一种注意力损失函数，利用鉴别阶段的注意力图计算注意力损失，保存更多目标信息和背景信息。公开数据集 TNO测试表明：与其他 7种融合方法相比， DAGAN具有最好的视觉效果与最高的融合效率。

传统光伏面板缺陷检测任务以人工目视方法为主，存在效率低、精度差、成本高等问题。提出基于深度学习的融合光伏面板可见光图像与红外图像的缺陷检测网络，即多源图像融合网络(Multi-source Fusion Network, MF-Net），实现光伏面板的缺陷检测。 MF-Net以 YOLOv3 tiny为主干结构，并针对光伏面板缺陷特征进行网络结构改进。其中包括：在特征提取模块中增加网络深度并融入密集块结构，使得 MF-Net能够融合更多高层语义信息的同时增强特征的选择；将双尺度检测增加为三尺度检测，以提高网络对不同尺寸缺陷的适用度。此外，提出自适应融合模块，使特征图融合过程中可以根据像素邻域信息自适应分配融合系数。实验结果表明，相比基于 YOLOv3 tiny的融合网络，改进后的融合检测网络 mAP提高 7.41%；自适应融合模块使 mAP进一步提升 2.14%，且自适应融合模块能够有效提高特征的显著性；在与单一图像（仅有可见光图像或红外图像）的检测网络及其他融合图像检测网络的对比实验中，所提出的网络 F1 score最高（F1＝0.86）。

提出了一种基于语义损失的红外与可见光图像融合算法，通过语义损失引导生成图像包含更多语义信息，满足高级视觉任务需求。首先使用预训练的分割网络对融合图像进行分割，分割结果与标签图构成语义损失，在语义损失和内容损失的共同引导下，迫使融合网络在保证融合图像质量的前提下同时兼顾图像语义信息量，融合图像满足高级视觉任务需求。同时本文还设计了一种新的特征提取模块，通过残差密集连接实现特征重用，提高细节描述能力，进一步减轻融合框架，从而提高图像融合的时间效率。实验结果表明，本文算法在主观视觉效果和定量指标方面优于现有融合算法，且融合图像包含更丰富的语义信息。