现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率，且在建模过程中大部分采用基于单一尺度的融合策略，无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说，通过编码器提取红外与可见光图像的多尺度特征，并设计特征增强融合模块来融合多个尺度的不同模态特征，最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外，利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练，从而生成具有丰富信息的融合图像。在 TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比，该网络具有较高计算效率；同时在主观视觉评估和客观指标评价上都优于其它方法。

针对红外图像中小目标分布稀疏、像素占比小，现有红外小目标检测算法易受强噪声干扰，对其精度和泛化性有较大影响的问题，提出一种基于上下文信息融合与视觉显著性的红外小目标检测算法。首先，主干网络采用编码-解码的方式构建，其中，编码层为空洞卷积所堆叠的全卷积神经网络，对输入进行特征提取；然后，通过与解码层逐层跳跃拼接的方式，实现跨层间的特征融合，提取具有强语义和强位置的特征信息；最后，将提取特征输入混合域模块，利用其中的通道注意力机制和空间注意力机制提高对小目标的特征权重，以增强对背景的抑制。通过空洞卷积结合跨层融合以及利用混合域模块带来的视觉显著性，所提算法在复杂背景下优于目前典型算法，与当前最优算法相比，F_measure平均提升了10%，运行效率加快40%，并且在检测率和虚警率指标上都有显著改善。

为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题, 提出一种模态自适应的红外与可见光图像融合方法( mode adaptive fusion, MAFusion)。首先, 在生成器中将红外图像与可见光图像输入自适应加权模块, 通过双流交互学习二者差异, 得到两种模态对图像融合任务的不同贡献比重; 然后, 根据各模态特征的当前特性自主获得各模态特征的相应权重, 进行加权融合得到融合特征; 最后, 为了提高模型的学习效率, 补充融合图像的多尺度特征, 在图像融合过程中加入残差块与跳跃残差组合模块, 提升网络性能。在 TNO和 KAIST数据集上进行融合质量测评, 结果表明: 主观评价上, 提出的方法视觉效果良好; 客观评价上, 信息熵、互信息和基于噪声的评价性能指标均优于对比方法。

针对目标在遮挡、尺度变化等复杂场景下易产生模型漂移问题,基于跟踪学习检测(TLD)框架提出一种结合基于网格的运动统计(GMS)检测和置信度判别的长时目标跟踪算法。首先在跟踪模块中采用快速判别尺度空间的相关滤波器(fDSST)作为跟踪器,利用位置滤波器和尺度滤波器对上一帧目标进行位置与尺度的判别,并依据TLD算法中跟踪模块与检测模块的独立性,将跟踪模块结果输入检测模块中,采用平均峰值相关能量(APCE)对模板更新进行置信度判别。在检测模块中先引入GMS网格运动统计作为检测器,使具有快速旋转不变性特征的ORB(Oriented FAST and Rotated BRIEF)算法对上一帧目标进行特征匹配,再利用网格运动统计对匹配结果进行过滤,实现目标位置的粗定位,依据预测位置对目标检测区域进行适当的动态缩减,最后使用级联分类器对目标进行精准定位。结果表明,本文提出的跟踪方法在有效防止模型漂移的情况下,大大提高了算法的跟踪速度,同时对目标遮挡、尺度变化及旋转等挑战环境也具有较好的准确性和鲁棒性。

针对超分辨率卷积神经网络(SRCNN)卷积层较少、训练时间长、不易收敛且表达和泛化能力受限等问题,提出了一种残差反卷积SRCNN(RD-SRCNN)算法。首先利用不同大小的卷积核进行卷积操作,以更好地提取低分辨率图像中的细节特征;然后将获取的图像特征输入由不同大小卷积核构成的卷积层和指数线性单元激活层组成的残差网络,并通过短路径连接各个特征提取单元,以解决梯度消失、实现特征重用、减少网络冗余;最后,通过加入反卷积层增大感受野,得到清晰的高分辨率图像。实验结果表明,RD-SRCNN算法在视觉和客观评价标准上均取得了较好的效果。

为使YOLOv2算法在保证检测速度的同时进一步提高目标检测的精确率,在YOLOv2模型的基础上提出RF-YOLOv2新模型。该模型先将KITTI数据集经过聚类,选出最适合KITTI数据集的候选框个数和候选框尺寸;其次在网络结构的训练部分采用残差块结构增加卷积层,提取更符合目标的特征描述;最后在网络结构的检测部分引入特征金字塔网络,将不同尺寸大小的特征图进行融合,使得低层特征图也具有丰富的语义信息。实验结果表明,RF-YOLOv2模型能获得更深层的特征、能融合更多尺寸的目标信息,改善了目标检测过程中由实际道路场景复杂、目标外形和结构多变等特点导致的检测率不高问题,在保证算法实时性的条件下,提高了对目标检测的精确率,RF-YOLOv2模型对大目标检测效果更佳。

针对YOLO系列的目标检测方法参数多、计算量大、生成检测模型规模大等导致对运行硬件平台计算资源要求高的问题,提出一种基于反残差结构的轻量级多目标检测网络(IR-YOLO)。首先,利用深度可分离卷积减少模型参数和计算量;其次,基于深度可分离卷积构造反残差模块,提取高维特征;最后,根据反残差结构特点,利用线性激活函数减少通道组合过程激活函数的信息损失。IR-YOLO算法较YOLOv3-Tiny算法模型尺寸减少47.7%。实验结果表明IR-YOLO算法在不影响检测精度的前提下,可有效减少网络计算量和存储量。