为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题，提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计，主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征；将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积；引入Soft-NMS改善结群行人漏检问题；嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明：与其他融合方法相比，所提方法行人漏检率降低、检测速度显著提高；与YOLOv7-Tiny相比，改进后的模型检测精度提高了2.4%，每秒检测帧数达到124 frame/s，能够满足低能见度行人实时检测需求。

目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（ Non-Subsampled Shearlet Transform, NSST）、残差网络（ Residual Network, ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种 N-RGAN模型。通过 NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行 NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（ Peak Signal to Noise Ratio, PSNR）、平均梯度（ Average Gradient, AVG）、图像熵（ Image Entropy, IE）、空间频率（ Spatial Frequency, SF）、边缘强度（ Edge Strength, ES）、图像清晰度（ Image Clarity, IC）等多个客观指标上均有提高，可提升复杂场景下的红外与可见光图像融合效果，改善图像细节纹理信息损失严重的问题，同时提升图像对比度与清晰度。

针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题，提出一种改进曲率尺度空间（CSS）算法的电力设备红外与可见光图像配准方法。首先引入Freeman链码差提高CSS算法的特征点提取精度，其次为每个特征点分配点到弦的垂直距离特征主方向，采用加速稳健特征变换（SURF）算法获得特征描述算子，最后利用双边快速近似最近邻（FLANN）搜索匹配方法和随机抽样一致（RANSAC）方法得到正确的匹配点对，获得仿射变换模型参数。实验结果表明：改进CSS图像配准方法与SURF、尺度不变特征变换（SIFT）、CSS配准方法相比性能指标均有显著提升，平均均方根误差（RMSE）较其他3种算法分别降低了77.73%、80.32%、7.63%；平均匹配时间分别降低了30.82%、40.12%、10.57%，提高了电力设备红外与可见光图像配准的效率。

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法。首先将红外和可见光图像进行NSST分解。然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L₂正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则。最后使用NSST逆变换得到最终的融合图像。实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果。

提出一种Tetrolet框架下基于联合稀疏表示结合改进脉冲耦合神经网络规则的红外与可见光图像融合方法.对源红外与可见光图像进行不考虑旋转和反射情况下的Tetrolet系数分解; 采用联合稀疏方法进行低频系数融合, 通过学习字典进行低频系数的精确拟合并融合.在高频子带系数融合上, 采用改进脉冲耦合神经网络设置相应的融合规则, 根据神经元的点火次数来选择融合图像的高频系数; 并对处理后的高低频系数值进行Tetrolet逆变换获取最终融合结果.结果表明, 该方法能够有效保留待融合图像的边缘与细节特征, 融合结果具有良好的视觉效果, 能够增强观察者对于场景的感知和重要目标的识别能力.在互信息、梯度信息、结构相似度以及视觉敏感度指标上都优于传统变换域融合方法, 尤其在结构相似度以及梯度保持度上分别领先0.033和0.025, 具有有效性.

针对传统的红外与可见光图像融合算法提取目标信息不突出的问题, 提出一种基于非下采样剪切波变换和稀疏结构特征的融合方法.首先用非下采样剪切波变换分解源图像; 然后通过主成分分析提取低频子带系数中边缘和轮廓等显著特征, 引导低频成分融合规则的设计, 同时基于结构信息的稀疏性指导融合高频子带系数; 最后经过非下采样剪切波变换逆变换得到融合后的图像.实验结果表明, 该方法在保留可见光图像背景信息的基础上, 突显了红外图像的结构信息, 有效提高了融合效果.

目前基于多尺度分解的图像融合算法存在以下问题：1）多尺度分解时，图像边缘被平滑；2）融合结果中红外显著区域的对比度降低；3）小尺度细节受到抑制，在融合图像中显示不清晰。为解决上述问题，本文提出了一种基于BMA（Bayesian model averaging）滤波器和边缘的图像融合算法。首先，利用BMA 滤波器分别对红外与可见光图像进行多尺度分解；其次，分别利用显著性提取和边缘权值映射算法，计算各基层和细节层的融合权值矩阵；最后通过图像重构获得融合图像。实验证明，该融合算法优于传统的图像融合算法。

特征匹配的准确率影响图像配准的精度, 是基于特征配准方法的重点和难点之一。为了解决单向最近邻/次近邻法所导致特征点一对多的误匹配问题, 提出了一种红外和可见光图像的特征双向匹配方法。首先, 对红外图像进行反相和直方图均衡化处理, 增强两类图像的相似性, 提取数量更多重复率高的共有特征；其次, 对提取的 SURF(Speed-up Robust Feature)特征进行双向最近邻/次近邻粗匹配, 确保特征匹配的一致性, 降低误匹配率, 并利用 RANSAC(Random Sample Consensus)算法对特征点进行二次匹配, 实现特征点精确匹配。实验结果表明, 该算法在正确匹配率和配准精度方面都优于传统 SURF的单向最近邻/次近邻匹配方法, 具有有效性。