针对户外环境下红外与可见光图像融合效果不足的问题, 提出一种基于卷积神经网络的红外与可见光户外图像融合方法。该方法先利用滚动引导滤波器对输入的红外图像进行预处理, 过滤噪声并消除无用信息。然后, 利用Curvelet变换将红外图像与可见光图像分解成高频系数与低频系数, 利用基于卷积神经网络的深度特征融合规则融合高频系数, 采用最小融合规则融合低频系数。实验结果表明, 该方法的融合图像在主观视觉与客观定量两方面均获得了较好的结果。

为提高融合图像更加适应人类视觉感知，并解决可见光图像受光线、天气等影响而导致融合 效果不佳的问题，本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先，利用引 导滤波对可见光图像的内容进行增强，然后，利用滚动引导滤波将可见光和红外图像进行多尺度分 解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则 解决融合时可见光与红外图像不同特征带来的困扰，提高融合图像的视觉效果；在基础层的融合过 程中采用优化的视觉显著图融合规则，减少对比度损失。最后，将大尺度层、小尺度层与基础层合 并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好 的效果。

针对红外与可见光图像尺度差异大、图像较模糊,且图像中可提取的特征点数量不足以及特征分布不均匀易导致现有配准算法失效的情况,提出一种结合滚动引导滤波和相位信息的红外与可见光图像配准方法。利用滚动引导滤波构建尺度空间,在不增加耗时的前提下尽可能保持图像边缘信息; 提出一种改进的Shitomasi角点检测算法,提取具有尺度不变性且分布均匀的强角点; 在特征描述阶段,给出一种新的加权函数进行频率扩展,以得到更显著的相位一致性信息,实现更准确的图像特征描述。实验结果表明,该配准方法对存在9倍尺度差异的红外与可见光图像仍能实现准确配准,且对多组图像对的配准RMSE误差均保持在2像素之内。

针对红外与可见光图像融合时，易产生细节丢失、噪声抑制不佳等问题，本文提出了一种改进的滚动引导滤波融合算法。该算法充分利用了滚动引导滤波边缘和局部亮度保持特性，在通过均值滤波将输入图像分解为基础层与细节层的基础上，结合滚动引导滤波与高斯滤波获取输入图像的显著图，利用不同尺度参数的引导滤波对显著图优化得到权重图，将权重图作为权重分别指导基础层与细节层的融合，最后联合融合后的子图重构得到融合图像。针对 3类测试数据进行的融合实验表明，与非下采样轮廓波变换、基于引导滤波、基于显著性检测的两个尺度的图像融合等经典方法相比，本文方法得到的融合图像不但从主观视觉效果上细节信息更丰富、目标对比度加强，并且在非线性相关信息熵、相位一致性等 6项客观评价指标上均具有较好的效果。