传统的多尺度红外与可见光图像融合方法，所提取的图像特征固定，并不能很好的应用于各类复杂的图像环境，而深度学习可以自主选择合适图像特征，改良特征提取单一性问题，因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先，用卷积神经网络提取红外目标与背景的二分类图，利用调频（FT）显著性检测算法对分类图进行精准分割，同时，利用NSST将源图像多尺度、多方向进行分解；其次，利用目标显著性结合自适应模糊逻辑算法进行低频子带融合，利用高频系数局部方差对比度方法进行高频子带融合；最后，通过NSST逆变换得到融合后图像。实验结果表明：相比于传统图像融合算法，该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度，丰富了背景细节信息，更有利于人眼识别，可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。
图像融合 卷积神经网络 显著性提取 非下采样剪切波变换 模糊逻辑 image fusion convolutional neural network saliency extraction NSST fuzzy logic 红外与激光工程
2022, 51(3): 20210139
目前基于多尺度分解的图像融合算法存在以下问题：1）多尺度分解时，图像边缘被平滑；2）融合结果中红外显著区域的对比度降低；3）小尺度细节受到抑制，在融合图像中显示不清晰。为解决上述问题，本文提出了一种基于BMA（Bayesian model averaging）滤波器和边缘的图像融合算法。首先，利用BMA 滤波器分别对红外与可见光图像进行多尺度分解；其次，分别利用显著性提取和边缘权值映射算法，计算各基层和细节层的融合权值矩阵；最后通过图像重构获得融合图像。实验证明，该融合算法优于传统的图像融合算法。
红外图像 可见光图像 多尺度分解 BMA 滤波器 显著性提取 边缘权值映射 infrared images visible images multi-scale decomposition BMA filter saliency extraction edge weight map
