1 引言

图像融合是一种增强技术,目的是结合不同类型传感器捕捉到的信息生成内容更加丰富、细节更加清晰的图像,以便为后续处理和决策提供帮助。红外线和可见光的信号来自不同的模式,红外图像捕获的是热辐射信息,而可见光图像捕获的是光信息,它们的组合信息比使用各自单独的模式得到的信息更丰富^[1]。可见光图像具有高空间分辨率和细腻的纹理信息,但易被弱光照、雾和其他恶劣天气条件所干扰;红外图像能够抵抗这些干扰,但分辨率较低,纹理较差^[2]。因此,对红外与可见光图像进行融合可以实现信息互补^[3]。目前,红外与可见光图像融合在遥感探测、**侦察、安全监控、医疗健康、工业生产等领域都有着重要的应用^[4]。有关红外与可见光图像融合方法主要有:基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法。

多尺度变换方法在红外与可见光图像融合中应用广泛。Huang等^[5]提出了一种基于曲线变换和视觉注意机制的红外可见光图像融合方法,其模型可以提高融合图像的信噪比,突出模糊目标。Zhu等^[6]提出了一种改进的多尺度高帽变换模型的红外可见光图像融合方法,该模型能够突出红外图像的目标,更好地保留可见光图像中的细节部分。基于稀疏表示的图像融合方法是从大量的高质量图像中学习一个过完备的字典,该方法关键在于过完备字典和稀疏编码的构造。Yin等^[7]提出了一种将小波变换与字典学习相结合的多尺度字典学习方法,该方法充分利用了多尺度表示和字典学习的优点。Kim等^[8]提出了一种基于图像块聚类和主成分分析(PCA)的字典学习方法,该模型不仅可以消除学习字典的冗余,同时还保证了红外和可见光图像融合的质量,但存在字典学习耗时过长的缺点。

近年来,深度学习在图像融合中得到了广泛的应用,多数基于深度学习的图像融合将深度模型作为特征提取的手段,利用提取到的深度特征和待融合图像得到融合后图像。Prabhakar等^[9]提出一种基于卷积神经网络的多曝光图像融合方法,该网络结构是一种权重共享的孪生网络,源图像输入编码器后得到两个特征映射序列,之后使用加法策略对其进行融合得到融合特征图,最后融合特征图由解码器的三层卷积层进行重构。Liu等^[10]提出了一种基于卷积神经网络的图像融合方法,使用输入图像的图像块及其模糊处理来训练网络,使网络具有分类能力,网络输出为分类得分表,得分表经过平均重叠块、二值化和两个一致性检验策略得到决定映射,最后将决定映射作为源图权重来重建图像。尽管该方法获得了更好的性能,但仍存在两个主要缺点:1)该方法目前只适用于多聚焦图像融合,使用范围有限;2)仅利用神经网络最后一层的计算结果,很多有用的中间层信息并未得到充分利用。

本文基于ResNet152^[11]深度学习网络,设计了一种简单高效的红外可见光图像融合方法。其基本过程是将红外与可见光图像通过均值滤波进行二尺度分解^[12],得到包含大尺度特征的低频部分和包含纹理特征的高频部分。低频部分使用平均权重策略获得新的低频部分;使用ResNet152网络对高频部分做多层特征的提取,每个特征层经过L1正则化、卷积运算和双线性插值上采样得到权重层,使用最大选择策略对多个权重层进行运算得到最大权重层,最大权重层与高频部分相乘得到新的高频部分,最后用新的低频部分和高频部分重建图像。

2 相关工作

神经网络的网络层数对图像特征的提取至关重要,然而简单的增加网络层数很容易导致梯度消失和精度饱和后极速下降问题^[11]。ResNet提出的带有短连接的残差块成功地解决了这个问题^[11],并加快了训练速度。其中,残差块的结构如图1所示。

图 1. 残差块结构

Fig. 1. Structure of residual block

下载图片 查看所有图片

图1中X表示残差块的输入,F(X)表示X经过两层权重后的映射结果,relu为修正线性单元,残差块的输出为F(X)+X。该结构可以有效地利用网络的多层信息,其中一个152层的ResNet网络,其深度是VGG-19^[13]的8倍,但其复杂度更低、提取特征的能力更强^[14]。因此,使用ResNet152作为图像融合特征提取的基础网络。

3 融合算法

本文将源图像记作I_k,k∈{1,2}。图2为本文算法的框架图,均值滤波可消除图像尖锐噪声,使图像变平滑。I_k通过均值滤波进行二尺度分解^[12],得到低频部分 Ikb和高频部分 Ikd, 表示为

Ibk=Ik*Z,(1)Idk=Ik-Ibk,(2)

图 2. 本文方法的框架图

Fig. 2. Framework of proposed method

下载图片 查看所有图片

式中:Z为均值滤波器,大小为31×31。低频部分使用平均权重的方法进行融合得到F_b,高频部分经过ResNet152处理后得到最大权重层,并与源图高频部分运算得到高频融合图像F_d。最后,由融合后的低频部分F_b和高频部分F_d重建得到融合图像。

3.1 低频部分融合

本文使用平均权重策略对低频部分进行融合,公式如下

Fb(x,y)=λ1Ib1(x,y)+λ2Ib2(x,y),(3)

式中: I1b(x,y)和 I2b(x,y)为两种源图像低频部分(x,y)处的像素值;F_b(x,y)为融合后低频部分(x,y)处的像素值;λ₁和λ₂为图像 I1b和 I2b像素的权重,为尽量保留低频部分中的大尺度特征,本文λ₁和λ₂的取值分别为0.6和0.4。

3.2 高频部分融合

对于高频部分 I1d和 I2d,先使用ResNet152提取特征,得到特征层。然后由特征层通过最大选择策略得到最大权重层。最后将最大权重层分别作为 I1d和 I2d权重系数得到高频部分融合图像F_d。具体流程如图3所示。

高频部分融合具体步骤如下。

1)提取特征。为均匀全面地获得ResNet152提取到的特征,分别选取ResNet152的conv1、conv2_1、conv3_1、conv4_1和conv5_1作为本文算法的特征提取层,定义H_i(·)为ResNet152网络的特征提取层,提取到的特征层为 Lki,m,i∈{1,2,3,4,5}。

Lki,m=Hi(Idk)。(4)

2)L1正则化。 Lki,m表示第k个高频部分经过H_i(·)提取特征得到的第i个特征层,m表示第i个特征层的通道数,m=64×2^i-1,故 Lki,m(x,y)表示一个m维向量。 Lki,m(x,y)经L1正则化得到 Tki, Tki表示第k个高频部分图像的第i个特征层经L1正则化后的结果。

Tki=‖Lki,m(x,y)‖1。(5)

3)卷积运算。为了使高频部分融合图像纹理更加自然,本文使用卷积核A(步长为1)在 Tki上进行卷积运算得到 T^ki,流程如图4所示。之后由 T^ki得到权重层 Wki(x,y),其中n=2。 T^ki(x,y)为第k个高频部分图像的第i个特征层经卷积运算后在(x,y)处的值, Wki(x,y)表示第k个高频部分图像的第i个权重层在(x,y)处的权重值。

A=121242121,(6)Wki(x,y)=T^ki(x,y)∑k=1nT^ki(x,y)。(7)

4)双线性插值上采样。 Wki经ResNet152网络得到,记 Wki的宽高为(m_i,n_i), Ikd的宽高为(M,N)。为使(m_i,n_i)与(M,N)相等,对 Wki进行双线性插值上采样得到 W^ki,i∈{1,2,3,4,5}。

(mi,ni)=(M,N)×12i。(8)

5)最大选择策略。 W^ki(x,y)表示第k个高频部分图像的第i个权重层经双线性插值上采样后在(x,y)处的值,故 W^k1:5(x,y)是一个5维向量。 W^k1:5(x,y)经最大选择策略得到 W^k(x,y), W^k即为第k个高频部分图像的最大权重层。最后,得到融合后的高频部分F_d。

图 3. 高频部分融合流程图

Fig. 3. Flowchart of high frequency part fusion

下载图片 查看所有图片

图 4. 卷积运算图

Fig. 4. Convolution operation

下载图片 查看所有图片

W^k(x,y)=maxW^k1:5(x,y),(9)Fd=∑k=1nW^kIdk。(10)

3.3 重建图像

获得了融合后的低频部分F_b和高频部分F_d后,再对图像进行重建得到最后的融合图像,

F(x,y)=Fb(x,y)+Fd(x,y),(11)

式中:F_b(x,y)表示融合后的低频部分在(x,y)处的值;F_d(x,y)表示融合后的高频部分在(x,y)处的值;F(x,y)表示最终融合图像在(x,y)处的像素值。

4 实验结果及分析

4.1 实验设定

本文实验中红外与可见光源图像来自公共数据集TNO,选择其中20组进行实验。本文选取5种常用的方法进行对比,分别是:交叉双边滤波融合法(CBF)^[15]、联合稀疏表示模型(JSR)^[16]、基于显著检测的联合稀疏表示模型(JSRSD)^[17]、加权最小二乘优化方法(WLS)^[18]、卷积稀疏表示模型(ConvSR)^[19],以上5种算法参数取值与各文献保持一致。本文实验环境为Inter Core i5-4210U,内存12 GB,操作系统为 Win 8.1,编程软件为 Matlab2017b。

4.2 主观评价

对上述5种方法和本文方法的实验结果进行对比分析,选择其中5组图像进行说明,编号分别为a、b、c、d、e。如图5所示,5组图像中算法CBF的实验结果噪声和晕影较多,显著特征不清晰。JSR除显著特征外其他区域细节模糊,对比度不高。JSRSD和WLS融合后图像较多地保留了红外图像的特征,亮度过高,区域过度不自然。ConvSR在显著特征周围伪影较多且块效应明显,观感不佳。对比这5种方法,本文方法融合结果细节更加清晰,对比度更高,且晕影和块效应不明显,更适合人眼视觉的观察。

图 5. 不同融合方法的比较

Fig. 5. Comparison of different fusion methods

下载图片 查看所有图片

4.3 客观评价

为了定量的比较本文方法和对比方法,选用 EFMIpixel20、 EFMIdct20、 EFMIw20、 ESSIM3、 Nabf215种指标进行评价,E_FMIpixel、E_FMIdct和E_FMIw分别计算图像像素特征、离散余弦特征和小波特征的特征互信息,其值越大,表明源图与融合图像的信息相关度越高,融合过程中信息损失越少。E_SSIM表示源图与融合图像的相似程度。N_abf表示融合图像中产生的噪声或伪影,其值越小,表明融合图像包含的伪影和噪声越少。本文选取图5中的5组图像,定量评估本文方法和对比方法,结果如表1所示。

5种指标中实验结果最优的以粗体标注。从实验结果可以看出,本文方法在图a、b、c、d中5种指标均取得了较好的结果。在图e中只有ConvSR的E_FMIw、N_abf优于本文算法,其他指标均不如本文算法。这说明相较于其他5种对比方法,本文方法得到的红外与可见光融合图像在很大程度上保留了源图像的纹理细节特征,且降低了融合图像中的伪影和噪声,使得融合图像看起来更加清晰、自然,这与主观评价是一致的。

5 结论

本文使用ResNet152作为特征提取的基础网络来融合红外线和可见光图像。首先,将图像分解成包含大尺度特征的低频部分和包含纹理信息的高频部分。低频部分使用平均权重进行融合。使用ResNet152网络对高频部分做特征提取,得到最大权重层,之后高频部分和最大权重层相乘得到融合后的高频部分。最后由融合后的低频部分和高频部分对图像进行重建。实验结果表明,本文方法不仅很好地保留了源图像的纹理特征,且很大程度上降低了融合图像的伪影和噪声,在主观评价和客观评价两个方面均取得了较好的融合效果,因此本文方法具有一定的实用价值与理论意义。