1 引言

可见光、红外传感器技术在信息解译、目标探测等各领域发挥着重要作用,然而单一可见光、红外传感器仅从单方面获取信息,存在一定的片面性,如:红外传感器在复杂的环境下,能够识别热辐射信息,但对场景中的光照亮度不敏感,导致所成图像对比度较低,分辨率较差,细节纹理信息较少^[1];而可见光传感器可以检测光谱反射特性,并且可以在正常光照条件下获得场景的细节纹理信息,图片清晰,信息量较丰富,但不能识别被遮挡和伪装的目标^[2]。因此,对红外与可见光图像进行融合处理,可充分利用两者优势,融合得到同时具有可见光丰富的光谱、纹理信息以及红外图像热辐射信息的图像。

红外与可见光图像融合的关键在于如何从源图像中提取特征,并设计合理的融合规则进行融合处理。目前,已提出多种红外与可见光图像融合方法,主要包括多尺度分解的融合方法^[3]、基于稀疏表示融合方法^[4]、基于神经网络融合方法^[5]、基于子空间融合方法^[6]等。近年来基于深度学习的方法^[7-8]得到了一定程度上的应用,但深度学习模型的训练对硬件要求较高,且需要耗费大量时间。当前,基于多尺度分解的融合方法应用最为广泛,其基本思想为:首先,对红外和可见光源图像分别进行分解,得到低频和高频信息;其次,根据相应的融合规则对低频和高频信息分别进行融合;最后,利用融合后的高、低频段进行相应的逆变换,得到最终的融合图像。传统基于多尺度分解方法主要有基于金字塔分解的融合方法^[9],基于小波^[10]、曲波分解^[11]的融合方法,基于轮廓波分解^[12]的融合方法等。近年来,在传统多尺度分解图像融合方法的基础上,国内外学者又对这些方法做了大量创新和改进,如引导滤波器^[13]、四阶偏微分方程分解^[6]等基于边缘保持滤波的融合方法。此外,吴一全等^[14]提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法,该方法在融合之前首先对红外目标进行目标提取,但融合结果中显著性目标的边缘不够自然。Bavirisetti等^[15]提出了一种基于二尺度分解和显著性检测的融合方法,利用均值滤波和中值滤波提取基础层和细节层,并利用视觉显著性获得融合权重图,但该方法在图像分解时对特征提取不全面。

低秩分解于近几年被引入红外与可见光图像融合领域,现阶段使用的分解模型大多是基于Liu提出的低秩表示(LRR)理论^[16],但是这种表示方法不能很好地保留区域结构信息。因此,2011年Liu又提出潜在低秩表示(LatLRR)理论^[17],这种方法能够在一定程度上从原始数据中获取全局和局部的结构信息,Li在LatLRR分解理论的基础上提出了基于LatLRR理论的红外与可见光图像融合方法^[18],提高了融合精度。

总体来说,上述基于多尺度分解的融合方法往往采用两层分解方式,即通过一种低通滤波器得到基础层低频信息,再通过与原图相减得到细节层。然而,由于上述两层分解方式对红外和可见光图像中的空间细节信息提取不充分,且图像中的显著性区域在分解图像中得不到完整体现,导致融合图像容易出现模糊、图像视觉信息大量丢失等。尽管LatLRR方法在一定程度上分解提取了源图像显著性区域和低秩区域,但分解得到的显著性图和低秩图存在分解不彻底且互相包含,导致融合结果往往存在对比度低、热红外目标不明显、细节与纹理不够清晰等问题。结合多尺度分解和低秩分解理论各自的优点,本文提出基于多尺度低秩分解的红外与可见光图像融合方法,对原始红外与可见光图像进行多尺度低秩分解,得到多层次局部低秩图和全局低秩图,并对不同尺度下的显著性图和低秩图有针对性地设计最优融合策略,从而更加全面地保留源图像的细节纹理信息和显著性信息,有效地提高融合结果的目视效果和定量精度。

2 融合方法的理论基础

本文提出了一种基于多尺度低秩分解的红外与可见光图像融合方法。其基本思想为:基于图像的局部相关性特点,采用多尺度低秩分解方法将红外、可见光图像分别分解为多层次低秩图,主要包括局部低秩图(显著图)和全局低秩图,对不同层次的显著图和全局低秩图,充分考虑各分解层图像的特点,有针对性地设计最优融合规则,最终重建得到具有高对比度、细节与纹理清晰的融合图像,其框架如图1所示。

图 1. 本文融合算法框架

Fig. 1. Flowchart of the proposed fusion method

下载图片 查看所有图片

2.1 多尺度低秩分解方法

基于图像的局部相关性特点,采用多尺度低秩分解方法^[19]对红外图像和可见光图像进行分解。为表示方便,以Y表示待分解图像,多尺度低秩分解模型示意图如图2所示。

图 2. 多尺度低秩分解模型示意图

Fig. 2. Schematic diagram of multiscale low rank decomposition model

下载图片 查看所有图片

该模型将输入图像Y划分为由不同大小低秩块分解组成的图像矩阵T₁,T₂,…,T_L,包括局部低秩图T₁,T₂,…,T_L-1和全局低秩图T_L,分解模型表示为

Y=∑i=1LTi,(1)Ti=∑b∈PiRTb(UbSbVTb),(2)

式中:T_i为采用不同大小低秩块分解得到的多尺度低秩分解图像;U_b,S_b,V_b是矩阵经奇异值分解(SVD)法分解的形式; RbT(·)为一矩阵变形操作,b表示图像块大小。每一个分解矩阵中b的大小依次为1×1,4×4,…,4^(L-2)×4^(L-2),M×N;i代表了第i个分解层,L是整个分解层的总数,定义为

L=ceiling(log4N)+1,M≥Nceiling(log4M)+1,M<N,(3)

其中ceiling(·)代表向上取整。

图3给出Nato_camp场景红外图像。对于一幅大小为632 pixel×496 pixel的红外图像,其分解层数为6层:即图像分解为T₁到T₆,低秩块的大小不断增加。从融合结果中可以看到,分解后的不同层次图像各自包含了源图像的不同信息。分解后的6层图像中,前5幅有较多的显著性信息,最后一幅图像呈现纹理结构。具体来说,4×4块大小的图像可以捕获人和车灯路灯等最亮的部分,16×16块大小的图像可以捕获比较全面的亮度较大的显著性信息,64×64块大小的图像可以很明显地看到整幅图像的显著性部分,256×256块大小的图像可以更加深层地发现一些亮度较低的细小纹理结构,最后一层图像可以近似成全局低秩图像,其包含有主要的纹理和轮廓信息。

图 3. Nato_camp场景红外图像分解示意图

Fig. 3. Schematic diagram of infrared image decomposition in Nato_camp

下载图片 查看所有图片

因此,通过多尺度低秩分解可更加充分地提取图像显著特征和纹理特征,并可针对各层次分解图像特点,有针对性地设计最优融合规则,这样不仅可减少融合结果可能存在的人工伪影和斑块,也可同时完整地保留红外和可见光图像的显著性特征和细节纹理信息。

2.2 融合策略

2.2.1 多层次局部低秩图(显著图)融合策略

图像分解得到的多层次局部低秩图为显著图,如图4所示,针对不同层次显著图设计最优融合策略。

1) 对于较小低秩块分解得到的显著图,红外和可见光图像表现出较强的互补性,需要将他们完全保留,同时又不产生任何伪影和损失,因此本文基于求和融合策略来融合该部分图像(本文采用图像块大小为1×1、4×4、16×16分解得到的图像),表示为

Fi(x,y)=Tr_i(x,y)+Tv_i(x,y),i≤3,(4)

式中:F_i(x,y)、T_{r_i}(x,y)、T_{v_i}(x,y)分别表示融合图像、红外显著图像、可见光显著图像对应位置的像素值。

为验证采用求和融合策略的合理性,基于Nato_camp场景图像,采用大小为16×16低秩块分解得到的红外和可见光图像(即T_{v_3}和T_{i_3}),如图4所示。

图4(a)、图4(b)分别为红外和可见光显著图,图4(c)为可见光与红外图像在红线处不同列的像素强度大小。在图中可以看到,红外图像和可见光分解图像具有较强的互补性,如:从图4(a)、图4(b)第1个和第2个框的区域目视判断,红外图像包含更多的显著性信息,在第3个框区域,可见光图像包含更多的显著性信息。此外,图4(c)曲线亦显示,红外和可见光图像显著图互补性较强。

图 4. 红外与可见光图像显著图示例(基于16×16低秩块分解得到)。(a)红外图像显著性部分T_{v_3}; (b)可见光图像显著性部分T_{r_3}; (c)红外和可见光图像同行位置灰度分布图

Fig. 4. Saliency images examples of infrared and visible images obtained by 16×16 low-rank block decomposition. (a) Saliency part of the infrared image T_{v_3}; (b) saliency part of the visible image T_{r_3}; (c) pixel distribution of infrared and visible images in the same line

下载图片 查看所有图片

使用求和融合策略,融合后的图像如图5(a)所示,图5(b)中的曲线代表图5(a)中横线对应的像素值。由图5可以看出,使用该融合策略融合小低秩块显著图像,融合后图像的显著性部分不仅很好地保留了红外和可见光图像的显著性特征,还基本避免了损失和伪影的产生,并且在一定程度上加强了显著性部分的像素值。因此采用求和融合策略可较好地融合图像,完整地保留了图像中的显著性部分,能够确保图像中无人工伪影产生。

图 5. 基于16×16低秩块分解图像融合结果示意图。(a)融合结果F₃;(b)融合图像灰度分布图

Fig. 5. Image fusion results based on 16×16 low rank block decomposition. (a) Fused image F₃; (b) pixel distribution of the fused image

下载图片 查看所有图片

2) 由红外和可见光图像分解得到的不同尺度的显著图具有不同的特点。对于较大低秩块(3<i<L)分解得到的显著图像,如图3 Nato_camp场景中,对应块大小为64×64、256×256,分别对应T₄、T₅,其与上述较小的低秩块分解图像表现出共性显著特征,由该图像分解得到的红外和可见光图像可以较好地表达高频信息,尤其是许多较小的细节部分。因此,本研究对于这部分分解图像有针对性地设计最优权重,考虑到具有较大绝对值的高频系数通常对应图像的边缘特征(如边界、亮线和区域轮廓),因此,利用最大绝对融合规则对该部分分解图像进行融合,表达式为

Wi(x,y)=1,|Tr_i(x,y)|<|Tv_i(x.y)|0,other,(5)

式中:3<i<L;W_i(x,y)为最大绝对值方法权重系数;T_{v_i}(x,y),T_{r_i}(x,y)分别为可见光与红外图像的第i层多尺度低秩分解图像对应的像素值。为了减小噪声,使用高斯滤波器来平滑权重W_i,即

Wd_i(x,y)=Gaussian[Wi(x,y),σs],(6)

式中:W_{d_i}是W_i经过高斯滤波平滑后的结果;σ_s为高斯滤波的标准差,通常设σ_s=2。然后,通过最大绝对值准则,得到该部分分解图像的融合结果F_i为

Fi(x,y)=Wd_i(x,y)Tv_i(x,y)+[1-Wd_i(x,y)]Tr_i(x,y),3<i<L。(7)

综上可知,基于最大绝对值加权融合方式可以更好地保留大尺度显著部分的显著性信息和部分的纹理信息,能够更好地融合红外、可见光图像的互补特征。

2.2.2 全局低秩图融合策略

源图像的全局低秩部分包含了更多的全局结构信息和纹理信息。因此,为了避免复杂融合策略给个别融合图像带来人工伪影和斑块,在融合方法中,使用加权平均策略来获得融合后的低秩部分。融合策略的表达式为

Fi(x,y)=wrTr_i(x,y)+wvTv_i(x,y),i=L,(8)

式中:(x,y)表示像素位置;w_r、w_v分别代表对应红外图像和可见光图像相应的融合权重。为了更好地保留图像的全局结构信息和纹理信息,减少不必要的冗余信息以及复杂融合方法所带来的人工伪影,本文选取w_r=0.5、w_v=0.5。

2.2.3 重建

基于上述得到的不同层次局部低秩图融合结果和全局低秩图融合结果,重建最终融合图像,最终的融合图像可表示为

F(x,y)=∑i=1LFi(x,y)。(9)

3 实验结果和分析

本研究所有实验都在2.8 GHz Intel(R) Core(TM) CPU 8 GB RAM下的MATLAB R2016a环境中进行。将通过主观和客观评价方法来评估本文的融合方法。

3.1 实验数据与参数设置

选取25幅不同场景的图像进行测试,其中测试图像大部分来自TNO红外/可见光图像数据库,少部分来自文献[ 6]。根据数据库中图像的大小设置多尺度低秩分解层数为6层,即L=6,每一个分解层低秩块的大小分别为1×1、4×4、16×16、64×64、256×256、M×N,其中M、N分别代表输入图像的高和宽。实验发现1000次左右的迭代对于多尺度分解应用来说已足够,实验次数超过1000次对分解结果没有产生明显的影响。因此,本文选择的实验迭代次数为1024次。

3.2 实验结果与分析

3.2.1 融合图像主观评价和分析

主观评价中,选取比较具有代表性的4个场景Nato_camp、Bunker 、Kaptein_1123、street的红外与可见光图像进行比较,所有的图像都已提前实现图像配准。同时选用近些年来提出的红外与可见光图像融合方法进行比较,分别是基于ResNet50^[7]、CNN^[20]、MISF^[21]、GTF^[22]、FPDE^[6]的融合方法。图6~9分别是不同场景图像中对应的原始可见光图像、红外图像,以及基于ResNet50、CNN、MISF、GTF、FPDE的融合方法和本文方法的融合结果。

从实验结果可以看到,基于GTF的融合图像中,目标信息比较明显,但是可见光的细节和纹理信息保留得较差,红外图像中的融合结果类似,可见光图像信息保留得较少;基于ResNet50和FPDE的融合图像,普遍存在红外目标信息不突出的问题;基于CNN、MISF的融合图像在部分场景中存在明显的斑块现象,且显著性目标和纹理信息不能同时得到很好地保留。如:在Nato_camp场景的图像中,图6(c)、图6(g)的竖向框中目标信息不明显,而图6(d)、图6(e)、图6(f)的横向框中图像纹理不清晰、不完整,均不符合人们的视觉感受;在Buker场景中,图7(f)中的目标信息和图7(h)中本文方法融合图像的效果一样,但是图7(f)中四周灌木丛的信息没有很好地体现,图7(d)中红外目标信息有一定的丢失,而图7(c)、图7(e)、图7(g)中,红外目标信息几乎没有在融合图像中表达;在Kaptein_1123场景中,图8(d)、图8(e) 所示的融合图像有不符合视觉感受的斑块,图8(c)和图8(g)中的人物目标信息不明确,图8(f)中天空、灌木丛和地下的瓷砖没有很好地得以融合;在street场景中,图9中也同样可以看出本文方法的优势所在。总体而言,本文方法比近年来其他融合方法能够更加有效地融合红外目标与可见光的纹理和轮廓信息,目标凸出,伪影少,且方法有较强的鲁棒性,算法简单,适用于不同的场景。

图 6. Nato_camp场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法; (e) MISF方法; (f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 6. Fusion results in Nato_camp. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片 查看所有图片

图 7. Bunker场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法;(e) MISF方法;(f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 7. Fusion results in Bunker. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片 查看所有图片

图 8. Kaptein_1123场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 8. Fusion results in Kaptein_1123. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片 查看所有图片

图 9. Street场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 9. Fusion results in street. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片 查看所有图片

3.2.2 融合图像定量评价和分析

除了主观评价之外,为了对该方法与其他融合方法进行定量比较,还采用了5 种图像质量客观评价指标来评价和比较不同算法的融合效果,包括 QAB/F[23]、结构相似性(SSIM)、信息熵(EN)、空间频率(SF)、标准差(SD),融合图像的客观评价结果见表1。Q^AB/F代表图像边缘的保留程度;SSIM用于衡量融合图像相较于红外图像与可见光图像的相似程度;EN用于衡量图像包含的信息量;SF代表融合图像的频率信息丰富程度;SD反映了图像像素值与均值的离散程度:以上5个评价指标都是数值越大,代表的融合图像的质量越好。

从实验结果可以看出,本文方法有更高的SSIM值,这表明该方法得到的融合图像和原图像相似程度高,图像更自然,包含的人工伪影等干扰信息更少。本文方法的融合图像在EN、SD和SF三个指标上也有较大的优势,虽然在部分场景的图像上基于ResNet50和MISF的融合方法在这三个指标上优于本文方法,但是从图像上可以看出,基于MISF方法的融合结果有较大的斑块和噪声,基于ResNet50的方法显然没有保留红外显著性信息,而本文方法的融合图像在保留显著区域的同时能够保留可见光的细节和纹理信息。与此同时,融合图像基本没有斑块和人工伪影,视觉效果更好,适合各种场景的信息,融合方法的鲁棒性高。Q^AB/F代表了图像的边缘信息的保留程度,本文方法的指标要低于基于MISF的融合方法,但在主观上评价上,本文的方法有更好的视觉效果,边缘保留完整、图像对比度较高,相比近年来的图像融合方法有一定程度的改善。通过25幅不同场景的图像实验结果表明,本文算法适用于各种场景的红外与可见光图像融合,其主观与客观质量评价结果都有一定程度的改善。

4 结论

针对传统红外与可见光图像融合方法往往存在场景对比度低、热红外目标不明显、细节与纹理不够清晰等问题,提出一种基于多尺度低秩分解的红外与可见光图像融合算法。基于多尺度低秩分解将源图像分解为多层次、多尺度显著性图和低秩图,并根据各分解层图像特点,有针对性地设计最优融合规则。基于公开的TNO数据库图像进行实验,并从定性和定量两方面进行综合评价。实验结果表明,本文算法不仅具有较好的视觉效果,同时融合精度较高,融合图像在不引入人工伪影和斑块的同时,能够保留源图像细节信息,增强显著目标区域,有利于后续目标识别、检测等应用的开展。