1 引言

随着半导体技术的发展,图像传感器感应成像的波段不断拓宽,传感器获得的图像能够描述场景中目标的不同光谱波段的特征信息。因此,利用图像融合技术综合不同波段图像传感器的互补信息,能最大限度地对拍摄目标以及目标场景进行完整的信息描述^[1]。红外传感器对物体表面温度具有良好的观测性能,可见光传感器在光照条件差时成像质量差,将两者融合能够突出目标,实现全天候探测隐藏目标^[2]。目前,红外与可见光图像融合技术主要应用于**、医学和遥感成像领域,对国家军民建设与安全意义重大。

图像融合一般可以分为像素级、特征级和决策级^[3]。红外与可见光图像融合研究主要集中于像素级融合。根据融合方式不同,图像融合可分为空间域融合和变换域融合。空间域融合是指在空间域上对源图像的灰度信息直接操作,包括加权平均法、主成分分析(PCA)法^[4]、独立成分分析(ICA)法、HSI色彩空间^[5]和脉冲耦合神经网络(PCNN)法^[6]等,此类算法计算简单、速度快,但在实际应用中,其融合后的图像有明显的“水洗”效果^[4]。因此,研究人员提出能分析和理解图像特征信息的融合方法——变换域融合。变换域融合是指在变换域内将图像的低频和高频成分按一定的规则分别进行融合。多尺度几何分析理论已被广泛应用于图像融合中,主要有金字塔算法、小波变换算法和后小波变换算法^[7]。金字塔算法的分解具有冗余性,各层系数之间具有较强的相关性;小波变换算法能克服金字塔算法的冗余性,各层系数相对独立,但受小波基的限制,小波变换算法不能实现对图像的边缘和轮廓特征的最优非线性逼近。为捕获图像中细节特征,后小波变换算法的支撑区间具有随尺度变化的不同长宽比和不同方向的近似长条形结构,能够用较少的系数有效地表示图像中具有方向性和各向异性的特征^[8]。之后,轮廓波算法、非下采样轮廓波变换(NSCT) 算法、剪切波多尺度几何分析工具等相继被提出。轮廓波算法利用方向滤波器得到更多的高频方向子带,但轮廓波变换不具有平移不变性会导致伪吉布斯现象,为避免这种现象,研究人员提出了NSCT算法。NSCT算法具有平移不变性,但是非下采样操作增加了冗余度。另外,由于小波变换算法和轮廓波变换算法自身结构存在问题,所分解的系数不能充分获得方向性信息,融合效果不能很好地突出目标细节信息。剪切波算法虽然与轮廓波算法有类似的处理过程,但剪切波算法以梯形对的形式逼近图像的细节信息^[9],使其支撑基具有各向异性,增加了剪切波算法的稀疏性^[10]。基于此,选用剪切波算法作为融合框架。

图像融合质量不仅取决于图像融合框架,还受融合规则的影响。常用的融合规则包括基于像素点、基于图像区域和基于图像邻域等融合规则^[7]。基于像素点的融合规则是直接将源图像像素点的灰度值作为融合权重的因子,包括加权平均法、绝对值取大法和绝对值取小法,这类融合规则没有考虑局部区域内相邻像素(系数)之间的相关性。基于图像区域的融合规则是源于图像分割的思想,根据图像的灰度信息和色彩信息划分图像区域,再依据显著信息指导融合权重的选择,但这种规则容易引入虚假轮廓,且自适应性不强。基于图像邻域的融合规则是根据源图像窗口内的统计特性来决定融合权重,常用的统计特性有能量、梯度和对比度等^[11]。由于二维图像中邻域块之间具有较强的相关性,单个像素点或区域不能完全表征图像的区域特征,故基于像素点或区域的融合规则不能很好地表示源图像的目标轮廓信息,而邻域规则考虑了窗口内的结构特征。

因此,本文从融合框架和融合规则两部分针对目标轮廓模糊和细节不突出问题进行解决,在剪切波框架的基础上提出了一种基于邻域结构特征融合规则的红外和可见光图像融合算法。通过剪切波变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;在低频子带系数上采用几何距离与能量距离加权的融合规则,对高频子带系数采用灰度差异与梯度距离加权的融合规则;经剪切波逆变换得到融合后图像。结果表明,该方法可在保留图像轮廓信息的基础上,凸显目标信息,有效地改善图像融合效果。

2 图像的剪切波变换

剪切波变换是在小波理论和仿射系统理论的基础上发展起来的,是几何与多分辨分析理论相结合的产物,具有很好的方向选择性,更加符合人眼视觉特性。处理二维图像时,其仿射系统为^[12]

MAB(φ)=φj,l,k(x)=detAj2φ(BlAjx-k);j,l∈Z,k∈Z2,(1)

式中基函数φ_j,l,k(x)的集合为通过对单个局部特性良好的窗函数进行平移、旋转、剪切操作而形成;矩阵A^j决定图像的多尺度分解,是具有各向异性的膨胀矩阵;剪切矩阵B^l决定图像的多方向分解;|detA|=1;j为分解尺度;l为方向参数;k为平移参数。当M_AB(φ)具有紧框架,则(1)式中的φ_j,l,k为合成小波。剪切波中,A、B一般表示为A= 4002,B= 1101。

剪切波能实现尺度变换和几何变换,表明这种合成小波具有多分辨率分析的特点,可以在各个尺度、位置和方向上构造紧框架。分析其支撑条件和图1可知,每一个φ_j,l,k(x)支撑在大小为2^2j×2^j、方向沿着斜率l2^-j的梯形对上。剪切波比轮廓波更能对图像中细节信息进行优化逼近。因此,利用剪切波变换具有良好的时频局部特性、多尺度和多方向特性等优点,将源图像分解,得到低频子带系数和不同尺度不同方向的高频系数。

图 1. 剪切波的频域剖分

Fig. 1. Frequency domain decomposition of shearlet

下载图片 查看所有图片

如图2所示,剪切波分解过程如下:1)用非下采样金字塔算法将图像f分解为高通滤波图像 fh1和低通图像 fa1;2)在 fh1图像上做剪切滤波分解, fa1图像上经过非下采样金字塔算法做多尺度剖分得到 fa2和 fh2;3)多尺度分解层数和剪切波方向根据需求自定。

图 2. 剪切波分解过程

Fig. 2. Decomposing process of shearlet

下载图片 查看所有图片

3 本文融合算法

剪切波变换提取图像不同频率信息,分解后的子图像仍保持着图像的基本轮廓,图像的信息保留在不同的频带图像上。因此,在剪切波框架下,针对高低频系数涵盖图像不同的信息,采用相应的融合规则,有利于不同频率信息的提取和融合,使融合结果更符合人眼视觉。本文融合算法主要步骤为:

1) 利用剪切波变换分别对源图像进行分解得到红外和可见光图像的高频和低频子带系数。

2) 在低频子带系数上采用几何距离与能量距离加权的融合规则,对高频子带系数采用灰度差异与梯度距离加权的融合规则。

3) 经过剪切波逆变换得到融合后图像。

3.1 低频子带融合规则

低频子带图像包含着源图像的绝大部分能量,反映了图像的近似特性。因此,低频子带的融合规则对红外与可见光图像的互补信息提取有着重要的影响。传统的低频图像融合策略是采用平均值的融合规则,这种系数选择的方法会降低融合图像的对比度并损失部分能量信息。为解决该问题,可以采用局部区域能量的加权平均系数作为低频子带系数的融合规则。文献[ 13]将计算区域内像素点低频能量的算术平均值定义为区域的局部能量,文献[ 14]利用区域内像素点低频能量的高斯加权作为该区域的局部能量,两者均没有考虑源图像低频能量在区域内的结构信息,导致融合后的低频成分存在轮廓等结构信息丢失的问题。为保留融合后低频成分的结构信息,提出了一种基于新的局部能量的低频子带融合规则。该局部能量由区域内相邻像素点之间的几何距离和能量距离加权决定:

E(i,j)=∑m∈S∑n∈Tw(m,n)·cL(m,n)2,(2)

式中,

w(m,n)=exp-i-m2+(j-n)22σg2-‖cL(i,j)‖2-‖cL(m,n)‖22σp2,(3)

S×T为区域窗口大小,(i,j)和(m,n)分别为区域窗口的中心像素点和相邻像素点位置,c_L(i,j)为在点(i,j)处的低频子带系数,E(i,j)为在点(i,j)处低频子带系数的局部能量,δ_g和δ_p分别取值为0.5和1。

定义δ为两低频子带对应的区域的能量差异:

δIR(i,j)=EIR(i,j)Evis(i,j)+EIR(i,j),(4)δvis=1-δIR。(5)

图像融合在点(i,j)的低通子带系数为

cFL(i,j)=δIRcLIR(i,j)+δviscLvis(i,j)。(6)

为了凸显本文算法在边缘保留上的优势,将该算法的低频成分融合结果与文献[ 13-14]算法进行比较。图3中的白方框标注了场景中显著的目标,对比3种低频成分融合结果,文献[ 13-14]的融合结果中显著目标整体模糊,而本文算法所得融合结果能更好地保留红外源图像中清晰的目标轮廓,提取更多的结构信息。可见,本文算法在保留源图像的信息方面具有明显优势,使融合结果的目标更清晰。

图 3. 三种融合方法低频效果对比。(a)可见光图像;(b)红外图像;(c)文献[ 13]方法所得图像;(d)文献[ 14]方法所得图像;(e)本文算法所得图像

Fig. 3. Results contrast of low frequency image with three fusion algorithms. (a) Visible image; (b) infrared image; (c) image obtained by Ref.[13] algorithm; (d) image obtained by Ref.[14] algorithm; (e) fusion image obtained by proposed algorithm

下载图片 查看所有图片

3.2 高频子带融合规则

高频子带系数表征图像的边缘或细节等突变特性,包含了源图像中边缘、细节、轮廓等重要特征信息。传统的高频融合规则一般采用绝对值取大的融合规则。这种融合规则只是从单个像素点考虑,不能充分提取细节信息且会容易受到噪点等无用信息的干扰。为了更好地表达图像的边缘和纹理信息,文献[ 15-16]利用图像邻域梯度能量加权作为高频子带融合准则,但是该方法不能很好地凸显图像高频中结构信息的差异。因此,提出了一种新的基于梯度能量和灰度差异的高频成分融合规则。

图像中的噪点一般都是孤立的,与邻域内像素点的相似度很低;在边缘区域上,中心像素点与某一边的像素点具有较高的相似性;在平坦区域上,中心像素点与邻域内所有的像素点均有较强的相似性。中心像素点与周围像素点之间的灰度距离和梯度距离能表征图像邻域内的结构特征。因此,在M×N邻域窗口内,根据灰度距离和梯度距离定义中心像素点在邻域内的差异性为

T(i,j)=p(i+k,j+l)-p(i,j)+λe(i+k,j+l)-e(i,j)2,(7)

式中(i,j)和(k,l)分别为区域窗口的中心像素点和相邻像素点位置,p(i,j)为中心点(i,j)的梯度值,e(i,j)为中心点(i,j)的灰度值,λ衡量灰度距离和梯度距离对中心像素点在邻域内差异性的影响,取值为5。

图 4. 图像结构差异图。(a)红外图像;(b)红外图像结构图;(c)可见光图像;(d)可见光图像结构图

Fig. 4. Differences of image structures. (a) Infrared image; (b) structure of infrared image; (c) visible image; (d) structure of visible image

下载图片 查看所有图片

图像的边缘和纹理信息是图像融合中重要的细节信息。因此,源图像中的边缘、纹理等结构特征的提取和保留决定着融合图像的质量。通过计算像素点的灰度距离可以判断该像素点是否属于图像的边缘或纹理信息。像素点的灰度距离越大,该点位于图像的边缘或者纹理的可能性就越大。梯度距离可以将图像的边缘纹理信息和平坦区域分开。由图4可知,采用本文算法对红外和可见光图像都能很好地提取源图像的结构信息。

因此,利用图像结构特征定义中心点(i,j)在3×3窗口邻域内的高频加权系数为

I^i,j=1∑i,jwi,j∑i,jwi,jIi,j,(8)wi,j=exp-Ti,j,(9)

式中I(i,j)为源图像的高频系数,T(i,j)为(7)式计算所得中心点的差异性。

将两个高频子带对应的结构信息差异表示为

SIR(i,j)=IIR(i,j)Ivis(i,j)+IIR(i,j),(10)Svis(i,j)=Ivis(i,j)Ivis(i,j)+IIR(i,j),(11)

式中I_IR(i,j)和I_vis(i,j)分别为红外高频系数和可见光高频系数经过(8)式计算所得的高频加权系数。

则高频的融合规则定义为

HF(i,j)=HIR(i,j), SIR>T1Hvis(i,j), Svis>T2SIRHIR+SvisHvis, else,(12)

式中H_IR(i,j)、H_vis(i,j)和H_F(i,j)分别为红外图像、可见光图像以及两者融合图像的系数;T₁和T₂分别为红外与可见光图像经验值,取值分别0.85和0.8。

最后,将融合后的高低频系数经过剪切波逆变换返回到空间域。

4 实验结果与分析

为验证本文算法中融合框架和规则的有效性,选择离散小波变换(DWT)^[17]、NSCT^[13]和非下采样剪切波变换(NSST)算法作对比,其小波和轮廓波分解参数与文献报道一致。本文算法选择分解层次为4层,每层方向数为2ⁱ,i∈(1,2,3,4)。从主客观两个方面对实验结果进行分析,验证本文算法的正确性和有效性。

图 5. 第一组红外和可见光图像融合结果对比。(a)可见光图像;(b)红外图像;(c)基于DWT的融合图像; (d)基于NSCT的融合图像;(e)基于NSST的融合图像;(f)本文算法的融合图像

Fig. 5. Fusion results of the first group of infrared and visible images. (a) Visible image; (b) infrared image; (c) fusion image based on DWT; (d) fusion image based on NSCT; (e) fusion image based on NSST; (f) fusion image based on proposed algorithm

下载图片 查看所有图片

从图5可以看出,4种方法都利用了红外与可见光图像的互补性信息,都能清楚地观测到草丛中的人、场景中的栅栏、房子和道路,背景信息和目标信息都较为明显,但得到的融合图像质量有所差别。图5(c)和图5(d)在目标“人”的边缘处都存在混淆现象;图5(d)在整个图像层面上存在水平方向上的条纹干扰,引入了无关的人为干扰信息;图5(e)和图5(f)融合图像的红外目标区域边缘比较清晰,来自可见光树丛纹理细节区域的层次丰富,但图5(e)在草丛和人周围有虚假轮廓。采用本文算法所得融合图像中目标“人和灌木丛”的细节都能很好地表达出来,能更好地表示源图像中的边缘纹理信息,更有利于目标识别。

图 6. 第二组红外和可见光图像融合结果对比。(a)可见光图像;(b)红外图像;(c)基于DWT的融合图像; (d)基于NSCT的融合图像;(e)基于NSST的融合图像;(f)本文算法的融合图像

Fig. 6. Fusion results of the second group of infrared and visible images. (a) Visible image; (b) infrared image; (c) fusion image based on DWT; (d) fusion image based on NSCT; (e) fusion image based on NSST; (f) fusion image based on proposed algorithm

下载图片 查看所有图片

图 7. 第三组红外和可见光图像融合结果对比。(a)可见光图像;(b)红外图像;(c)基于DWT的融合图像; (d)基于NSCT的融合图像;(e)基于NSST的融合图像;(f)本文算法的融合图像

Fig. 7. Fusion results of the third group of infrared and visible images. (a) Visible image; (b) infrared image; (c) fusion image based on DWT; (d) fusion image based on NSCT; (e) fusion image based on NSST; (f) fusion image based on proposed algorithm

下载图片 查看所有图片

第二组对比实验选取红外信息多且目标分散的路面图像。由图6可看出,采用本文算法所得融合图像在整体对比度上优于其他算法。图6(c)和图6(d)由于红外图像整体亮度高的原因,过分依靠红外图像特征而丢失对比度信息,不符合人眼视觉,目标细节表示不充分。图6(e)的人、车和路灯等边缘有虚假轮廓。图6(f)清晰度有所提高,牌匾处字体清晰,表明采用本文算法在提升了融合图像整体对比度的同时保留了源图像的细节。主观来看,本文算法对图像目标和边缘纹理等细节处理更好,所得融合效果优于其他算法。

第三组对比实验选取空旷的海天背景的红外与可见光图像。由图7可看出,图7(c)与图7(d)中的轮船轮廓出现了虚假信息,图像不够自然;图7(e)与图7(f)效果符合人眼视觉效果,但图7(e)的轮船处过亮,细节信息保留不够。可见,本文算法对空旷的海天背景的红外与可见光图像的融合效果最好。

综上所述,比较不同融合算法所得融合图像效果可以看出,采用本文算法所得融合图像的视觉效果最好,图像的目标轮廓信息明显,且突出了图像中的细节。

为了进一步证明本文算法的有效性,采用信息熵E、图像清晰度Q^[18]、互信息(MI)^[19]、边缘信息保留值 Qe20和结构相似度(SSIM)^[21]等5个指标对上述结果进行评价,如表1所示。

对比不同融合图像结果可以看出,采用DWT算法所得融合图像的边缘不清晰,主要是由于小波变换只能表示图像的“点”奇异信息,不能很好地表示边缘等高维信息。采用NSCT算法所得融合图像的边缘出现了明显的伪影现象,主要是由于轮廓波缺少平移不变性。由表1可知,选用的5种客观评价指标,采用本文算法所得值绝大部分优于空间域变换、小波变换和轮廓波变换方法;与NSST算法相比,本文算法的融合规则能够捕获更多源图像中的特征信息。可见,本文算法的融合规则既能很好地保留低频中的能量信息,又能有效地提取高频中的细节特征,并有效地转移到融合结果中,得到更好的融合效果。

5 结论

提出了一种在剪切波框架下基于邻域结构特征的红外与可见光图像融合的算法,即在低频子带融合时采用几何距离与能量距离相结合的策略,在高频子带融合时采用梯度距离与灰度差异相结合的策略,解决了融合图像目标轮廓信息模糊和目标不突出的问题,并验证了该方法的有效性。对比实验结果表明,在视觉效果方面,本文算法能有效地提取红外目标信息、保持可见光图像信息。通过客观评价,与3种常规方法相比,本文算法在信息熵、图像清晰度、互信息、边缘信息保留值和结构相似度方面具有明显的优势。不足之处在于该算法对大背景下结构特征少的图像融合效果较差,需要采用对比实验阐明融合效果差的原因。