1 引言

红外与可见光图像融合的目的是提取二者的优势信息,得到具有良好细节信息和目标显著性的融合图像。图像融合算法可分为两大类:基于变换域的融合和基于空间域的融合^[1]。基于变换域的融合方法,近年来其研究热点在于改善传统多尺度变换方法[如Laplacian Pyramid (LP)、Principal Component Analysis (PCA)、Wavelet Transform (WT)及Contourlet变换等]中存在的特征提取效率不高、信息冗余等问题,主要有Nonsubsampled Contourlet Transform (NSCT)变换^[2]、Nonsubsampled Shearlet Transform (NSST)变换^[3]、Nonsubsampled Shearlet Contrast Transform (NSSCT)变换^[4]、非下采样双树复轮廓波变换^[5-6]等。因多尺度、多方向的分解及逆变换比较耗时,变换域的融合策略普遍存在融合效率不高的问题,基于空间域的融合策略由于直接在像素上进行操作,其执行效率具有一定的优势。基于空间域的融合方法,其中一个研究热点为基于区域的图像融合,融合的关键在于区域划分方法的选取及融合规则的制定^[7-8]。考虑到红外和可见光图像目标区域与背景区域具有显著不同的特性,Zhang等^[3]基于超像素显著度将原图像划分为目标区域和背景区域,其中目标区域取红外图像灰度值,背景区域经NSST变换,通过对比梯度信息进行系数加权融合;Lu等^[9]根据区域统计特性对原图像进行区域划分,在目标区域保留红外图像信息,在背景区域采用核奇异值分解进行融合。上述基于区域的融合方法,将原图划分为背景和目标区域,分别采用不同的融合规则实现图像融合,更好地保留了红外目标区域信息及可见光背景细节。但是,由于其仅仅进行二值区域分割,容易丢失部分细节信息,且直接基于区域划分图进行融合,容易出现伪影,而这个问题也正是基于区域的融合方法普遍存在的。针对这个问题,本文将提出一种基于多区域分割的图像融合方法,并结合引导滤波改善伪影问题。

图像经脉冲耦合神经网络(PCNN)处理得到的点火时间矩阵,可视为从空间纹理分布以及亮度分布上对图像的多区域划分,满足红外与可见光图像融合过程中充分保留红外目标亮度信息和可见光背景纹理特性的要求。本文提出一种结合PCNN与引导滤波的快速融合方法,解决了基于区域的图像融合方法所获得图像细节不够丰富、易出现伪影的问题。为提高算法执行效率,简化PCNN模型,并在脉冲产生单元加入抑制项,抑制已灭火像素的再次激活,同时采用信息熵判定准则及时停止迭代,在确保获得的点火时间矩阵T具有较丰富的多区域划分特性的同时,减少迭代次数,提高融合算法效率;红外与可见光图像分别经PCNN处理得到点火时间矩阵(T_IR)和原始的可反映纹理特性的多区域点火时间矩阵(T_VIS),为避免融合图像存在伪影,利用引导滤波修正T_IR和T_VIS得到兼具细节信息的多区域权重矩阵G_IR和G_VIS,其中所用的引导滤波以原图为引导图像,点火时间矩阵为输入图像;基于多区域权重矩阵G_IR和G_VIS,对红外与可见光图像进行加权融合。得到的融合图像细节丰富,且各区域之间灰度值连贯,无明显伪影。由于整个算法进行过程中所需的迭代次数较少,大部分为基于像素的直接操作,因此,该算法具有较高的执行效率,且所获得的融合图像具有较好的视觉效果。

2 PCNN模型的改进

PCNN是由多个神经元以特定的结构互相连接的反馈型单层网络^[10],具有三个功能单元:反馈输入域、连接输入域及脉冲产生域。该模型结构充分模拟了哺乳动物视觉系统对图像亮度响应的衰减特性以及脉冲同步发放特性。

在保证能够具备模拟哺乳动物视觉特性的基础上,可省去反馈域的耦合输入部分,同时,为了避免已灭火像素的再次激活干扰点火矩阵的区域划分效果,修正其脉冲产生过程,增加了抑制项:即将上一次脉冲状态与本次脉冲产生单元进行调制。图1为改进的PCNN神经元结构示意图,具体数学模型可以用迭代差分方程表示

Fij(n)=Sij,(1)Lij(n)=exp(-αL)Lij(n-1)+VL∑klWijklYkl(n-1),(2)Uij(n)=Fij(n)[1+βLij(n)],(3)θij(n)=exp(-αθ)θij(n-1)+VθYij(n-1),(4)Yij(n)=Yij(n-1)×ε[Uij(n)-θij(n)],(5)Tij(n)=Tij(n-1)+Yij(n),(6)

式中:ε表示阶跃函数;U_ij为内部活动项,θ_ij为阈值,下标ij表示当前PCNN神经元的位置,应用到图像处理中表示的是像素点位于第i行j列,内部活动项U_ij<θ_ij(灭火条件),该函数输出值为0,否则为1;下标kl则表示邻域神经元的位置,在图像处理中对应为第k行l列像素点,且kl不与ij重合;F是神经元的反馈输入矩阵;S为归一化后的像素灰度值;L是连接输入域的输出,L_ij表示第i行j列像素点受周围像素点激活状态耦合影响;W为耦合连接权重矩阵;U表示内部活动项,由反馈输出和连接输入域调制得到;α_L和V_L,α_θ和V_θ分别表示连接输入域和脉冲产生单元阈值的迭代衰减时间常数和连接权重放大系数;θ为阈值输出;β为内部活动项的连接系数;Y表示脉冲输出矩阵;T表示点火时间矩阵;n为迭代次数,常取较大值,带来较大的计算开销。为了提高算法执行效率,本研究采用文献[ 11]中提出的基于信息熵最大的迭代停止准则。当迭代输出已经达到最大信息熵分割效果时,仍保持点火部分应该是红外或可见光图像的优势信息,无需再继续迭代更新点火时间矩阵。这是因为迭代会增加计算消耗成本,且对后续基于点火时间矩阵的融合图像质量的提升效果不大。(5)式为增加的抑制项。

图1中linking area耦合连接部分反映的是邻域像素在空间上对当前像素激活状态的影响。Generate pulse脉冲产生单元则是产生点火输出的部分,利用内部活动项的调制,可使具有相近灰度值的区域同步点火。

图 1. 改进的PCNN神经元结构

Fig. 1. Neuronal construction of the improved PCNN

下载图片 查看所有图片

传统PCNN模型在step function模块获得的输出即为最终输出,随着模型迭代的进行,灭火的像素会周期地再次点火,且不同像素会存在点火周期混叠的情况,从而导致点火时间矩阵出现噪声和振荡。为了解决传统PCNN模型存在的上述问题,本研究在step function模块后面加入了点火抑制项(即图1中的红色框部分),采用上一次迭代的点火输出对当前脉冲输出进行调制,可抑制已灭火像素的再次点火,从而避免因像素的再次点火激活给PCNN输出的区域划分图像带来噪声。

3 PCNN参数设置

图1中改进PCNN模型需设置的参数包括W、α_L、V_L、α_θ、V_θ以及β。参数的合理设置直接影响同步脉冲发放效果,进而影响所得区域的分割效果。

3.1 耦合连接矩阵W的设置

W反映了邻域像素灰度值对本神经元的影响,距离越远其影响应越小,本研究选取3×3的窗口计算邻域耦合影响,权重结构采用欧氏距离的倒数,最终得到的耦合权重矩阵为

W=0.70710.7071010.70710.707。(7)

从(7)式可以看出,中心位置权重为零,周围邻域的权值系数为该处位置与中心点位置的欧氏距离的倒数,距离越远其灰度值对中心像素点火状态的影响越小。

3.2 参数αL、VL、αθ、Vθ以及β的设置

PCNN不同于常规神经网络及深度学习网络,不需要根据大量样本进行训练,其模型参数可以直接设定,故参数设置可直接决定所获得的点火时间矩阵分割效果。虽然本文对模型进行了简化,但是仍涉及到5个关键参数的设置,且各参数之间存在较强的耦合关系。当前PCNN参数设置分为三大类:基于经验设置、采用优化算法寻优、基于机理建模分析。其中,优化算法寻优容易出现不收敛、过拟合等问题,稳健性不佳;基于机理建模分析尚不成熟,适用性不高;基于经验的设置方法基本可以满足需求,即通过多次实验调整参数设置。但是PCNN模型待设置的参数过多,不同参数之间存在耦合影响,使得基于经验设置过程比较麻烦。因此,本文根据模型点火过程分析,为基于经验设置增加约束,从而减少需要设定参数的数量,降低设置参数的复杂度。

参数α_L和α_θ反映的是耦合连接域和阈值的衰减速度,二者取值比较接近时可获得较好发放特性,为了降低参数设置复杂度,令二者取值一致,即取α_L=α_θ。根据文献[ 12]中对PCNN参数的机理分析可知,其值越小,同步脉冲发放过程越细腻,但是发放速度也越低,当数量级设定在10^-3时,在发放速度和图像纹理分割细腻度上能折中并获得较满意效果。本文取α_L=α_θ=0.005,可在保证PCNN输出图像序列具有较好纹理分割特性的基础上,PCNN脉冲发放速度仍较快。

V_L的作用是放大邻域耦合的影响,而(3)式中参数β也有类似作用,因此,V_L参数的设定意义并不大,故而可令V_L=1,使得邻域的耦合作用主要反映在耦合权重矩阵上。

V_θ表示像素首次点火,阈值θ的抬升情况直接影响后续迭代过程像素点火情况。此外,根据(5)式可知,脉冲是通过比较内部活动项输出U和阈值θ的差异而产生的,V_θ的取值与β参数耦合性较强。因未考虑二者的约束关系,直接通过实验调参比较麻烦。为了避免上述情况,下面将通过分析(1)~(5)式所示的第1次迭代情况,寻找V_θ和β的关系。

本文基于PCNN模型进行图像处理,是从像素点灭火角度出发考虑。因此,在设定模型初始条件时,假定图像最原始的状态是全部点火的,即脉冲输出矩阵Y的元素均为1,即

Lij(0)=θij(0)=0,Yij(0)=1。(8)

第1次迭代时,相关变量状态为

Lij(1)=exp(-αL)Lij(0)+∑klWijklYkl(0)=6.828,(9)Uij(1)=Sij×[1+βLij(1)]=Sij×(1+6.828×β),(10)θij(1)=exp(-αθ)θij(0)+VθYij(0)=Vθ。(11)

由(10)式和(11)式及像素灭火条件U_ij<θ_ij可知,S_ij为客观存在的像素灰度,β和V_θ的合理设置,决定了低于某一灰度S_min的像素将在第二次迭代中灭火。输入为S_min的神经元应处于点火临界状态,即β和V_θ应满足

Umin(2)=Smin×(1+6.828β)=Vθ。(12)

图像经PCNN获得的脉冲输出矩阵序列,第一次迭代时灭火像素可看成是种子点,后续迭代可看作是基于种子点的灭火过程的扩散。由于本研究采用PCNN的目的是获得可反映纹理特性的点火时间矩阵输出,其脉冲发放过程不能过于粗糙。因此,第一次迭代时灭火像素不可过多,以保证点火时间矩阵后续迭代的有效性,即像素灰度值较暗的区域仍进行一定程度的纹理分割,本研究设定S_min=0.2,即限定灰度值低于最高亮度值20%左右的像素点在第一次迭代时灭火。因此,进一步细化得到V_θ和β的约束关系:

0.2×(1+6.828β)=Vθ。(13)

(13)式即为本文所增加的约束。可充分考虑V_θ和β的耦合关系,只需设置β即可得到最合适的V_θ。经多次红外与可见光图像融合实验发现,当取β=0.01时,根据(13)式可计算出V_θ=0.21,经过5次迭代后停止点火,所获得的点火时间矩阵的多区域分割效果较为细腻,可以满足融合需求。该参数设置方法中,β的取值若应用到其他图像处理场合,则需要针对不同图像处理要求进行实验设定,在0~1之间进行取值。

4 融合框架

考虑PCNN输出的点火时间矩阵具有多区域分割效果,基于点火时间矩阵进行直接加权融合会带来严重伪影效应。因此,引入引导滤波对点火时间矩阵T进行修正,再基于修正的T实现红外与可见光图像的加权融合。

引导滤波是一种具有保留边缘特性的滤波器,易于实现且执行速度快^[13]。假定输入图像表示为P,引导图像表示为I,输出图像表示为O,则引导滤波通过局部线性变换实现滤波处理。局部线性变换公式可表示为

On=αmIn+bm,∀n∈ωm,(14)

式中:ω_m表示以像素m为中心的局部窗口,窗口半径为r;a_m和b_m是局部线性变换系数;I_n表示局部窗口内位置为n的像素点对应的灰度值;O_n表示位置n对应的像素点线性变换输出。通过最小化代价函数E寻优求解

E(ak,bk)=∑n∈ωk[(akIn+bk-Pn)2+λak2],(15)

式中:λ为正则化系数^[14];E为代价函数,在保证线性参数不过大的前提下,使得基于引导图像获得的输出图像与输入图像之间的差异尽可能减小。

所提出的融合框架如图2所示。图2中T_IR和T_VIS为原始的点火时间矩阵,通过不同颜色标记可以看出,该多区域分割具有较好的纹理分割特性。经GFF处理后得到修正多区域权重矩阵G_IR和G_VIS,不同区域之间过渡更为平滑,基于该权重矩阵进行原红外图像(H_VIS)和可见光图像(H_VIS)加权融合,得到的融合图像I_fuse可较好地保留原红外与可见光图像中的优势细节信息,且基本不存在明显的伪影。

融合步骤如下所述:

1) 将已配准的红外图像(H_IR)与可见光图像(H_VIS)输入到改进的PCNN网络中,分别得到原始点火矩阵T_IR和T_VIS,为了更好地符合人眼视觉系统对暗区域像素变化值更为敏感的特点,对得到的T_IR和T_VIS分别取对数,拉伸暗区域(即点火矩阵中元素值较小区域);

2) T_IR和T_VIS分别以各自对应的原图为引导图像进行引导滤波,设定引导滤波的窗口半径r=3,正则化系数λ=0.001,获得修正的多区域权重矩阵G_IR和G_VIS;这里采用引导滤波修正PCNN输出的点火时间矩阵,目的是获得兼具显著信息与边缘细节信息的多区域加权矩阵,基于该矩阵对红外与可见光图像进行加权融合,可更好地提高融合图像质量。

3) 基于G_IR和G_VIS对红外和可见光图像进行加权平均,得到融合图像,并对其进行线性变换增强对比度,以获得更好的视觉效果。加权融合规则的表达式为

Ifuse=(GIR·HIR+GVIS·HVIS)/(GIR+GVIS),(16)

式中:·表示点乘运算。

图 2. 本文融合算法框架

Fig. 2. Flow chart of the proposed fusion method

下载图片 查看所有图片

5 实验结果及分析

5.1 实验相关设置

为了验证所提出模型和算法的有效性,本文方法在Intel Core i5-4300U CPU, 内存为 4 GB 的计算机上采用MATLAB 2016a编程实现,选取4组典型红外与可见光图像(图3)进行融合实验,并与其他3种融合算法结果进行比较:基于引导滤波Guided Filter Filtering(GFF)的融合方法^[14]、基于特征提取的融合方法(本文简称为FE)^[15]以及NSCT变换与PCNN的融合方法(简称NSCT_PCNN)^[16]。其中,对比方法的参数设置均与原文献保持一致。

为了评价融合效果,本文将从主观视觉效果和客观评价指标两方面进行讨论。选用的客观评价指标为交叉熵(Cerf)、空间频率(SF)和信息熵(sh)。交叉熵越小,表明融合图像与原图像的差异越小,融合效果越好;空间频率越大,表明图像清晰度越高;信息熵越大,表明融合图像包含信息越丰富。

5.2 实验结果分析

4组红外与可见光图像的融合结果如图4所示。图4(a1)~(a4)为基于引导滤波GFF的融合结果,可以看出融合图像细节较为丰富,但是dune图像中红框部分看不到可见光图像中的道路,kayak图像中红框部分噪声过大,road融合结果中部分灯光信息丢失;图4(b1)~(b4)为基于特征提取方法的融合结果,可以看出可见光信息和红外目标得到了很好的保留,例如图4(b1)、(b2)的红框部分,但是road这类目标场景较丰富的融合情况,会弱化部分信息,如汽车轮廓、坐着的行人轮廓等;图4(c1)~(c4)为NSCT_PCNN的融合结果,图4(c1)、(c2)融合图像细节信息较为丰富,图4(c3)、(c4)在目标周边出现了伪影;图4(d1)~(d4)为本文所采用结合PCNN与GFF的融合结果,可以看出本文方法融合图像细节较为丰富,camp图像的栅栏和树木、dune图像的路面、kayak图像的路人以及road图像的建筑物、汽车轮廓灯都清晰可见。

图 3. 4组原始红外与可见光图像。(a) Camp红外图像;(b) camp可见光图像;(c) dune红外图像;(d) dune可见光图像;(e) kayak红外图像;(f) kayak可见光图像;(g) road红外图像;(h) road可见光图像

Fig. 3. Four groups of the original infrared and visible images. (a) Camp infrared image; (b) camp visible image; (c) dune infrared image; (d) dune visible image; (e) kayak infrared image; (f) kayak visible image; (g) road infrared image; (h) road visible image

下载图片 查看所有图片

为了客观评价不同算法的融合结果,选取交叉熵、空间频率和信息熵三个指标进行对比分析,具体评价结果如表1所示,表中黑体标注为最优指标。从表1可以看出,在4组红外与可见光图像的融合结果对比分析中,本文方法的交叉熵Cerf、空间频率SF两项指标均优于其他3种对比方法,信息熵指标sh部分占优,其中dune和kayak图像融合结果稍微处于劣势,但是相差也不大。主观和客观评价结果表明本文融合方法获得的融合图像,具有较丰富的细节信息,融合效果较好。

图 4. 不同算法融合结果对比。(a1)~(a4)引导滤波(GFF)的融合结果;(b1)~(b4)基于特征提取(FE)的融合结果;(c1)~(c4) NSCT_PCNN的融合结果;(d1)~(d4)本文PCNN_GFF的融合结果

Fig. 4. Fusion results of different fusion methods. (a1)-(a4) Fusion results of GFF; (b1)-(b4) fusion results of EF; (c1)-(c4) fusion results of NSCT_PCNN; (d1)-(d4) fusion results of the proposed PCNN_GFF

下载图片 查看所有图片

为了进一步验证本文算法的快速性,在同一硬件平台上运行上述融合算法,列出其所需的执行时间,如表2所示。可以看出,文献[ 16]所选用的NSCT_PCNN融合方法所耗时间最长,因为NSCT分解计算量较大;基于引导滤波GFF的融合、特征提取融合及本文的结合PCNN与引导滤波的融合方法的运行速度在同一个级别,但是本文的融合图像细节更为丰富,进一步验证了本文所提出融合算法可在保证融合图像质量的基础上提高融合效率。

5 结论

针对红外与可见光图像融合过程中图像细节不够丰富,融合图像中目标边缘易出现模糊等问题,利用PCNN输出的点火时间矩阵具有多区域分割特性这一特点,提出了结合PCNN与引导滤波GFF的融合方法。通过引入GFF修正点火时间矩阵,进行红外与可见光图像的加权融合,可很好地将红外与可见光图像各自的优势信息保留到融合图像中,且不会出现由于区域分割而带来的伪影。同时,为了提高融合速度,简化了PCNN的模型结构,提出了一种带约束的参数设置方法,并基于信息熵最大原则确定迭代停止次数,在保证点火时间矩阵分割的区域可较好反映原图纹理特性的基础上,减少迭代次数,从而提高了算法的效率。多组实验结果表明,本文提出的算法具有较高的运行效率,同时融合图像具有较为丰富的细节纹理信息,主客观综合性能均优于其他几种对比融合方法。本研究采用简单加权的规则进行融合,未来可寻找更为合适的融合规则,突出目标信息,以便于后续基于融合图像的目标定位及识别应用。