基于显著矩阵与神经网络的红外与可见光图像融合

沈瑜; 陈小朋; 苑玉彬; 王霖; 张泓国

doi:doi:10.3788/LOP57.201007

激光与光电子学进展, 2020, 57 (20): 201007, 网络出版: 2020-10-10

基于显著矩阵与神经网络的红外与可见光图像融合下载： 876次

Infrared and Visible Image Fusion Based on Significant Matrix and Neural Network

论文大纲

沈瑜陈小朋 ^*苑玉彬王霖张泓国

作者单位

兰州交通大学电子与信息工程学院, 甘肃兰州 730070

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对红外与可见光图像融合过程中出现的细节损失严重、视觉效果不佳等问题,提出了基于多尺度几何变换模型的融合方法。首先,采用改进的视觉显著性检测算法对红外与可见光图像进行显著性检测,并构建显著性矩阵;然后,对红外与可见光图像进行非下采样剪切波变换,得到相应的低频和高频子带,并采用显著性矩阵对低频子带进行自适应加权融合,同时采用简化的脉冲耦合神经网络并结合多方向拉普拉斯能量和对高频子带进行融合处理;最后,通过逆变换得到融合图像。实验结果表明,该方法能够有效提升融合图像的对比度并保留源图像的细节信息,融合图像具有良好的视觉效果,且多个客观评价指标均表现良好。

Abstract

In view of the serious detail loss and poor visual effect in the process of infrared and visible image fusion, a fusion method based on the multi-scale geometric transformation model is proposed. First, the improved visual saliency detection algorithm is used to detect the significance of infrared and visible images and construct the saliency matrix. Then, the infrared and visible images are transformed by the non-subsampled shearlet transform to obtain the corresponding low-frequency and high-frequency subbands. Simultaneously, the low-frequency subbands are adaptively weighted by the saliency matrix and the high-frequency subbands are fused by the simplified pulse coupled neural network combined with the multi-direction sum-modified-Laplacian. Finally, the fusion image is obtained by inverse transformation. The experimental results show that this method can effectively improve the contrast of the fusion image and retain the details of the source image. The fusion image has a good visual effect and performs well in a variety of objective evaluation indicators.

1 引言

图像融合是将多源传感器所采集的关于同一目标场景或者单一传感器所采集的关于不同场景的多幅图像中的信息进行整合,得到空间分辨率和光谱分辨率均有所提升的高质量图像^[1]。可见光图像的空间分辨率较高且蕴含丰富的细节信息,但成像易受外界环境影响;红外图像虽然对比度较低、细节信息丢失严重,但是红外传感器成像非常稳定。红外与可见光图像具有互补性,二者融合后图像具有较好的视觉效果。红外与可见光图像融合现已应用于**、计算机视觉、社会安全等多个领域^[2-3]。

多尺度几何变换以其独特的多尺度分析特性被广泛应用于红外与可见光图像融合。由于传统的小波变换无法获取图像的边缘和方向信息,因此研究者提出了新的多尺度分析工具以用于图像融合,如曲波变换^[4]、轮廓波变换^[5]、剪切波变换^[6]、离散小波变换^[7]等。近年来,Jin等^[8]采用非下采样轮廓波变换法对源图像进行分解,并通过区域能量自适应准则对其中的低频子带进行融合处理,同时通过绝对值取大法与自适应高斯区域标准差准则对高频子带进行融合处理,融合图像中目标更为突出。冯鑫^[9]采用联合稀疏表示对Tetrolet分解后的低频子带进行精确拟合,并根据改进神经网络的神经元点火次数对高频子带进行选择,融合图像有效保留了源图像的边缘信息与细节特征。非下采样剪切波变换(NSST)^[10]以剪切波变换(ST)^[11]为基础,具备较好的平移不变性,能够有效克服图像融合中的Gibbs失真。江泽涛等^[12] 采用显著性、清晰度和标准差联合权重矩阵对经NSST分解后的低频子带进行加权融合,并采用双通道脉冲发放皮层模型对高频子带进行融合处理,解决了背景信息缺失与图像边缘保留不充分的问题。吴一全等^[13]采用引导滤波并结合二维Tsallis熵、显著性特征提取对经NSST分解的低频子带进行增强融合,同时采用信息和取最大对高频子带进行融合处理,解决了图像融合中目标不够突出、细节不够丰富的问题。

目前,红外与可见光图像的融合仍然存在以下问题:首先,源图像来自不同的传感器,相关性较小,存在空间校正误差;其次,一般的多尺度变换运算较为复杂且对分解方向数目有一定的限制,无法对图像进行进一步的稀疏表示,这限制了融合效果的提升;最后,现有的融合方法对图像细节保留不够充分且融合图像的对比度较低,视觉效果并非最佳。

针对上述问题,本文以NSST为基础,并结合视觉显著性和脉冲耦合神经网络(PCNN),提出了一个图像融合算法。NSST作为多尺度变换模型的一种,可以对图像的配准误差进行一定程度上的修正,减小了融合误差;此外,NSST对剪切后的方向数没有限制且逆变换不需要合成方向滤波器,能更好地对图像进行稀疏表示并且降低运算的复杂度,提升运算效率。另外,低频子带的融合以视觉显著性为基础,可以突出图像的显著性区域特征,契合人眼视觉的观察效果;高频子带的融合借助脉冲耦合神经网络对图像整体细节的提取能力,通过结合改进的拉普拉斯能量和,根据输出的点火矩阵设定融合规则,实现图像边缘细节信息的保留。

2 NSST分解模型

NSST对图像的分解过程分为多尺度分解和方向局部化两部分,多尺度分解的对象为源图像,通过非下采样塔式滤波器组(NSP)实现,每次分解可得到1个低频子带和1个高频子带。若源图像经过v级分解,则共可得到(v+1)个尺寸与源图像一致的子带。方向局部化的对象为多尺度分解后的低频子带,通过改进的剪切波滤波器(SF)实现,即先将标准剪切波滤波器从非极化坐标系映射到笛卡儿坐标系,再通过快速傅里叶逆变换计算二维卷积,从而得到改进后的剪切波滤波器,避免了下采样的操作,使NSST具有平移不变性,改善了Gibbs失真现象。此外,在方向局部化的过程中,可以根据需求选择长宽比可变的Meyer窗来自定义分解方向的数量,这打破了多尺度变换在分解方向上的局限性。若对某子带进行z个方向分解,则可以得到(2z+2)个与原子带大小相同的方向子带。以图像zoneplate为例,进行NSST分解,分解过程如图1所示^[14]。

图 1. NSST分解过程 ^[14]

Fig. 1. Decomposition process via NSST ^[14]

下载图片查看所有图片

3 图像融合

本文提出的基于显著矩阵与脉冲耦合神经网络的图像融合算法如下:1)用快速引导滤波替换调谐(FT)图像显著性检测算法中的高斯滤波,并分别提取红外图像IR、可见光图像VIS的显著性特征,以构建二者的显著性矩阵;2)分别对IR、VIS进行l级的非下采样剪切波变换,并将变换结果分解为低频子带与高频子带的组合形式;3)针对低频子带,通过显著性矩阵,自适应地计算显著性加权系数并进行加权融合处理,得到融合后的低频系数;4)将IR、VIS的高频子带作为简化PCNN的输入,取IR、VIS的高频子带在点火矩阵中所有位置处的点火次数的差的绝对值,对差值绝对值与预设阈值进行比较:若差值绝对值处于阈值区间内,则采用多方向拉普拉斯能量和对对应位置处的高频子带系数进行自适应加权融合,若差值绝对值超出阈值区间,则根据点火次数选择高频子带系数,从而得到融合后的高频子带;5)对融合后的低频子带和高频子带进行多尺度逆变换,得到显著性特征明显且边缘细节信息丰富的融合图像。算法的整体流程如图2所示。

图 2. 算法流程图

Fig. 2. Flow chart of proposed algorithm

下载图片查看所有图片

3.1 低频子带融合

3.1.1 引导滤波

He等^[15]提出引导滤波的概念,通过引导图像完成滤波过程。引导图像可以是待滤波图像本身,也可以是其他单独的图像。在引导图像的作用下,能够实现与双边滤波类似的保边平滑效果,不仅能够滤除图像噪声,还能够平滑边缘、保证梯度特性。

设输入图像为p,引导图像为G,引导滤波输出为O,则在以k为中心的局部窗口w_k中,O与G之间的关系可以表示为

O_{c} = a_{k} G_{c} + b_{k}, \forall c \in w_{k}, (1)

式中:O_c和G_c分别为图像O与G在位置c处的像素值;a_k、b_k为线性函数的系数;c为像素点索引。系数a_k与b_k通过线性回归求出:

\{\begin{array}{l} a_{k} = \frac{\frac{1}{|w|} \sum_{c \in w_{k}} G_{c} p_{c} - μ_{k} {\bar{p}}_{k}}{σ_{k}^{2} + ε} \\ b_{k} = (\frac{1}{|w|} \sum_{c \in w_{k}} p_{c}) - a_{k} μ_{k} \end{array}, (2)

式中:p_c为输入图像p在c处的像素值; ${\bar{p}}_{k}$ 为输入图像p在局部窗口w_k中的像素均值;ε为正则化参数;w为局部窗口大小;μ_k、 $σ_{k}^{2}$ 分别为局部窗口的均值和方差。

3.1.2 融合规则

人类视觉系统在观察场景时会自动搜索并定位感兴趣的目标及区域,此种能力在计算机视觉领域中的应用即为视觉显著性检测,感兴趣区域称为显著性区域。FT^[16]显著性检测算法通过对图像进行频率域分析,不仅能够捕捉显著性目标、突出显著性区域,还能够忽略噪声,并输出全分辨率显著图,当FT显著性检测算法指导低频子带的融合时,图像的显著性特征得到较好的体现。

设输入图像为I,其显著性计算公式为

S_{I} (x, y) = ‖ I_{μ} - I_{w h c} (x, y) ‖, (3)

式中:(x,y)为像素位置坐标;I_μ为输入图像的像素均值;I_whc(x,y)为高斯差分滤波后的像素值;‖·‖为L2范数。

FT算法计算特征图时使用的非线性高斯函数会使算法的效率降低,本文利用快速引导滤波对其进行改进。快速引导滤波在滤波前后分别增加了imresize操作,降低了运算量,提高了运算效率,且不会出现明显的失真现象。改进后的显著性计算公式为

S_{I} (x, y) = ‖ I_{μ} - I_{FGF} (x, y) ‖, (4)

式中:I_FGF(x,y)为经快速引导滤波后(x,y)处的像素值。以红外图像为例,常见的显著性检测算法与本文改进算法的检测结果对比如图3所示。通过对比可以看出,本文改进算法对显著性特征的提取效果更好,红外目标更加突出。

图 3. 显著性检测结果。(a)红外图像;(b) AC算法;(c) HC算法;(d)改进算法

Fig. 3. Saliency detection results. (a) Infrared image; (b) AC algorithm; (c) HC algorithm; (d) improved algorithm

下载图片查看所有图片

根据(4)式可以分别得到红外与可见光图像对应的显著性系数S_IR(x,y)和S_VIS(x,y),然后通过显著性系数矩阵对低频子带D_IR(x,y)和D_VIS(x,y)进行加权融合:

D_{F} (x, y) = w_{1} \times D_{VIS} (x, y) + w_{2} \times D_{IR} (x, y), (5)

式中:D_F(x,y)为融合后的低频子带;w₁与w₂为权重系数,计算公式为

\{\begin{array}{l} w_{1} = \frac{S_{VIS} (x, y)}{S_{VIS} (x, y) + S_{IR} (x, y)} \\ w_{2} = \frac{S_{IR} (x, y)}{S_{VIS} (x, y) + S_{IR} (x, y)} \end{array} 。 (6)

3.2 高频子带融合

3.2.1 脉冲耦合神经网络

脉冲耦合神经网络^[17]作为一种反馈型网络,具有全局耦合、空间邻近以及同步激发等多种特性,可提取图像的细节特征。脉冲耦合神经网络的基本组成单位为神经元。当神经元受到外部激励时,接收域接收外部激励 $Q_{ij}^{(n)}$ 并计算链接输入 $L_{ij}^{(n)}$ ,外部激励经调制域调制后得到内部活动项 $U_{ij}^{(n)}$ ,最后在脉冲产生域,通过比较内部活动项 $U_{ij}^{(n)}$ 与动态阈值 $θ_{ij}^{(n)}$ ,产生输出脉冲 $Y_{ij}^{(n)}$ 。当输出脉冲为1时,神经元被激活并进行点火;反之,则不进行点火。简化的PCNN模型表达式为

\{\begin{array}{l} F_{ij}^{(n)} = Q_{ij}^{(n)} \\ L_{ij}^{(n)} = \exp (- α_{L}) L_{ij}^{(n - 1)} + V_{L} \sum_{pq} W_{ij, pq} Y_{ij}^{(n - 1)} \\ U_{ij}^{(n)} = F_{ij}^{(n)} [1 + β L_{ij}^{(n)}] \\ Y_{ij}^{(n)} = \{\begin{array}{l} 1, & U_{ij}^{(n)} \geq θ_{ij}^{(n)} \\ 0, & U_{ij}^{(n)} < θ_{ij}^{(n)} \end{array} \\ θ_{ij}^{(n)} = \exp (- α_{θ}) θ_{ij}^{(n - 1)} + V_{θ} Y_{ij}^{(n)} \end{array}, (7)

式中: $F_{ij}^{(n)}$ 为反馈信号;n为迭代次数;α_θ、α_L为衰减系数; V_L、V_θ为放大系数; W_ij_,_pq为权重系数;β为链接强度系数;(i,j)为神经元位置;(p,q)为输入图像坐标范围。通过对输入图像进行迭代变换,统计神经元点火次数并输出点火映射矩阵:

T_{ij}^{(n)} = T_{ij}^{(n - 1)} + T_{ij}^{(n)}, (8)

式中: $T_{ij}^{(n - 1)}$ 为第n-1次迭代后高频子带的点火矩阵在(i,j)处的取值; $T_{ij}^{(n)}$ 为第n次迭代后高频子带的点火矩阵在(i,j)处的取值。由(8)式可知,在迭代过程中,当前时刻高频子带的点火矩阵在(i,j)处的取值与前一时刻高频子带的点火矩阵在(i,j)处的取值相加作为当前时刻的值。

3.2.2 融合规则

PCNN进行子带融合时,通常借助点火次数设定融合规则。为了尽可能多地保留图像特征,本文在点火矩阵的基础上,通过结合多方向拉普拉斯能量和(Sum Modified Laplacian,SML)^[18],设定了融合规则。SML通过计算水平和垂直方向的能量和来获取图像的清晰度和边缘特征,并通过计算对角线方向的能量和来减少信息丢失。改进的多方向SML计算公式为

S_{SML}^{l} (i, j) = \overset{i = \overset{..}{m} + M}{\sum_{i = \overset{..}{m} - M}} \overset{j = \overset{..}{n} + N}{\sum_{j = \overset{..}{n} - N}} [M_{ML}^{l} {(i, j)]}^{2}, (9)

式中:( $\overset{..}{m}$ , $\overset{..}{n}$ )为中心像素点的位置坐标;(M,N)为像素坐标偏移量;l为分解级数; ${M^{l}}_{ML}$ (i,j)为拉普拉斯算子,计算公式为

\begin{array}{l} M_{ML}^{l} (i, j) = \\ | 2 H^{l} (i, j) - H^{l} (i - 1, j) - H^{l} (i + 1, j) | + \\ | 2 H^{l} (i, j) - H^{l} (i, j - 1) - H^{l} (i, j + 1) | + \\ | 1.4 H^{l} (i, j) - 0.7 H^{l} (i - 1, j - 1) - \\ 0.7 H^{l} (i + 1, j + 1) | + | 1.4 H^{l} (i, j) - \\ 0.7 H^{l} (i + 1, j - 1) - 0.7 H^{l} (i - 1, j + 1) |, (10) \end{array}

式中:H^l(i,j)为第l级图像的高频子带在(i,j)处的取值。

利用点火次数与多方向拉普拉斯能量和,对红外与可见光图像的高频子带 ${H^{l}}_{IR}$ (i,j)、 ${H^{l}}_{VIS}$ (i,j)进行融合,得到融合后的高频子带 ${H^{l}}_{F}$ (i,j)。具体融合规则如下。

若 $|T_{ij}^{(n) VIS} - T_{ij}^{(n) IR}|$ >ξ,有

H_{F}^{l} (i, j) = \{\begin{array}{l} H_{VIS}^{l} (i, j), & T_{ij}^{(n) VIS} \geq T_{ij}^{(n) IR} \\ H_{IR}^{l} (i, j), & T_{ij}^{(n) VIS} < T_{ij}^{(n) IR} \end{array}, (11)

若 $|T_{ij}^{(n) VIS} - T_{ij}^{(n) IR}|$ ≤ξ,有

H_{F}^{l} (i, j) = u_{1} \times H_{VIS}^{l} (i, j) + u_{2} \times H_{IR}^{l} (i, j), (12)

式中: $T_{ij}^{(n) VIS}$ 和 $T_{ij}^{(n) IR}$ 分别为可见光与红外图像高频子带的点火矩阵在(i,j)处的值;ξ为点火次数的差的绝对值的阈值;u₁与u₂为SML自适应权重系数,计算公式为

\{\begin{array}{l} u_{1} = \frac{S_{SML, VIS} (i, j)}{S_{SML, VIS} (i, j) + S_{SML, IR} (i, j)} \\ u_{2} = \frac{S_{SML, IR} (i, j)}{S_{SML, VIS} (i, j) + S_{SML, IR} (i, j)} \end{array}, (13)

式中:S_SML,VIS(i,j)和S_SML,IR(i,j)分别为可见光和红外图像高频子带在(i,j)处的拉普拉斯能量和。

根据融合规则可知,当同一神经元的点火次数相差较大时,说明单一图像的特征较为明显,直接选择点火次数较大者作为融合后的子带系数;当点火次数较为接近时,说明两者均具有明显特征,此时采用SML自适应加权融合得到高频子带系数。

4 实验评估

4.1 实验设置

为验证本文算法的可行性与有效性,从TNO Image Fusion Dataset中选取四组经过配准的红外与可见光图像进行融合实验。实验的仿真平台配置为Intel酷睿i7-5500U CPU,运行内存为8GB,并搭载64位Win 7系统的PC机,编程环境为Matlab 2016a。由于本文算法是基于变换域,特选用拉普拉斯金字塔变换(LP)、轮廓波变换(Contourlet)、非下采样轮廓波变换(NSCT)、曲波变换(Curvelet)和双树复小波变换(DTCWT)等变换域算法以及交叉双边滤波 (CBF) 算法^[19]、卷积稀疏表示 (CSR) 算法^[20]、联合稀疏表示 (JSR) 算法^[21]、联合稀疏表示与显著性检测 (JSRSD) 混合算法^[22]等进行对比。对于五种变换域算法,Curvelet采用5层分解,LP、Contourlet、NSCT与DTCWT均采用4层分解;Contourlet的滤波器参数为“pkva”,NSCT的滤波器参数为“pyrexc”、“vk”, DTCWT滤波器参数为“legall”、“qshift_06”。经LP方法分解后的系数采用加权平均法并结合一致性检验的取大法进行融合;经Contourlet方法分解后的低频系数采用阈值选择法进行融合,高频系数则采用方差叠加法进行融合;经NSCT、Curvelet 及DTCWT方法分解后的低频系数均采用均值加权法进行融合,高频系数均采用绝对值取大法进行融合;CBF、CSR、JSR、JSRSD等四种算法的参数设置与原文献相同。本文算法的NSST采用4层分解,滤波器参数为“maxflat”,引导滤波的局部窗口大小为3 pixel×3 pixel。简化PCNN的参数设置具体如下:内部活动项、动态阈值、输出脉冲及点火映射矩阵均依据PCNN原始模型的设定,其初始值均为0,即 $U_{ij}^{(n)}$ = $θ_{ij}^{(n)}$ = $Y_{ij}^{(n)}$ = $T_{ij}^{(n)}$ =0;根据模型的输入计算链接输入 $L_{ij}^{(n)}$ ,简化模型中的衰减系数、放大系数及链接强度主要依据经验通过多次调试手动来获取,分别为α_θ=0.2,α_L=0.07,V_L=1,V_θ=20,β=0.2;在其他参数确定的情况下,通过控制变量实验确定迭代次数为n=110。融合规则中的点火次数差的阈值ξ根据“Street”图像的点火次数统计实验来确定,取点火次数差最大值的85%。“Street”的点火次数及差值统计如图4所示,其中N₁和N₂分别为红外与可见光图像高频子带的点火次数,N₃为N₁和N₂差值的绝对值。

图 4. 点火次数。(a)红外图像;(b)可见光图像;(c)差值统计

Fig. 4. Number of ignition. (a) Infrared image; (b) visible image; (c) difference statistics

下载图片查看所有图片

4.2 实验结果分析

对实验结果的评价分为主观评价和客观评价两部分。主观评价是通过人眼视觉对图像的融合效果进行评判,能够较为直观地判断融合结果的优劣。

第一组图像“Street”的融合结果如图5所示。从融合结果可以看出,所有的融合方法基本上都可以表达出场景的基本信息,包括人物、汽车以及街景建筑等显著性特征; Contourlet方法融合的图像整体偏暗,场景中的热源物体不明显;LP方法和Curvelet方法较之Contourlet方法虽然突出了人物、路灯等的轮廓,但是场景中广告牌处的细节信息不足;NSCT方法和DTCWT方法与本文方法的融合效果较为接近,但是在路灯和岔路口处出现较为明显的融合不完全现象;CBF方法融合后的图像受噪声污染比较严重;CSR方法的结果中出现多处黑斑,视觉效果较差;JSR与JSRSD方法融合后的图像整体视觉效果比较好,但在汽车尾部的路灯处出现小部分的融合不完全现象;本文算法的融合图像不仅能够突显人物的轮廓和广告牌上的细节特征,而且图像整体清晰度较高,视觉效果较好,有助于观察者对场景的理解。

图 5. 第一组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 5. First group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

下载图片查看所有图片

第二组图像“Lake”的融合结果如图6所示。通过融合结果可以看出,LP、Contourlet、DTCWT以及NSCT方法对湖面的表征出现了不同程度的信息丢失情况,未能综合可见光图像背景中的细节信息;Curvelet方法对湖面的表征更加符合实际场景,但是湖边草地上的部分与NSCT方法融合图像中的相同位置相比,出现了模糊的图像块,视觉效果较差;CBF方法对湖面水中倒影的刻画过于突出; CSR方法则是在湖边草地处出现严重的信息丢失,在图像右上角的字母处存在较为严重的融合缺陷;JSR与JSRSD方法得到的融合图像在湖面与草地处的对比度过高,严重影响场景的辨识;本文方法的融合图像对场景中湖面和草地部分的表征较自然,符合人眼的视觉效果。

图 6. 第二组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 6. Second group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

下载图片查看所有图片

第三组图像“Camp”的融合结果如图7所示。根据融合结果可以看出,所有的融合图像都可以刻画出场景的基本信息;Contourlet方法和Curvelet方法的融合图像整体对比度较低,场景中人物的轮廓并不是十分明显;CSR方法的融合图像视觉效果较差;CBF、JSR及JSRSD方法的融合图像虽然对人物轮廓的刻画较为细致,但是图像整体存在较为严重的噪声干扰,损失了大量的细节信息;LP、NSCT和DTCWT方法在人物的突显和围栏的细节刻画方面较JSR和JSRSD方法有所提升;本文方法无论是对人体轮廓和后方围栏的刻画,还是对屋顶烟囱部分的刻画,较其他方法都相对突出,画面中的道路和植被区别较为明显,符合人眼视觉对实际场景的观测效果。

图 7. 第三组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 7. Third group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

下载图片查看所有图片

第四组图像的融合结果如图8所示。由图8可知,LP方法和Contourlet方法对场景中的人物轮廓刻画不足;在CSR方法的融合图像中,人物轮廓信息严重丢失;Curvelet方法的融合图像在枝桠等细节部分出现了局部模糊现象;JSR与JSRSD方法的融合图像在右上角出现了融合不完全的斑块现象,且图像噪声使得场景的可理解性降低;CBF、NSCT及DTCWT方法的融合图像对上述部分的刻画效果有所改观;本文方法除了对近处物体轮廓特征和细节特征的刻画效果有所提升,对场景中远处的道路及路旁木桩的刻画效果也有较大的改善。综上所述,本文方法的融合效果较对比方法均有不同程度的提高。

图 8. 第四组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 8. Fourth group of images. (a) Infrared image; (b) visible Image; (c) LP; (d) Contourlet; (e)NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

下载图片查看所有图片

主观评价虽然能够较为直接地判定融合结果的优劣,但是主观性较强,且个体的视觉敏感度存在差异,评判结果具有一定的片面性,因此需要借助客观评价指标对融合图像进行综合评判。本文采用信息熵(IE)、空间频率(SF)、像素标准差(SD)、峰值信噪比(PSNR)和相关系数(CC)对融合图像进行评价。IE用于衡量融合图像中所包含的信息量,SF用于衡量融合图像的灰度变化率,SD用于衡量融合图像像素灰度值的离散程度,PSNR用于衡量融合图像在融合过程中的失真程度,CC用于衡量融合图像与源图像的线性相关程度。以上5个评价指标均为正向指标,其值越大越好。四组融合图像的评价指标如表1~4所示。

表 1. 第一组图像的评价指标

Table 1. Evaluation indicators for first group of images

Method	IE	SF	SD	PSNR	CC
LP	6.9226	17.6749	36.7475	38.1069	0.8708
Contourlet	5.9524	13.8058	21.7361	39.4505	0.8733
NSCT	6.8784	18.7416	37.8630	37.3155	0.9589
Curvelet	6.4513	18.0400	30.1752	47.4130	0.8757
DTCWT	6.9711	17.9428	37.6861	39.3814	0.9567
CBF	6.7097	18.2130	36.2435	15.6362	0.7378
CSR	6.9962	18.8367	39.0672	14.4927	0.7084
JSR	6.7898	17.6050	37.0912	15.7784	0.7230
JSRSD	6.8043	18.0759	36.4776	16.0170	0.7231
Proposed method	7.0152	18.5225	39.9878	44.8938	0.9673

查看所有表

表 2. 第二组图像的评价指标

Table 2. Evaluation indicators for second group of images

Method	IE	SF	SD	PSNR	CC
LP	7.0466	16.8403	42.3188	28.0657	0.8871
Contourlet	6.5824	13.2216	25.0162	26.6001	0.8964
NSCT	7.0283	17.8264	41.2404	25.3340	0.9287
Curvelet	7.3744	17.9490	44.5483	24.2827	0.8820
DTCWT	6.7691	17.0669	29.0637	26.4425	0.8959
CBF	7.1189	18.0580	37.1697	15.9314	0.8518
CSR	7.0242	20.0650	43.5427	15.5910	0.8355
JSR	6.2253	14.6749	37.0837	10.3273	0.9021
JSRSD	6.9536	17.2091	43.6872	13.6388	0.8918
Proposed method	7.1443	20.0895	44.4617	28.1845	0.9142

查看所有表

表 3. 第三组图像的评价指标

Table 3. Evaluation indicators for third group of images

Method	IE	SF	SD	PSNR	CC
LP	6.6797	12.5512	29.6264	36.3555	0.9514
Contourlet	6.2594	8.7844	23.0264	32.8841	0.9628
NSCT	7.0536	12.3911	35.6957	35.2440	0.9163
Curvelet	7.0331	12.3194	35.7016	36.1933	0.9299
DTCWT	6.9725	12.1452	35.0457	35.1365	0.9465
CBF	6.4504	12.1774	26.0156	18.7600	0.9524
CSR	7.0012	15.6992	33.5568	16.7124	0.9264
JSR	6.9058	13.3103	35.3446	12.5880	0.8820
JSRSD	6.8618	16.5703	32.7596	15.0245	0.9178
Proposed method	7.1454	16.4353	42.9358	43.1313	0.9660

查看所有表

表 4. 第四组图像的评价指标

Table 4. Evaluation indicators for fourth group of images

Method	IE	SF	SD	PSNR	CC
LP	6.4739	15.7264	23.8392	34.0494	0.8321
Contourlet	6.1895	14.3440	19.7070	40.1515	0.8523
NSCT	7.1166	20.6708	39.0891	39.6542	0.8642
Curvelet	6.7883	16.1749	34.2253	39.4174	0.8887
DTCWT	6.6119	18.5023	39.7758	40.3779	0.8481
CBF	6.6335	15.7376	30.0562	19.7635	0.8447
CSR	7.0584	17.5721	39.6054	21.4555	0.8176
JSR	6.9219	17.8153	34.9614	14.3536	0.8689
JSRSD	6.8386	21.2222	32.3196	15.2293	0.8730
Proposed method	7.1243	28.1589	39.9369	40.7522	0.8795

查看所有表

由表1~4可知,本文算法的融合图像较对比方法具有较高的IE值和CC值,说明融合图像不仅蕴含较为丰富的信息量,而且融合图像与源图像具有较高的线性相关程度;在SF和SD指标上,本文算法优于对比方法,最大领先幅度分别为13.8189和20.2299,表明本文方法融合图像的细节信息丰富且具有较高的对比度和清晰度,视觉效果良好;在PSNR指标上,本文算法虽然领先幅度较小,但是仍优于大部分的对比方法,而出现低于对比方法的现象,是因为PSNR是由两幅图像对应的像素点间的误差决定的,并未考虑到人眼的视觉特性,且人眼对误差的敏感度并不是绝对的,所以会出现评价结果与人的主观感觉不一致的情况。综合来说,客观评价的结果与主观评价的结果大体一致,说明本文方法的融合效果较对比方法均具有一定优势。

5 结论

提出一种基于多尺度几何变换的红外与可见光图像融合算法,采用视觉显著性自适应的方法融合低频子带,能够有效突出图像的显著性特征并提升融合图像的整体视觉效果;采用PCNN与SML融合高频子带,能够有效提取并保留全局的细节信息。实验结果表明,所提方法在IE、SF及SD等多个客观指标上均有一定的优势,并且在视觉效果上符合人眼视觉系统对实际场景的观测,从整体上提升了场景辨识度和环境释义能力,进一步加深了观察者对场景的理解。

参考文献

[1] Jin X, Jiang Q, Yao S W, et al. A survey of infrared and visual image fusion methods[J]. Infrared Physics & Technology, 2017, 85: 478-501.

[2] Ma J Y, Ma Y, Li C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.

[3] Li S T, Kang X D, Fang L Y, et al. Pixel-level image fusion: a survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112.

[4] 郭全民, 王言, 李翰山. 改进IHS-Curvelet变换融合可见光与红外图像抗晕光方法[J]. 红外与激光工程, 2018, 47(11): 440-448.

Guo Q M, Wang Y, Li H S. Anti-halation method of visible and infrared image fusion based on improved IHS-Curvelet transform[J]. Infrared and Laser Engineering, 2018, 47(11): 440-448.

[5] Yang S Y, Wang M, Jiao L C, et al. Image fusion based on a new contourlet packet[J]. Information Fusion, 2010, 11(2): 78-84.

[6] 王峰, 程咏梅. 基于Shearlet变换域改进的IR与灰度VIS图像融合算法[J]. 控制与决策, 2017, 32(4): 703-708.

Wang F, Cheng Y M. Improved infrared and gray visible light image fusion algorithm based on Shearlet transform[J]. Control and Decision, 2017, 32(4): 703-708.

[7] Zhang Q, Maldague X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology, 2016, 74: 11-20.

[8] Jin X, Jiang Q, Yao S W, et al. Infrared and visual image fusion method based on discrete cosine transform and local spatial frequency in discrete stationary wavelet transform domain[J]. Infrared Physics & Technology, 2018, 88: 1-12.

[9] 冯鑫. Tetrolet框架下红外与可见光图像融合[J]. 光子学报, 2019, 48(2): 0210001.

Feng X. Fusion of infrared and visible images based on Tetrolet framework[J]. Acta Photonica Sinica, 2019, 48(2): 0210001.

[10] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46.

[11] Easley GR, LabateD, Lim WQ. Optimally sparse image representations using shearlets[C]∥2006 Fortieth Asilomar Conference on Signals, Systems and Computers, October 29-November 1, 2006, Pacific Grove, CA, USA. New York: IEEE, 2006: 974- 978.

[12] 江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 0210002.

Jiang Z T, Wu H, Zhou X L. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 0210002.

[13] 吴一全, 王志来. 基于目标提取与引导滤波增强的红外与可见光图像融合[J]. 光学学报, 2017, 37(8): 0810001.

Wu Y Q, Wang Z L. Infrared and visible image fusion based on target extraction and guided filtering enhancement[J]. Acta Optica Sinica, 2017, 37(8): 0810001.

[14] 孔韦韦, 王炳和, 李斌兵. 图像融合技术[M]. 西安: 西安电子科技大学出版社, 2015: 238- 241.

Kong WW, Wang BH, Li BB. Image fusion multiresolution non-subsampled[M]. Xi'an: Xidian University Press, 2015: 238- 241.

[15] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[16] AchantaR, HemamiS, EstradaF, et al. Frequency-tuned salient region detection[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25,2009, Miami, FL, USA. New York: IEEE, 2009: 1597- 1604.

[17] 王彦龙. 基于NSST的医学图像融合算法研究[D]. 西安: 西安电子科技大学, 2018.

Wang YL. Research on the medical image fusion algorithm based on NSST[D]. Xi'an:Xidian University, 2018.

[18] Huang W, Jing Z L. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters, 2007, 28(4): 493-500.

[19] Shreyamsha Kumar B K. Image fusion based on pixel significance using cross bilateral filter[J]. Signal, Image and Video Processing, 2015, 9(5): 1193-1204.

[20] Liu Y, Chen X, Ward R K, et al. Image fusion with convolutional sparse representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886.

[21] Zhang Q H, Fu Y L, Li H F, et al. Dictionary learning method for joint sparse representation-based image fusion[J]. Optical Engineering, 2013, 52(5): 057006.

[22] Liu C H, Qi Y, Ding W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]. Infrared Physics & Technology, 2017, 83: 94-102.

沈瑜, 陈小朋, 苑玉彬, 王霖, 张泓国. 基于显著矩阵与神经网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 201007. Yu Shen, Xiaopeng Chen, Yubin Yuan, Lin Wang, Hongguo Zhang. Infrared and Visible Image Fusion Based on Significant Matrix and Neural Network[J]. Laser & Optoelectronics Progress, 2020, 57(20): 201007.

基于显著矩阵与神经网络的红外与可见光图像融合下载： 876次

1 引言

2 NSST分解模型

图 1. NSST分解过程 ^[14]

Fig. 1. Decomposition process via NSST ^[14]

3 图像融合

图 2. 算法流程图

Fig. 2. Flow chart of proposed algorithm

3.1 低频子带融合

图 3. 显著性检测结果。(a)红外图像;(b) AC算法;(c) HC算法;(d)改进算法

Fig. 3. Saliency detection results. (a) Infrared image; (b) AC algorithm; (c) HC algorithm; (d) improved algorithm

3.2 高频子带融合

4 实验评估

4.1 实验设置

图 4. 点火次数。(a)红外图像;(b)可见光图像;(c)差值统计

Fig. 4. Number of ignition. (a) Infrared image; (b) visible image; (c) difference statistics

4.2 实验结果分析

图 5. 第一组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 5. First group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 6. 第二组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 6. Second group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 7. 第三组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 7. Third group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 8. 第四组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 8. Fourth group of images. (a) Infrared image; (b) visible Image; (c) LP; (d) Contourlet; (e)NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

表 1. 第一组图像的评价指标

Table 1. Evaluation indicators for first group of images

表 2. 第二组图像的评价指标

Table 2. Evaluation indicators for second group of images

表 3. 第三组图像的评价指标

Table 3. Evaluation indicators for third group of images

表 4. 第四组图像的评价指标

Table 4. Evaluation indicators for fourth group of images

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于显著矩阵与神经网络的红外与可见光图像融合 下载： 876次

1 引言

2 NSST分解模型

图 1. NSST分解过程 [14]

Fig. 1. Decomposition process via NSST [14]

3 图像融合

图 2. 算法流程图

Fig. 2. Flow chart of proposed algorithm

3.1 低频子带融合

图 3. 显著性检测结果。(a)红外图像;(b) AC算法;(c) HC算法;(d)改进算法

Fig. 3. Saliency detection results. (a) Infrared image; (b) AC algorithm; (c) HC algorithm; (d) improved algorithm

3.2 高频子带融合

4 实验评估

4.1 实验设置

图 4. 点火次数。(a)红外图像;(b)可见光图像;(c)差值统计

Fig. 4. Number of ignition. (a) Infrared image; (b) visible image; (c) difference statistics

4.2 实验结果分析

图 5. 第一组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 5. First group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 6. 第二组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 6. Second group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 7. 第三组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 7. Third group of images. (a) Infrared image; (b) visible image; (c) LP; (d) Contourlet; (e) NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

图 8. 第四组图像。(a)红外图像;(b)可见光图像;(c) LP;(d) Contourlet;(e) NSCT;(f) Curvelet;(g) DTCWT;(h) CBF;(i) CSR;(j) JSR;(k) JSRSD;(l)所提方法

Fig. 8. Fourth group of images. (a) Infrared image; (b) visible Image; (c) LP; (d) Contourlet; (e)NSCT; (f) Curvelet; (g) DTCWT; (h) CBF; (i) CSR; (j) JSR; (k) JSRSD; (l) proposed method

表 1. 第一组图像的评价指标

Table 1. Evaluation indicators for first group of images

表 2. 第二组图像的评价指标

Table 2. Evaluation indicators for second group of images

表 3. 第三组图像的评价指标

Table 3. Evaluation indicators for third group of images

表 4. 第四组图像的评价指标

Table 4. Evaluation indicators for fourth group of images

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于显著矩阵与神经网络的红外与可见光图像融合下载： 876次

图 1. NSST分解过程 ^[14]

Fig. 1. Decomposition process via NSST ^[14]