基于多判断和加权最小二乘优化的NSCT红外和可见图像融合

王贤涛; 赵金宇

doi:doi:10.37188/CJLCD.2022-0179

液晶与显示, 2023, 38 (2): 204, 网络出版: 2023-02-20

基于多判断和加权最小二乘优化的NSCT红外和可见图像融合

Fusion of NSCT infrared and visible images based on multi-judgment and WLS optimization

论文大纲

王贤涛 ^1,2赵金宇 ^1,*

作者单位

¹ 中国科学院长春光学精密机械与物理研究所，吉林长春 130033

² 中国科学院大学，北京 100049

摘要

为了克服传统方法的一些缺陷和单一特征提取信息的不足，在进一步提高红外和可见图像融合的同时，寻找针对不同类型特点的适应能力强的方法，提出了一种基于多判断与加权最小二乘优化（WLS）的非下采样轮廓波变换（NSCT）红外可见图像融合方法。首先，采用NSCT对图像进行多尺度分解，得到图像的低频和高频子带。其次，低频子带选择局部平方熵和修正拉普拉斯和（SML）来相互补充，在保证好的对比度下提取少量细节信息；高频子带充分考虑底层特征的重要性，选择相位一致性（PC）、局部加权修正拉普拉斯算子和（WSML）以及局部加权能量（WLE）相互补充的方式融合细节层，对其进行WLS优化，融合后的图像细节更自然，更适合人眼视觉感知。最后，对融合后的低频和高频子带进行逆变换，得到融合图像。对不同类型特点的图像进行了实验验证，实验结果表明，与其他融合方法相比，本文方法在主观上目标显著、背景清晰、视觉效果好。在4个客观评价指标平均梯度（AG）、信息熵（IE）、空间频率（SF）、互信息（MI）中，在保证MI指标比较好的前提下，其他3个指标都处于最好的状态，尤其是对于光照均匀的camp图像，AG和SF与最好的数值相比提高了6.9%和4.8%，从而验证了本文方法的有效性。

Abstract

In order to overcome some defects of traditional methods and the insufficiency of single feature extraction information, while further improving the fusion of infrared and visible images, a method with strong adaptability to different types of features is sought. A non-subsampled contourlet transform (NSCT) infrared-visible image fusion method based on multi-judgment and weighted least squares optimization (WLS) is proposed. Firstly, NSCT is used to decompose the image at multiple scales to obtain the low-frequency and high-frequency subbands of the image. Secondly, the low-frequency sub-band selects local squared entropy and sum-modified laplacian (SML) to complement each other, which extracts a small amount of detailed information under guaranteed good contrast. The high-frequency subbands fully considers the importance of the underlying features, and selects phase consistency (PC), the local weighted sum-modified Laplacian (WSML) and the local weighted energy (WLE) to complement each other to fuse the detail layer. They are optimized by WLS, and the fused image details are more natural and more suitable for human visual perception. Finally, the inverse transform is performed on the fused low-frequency and high-frequency subbands to obtain a fused image. Through the experimental verification of images with different types of characteristics, experimental results show that the proposed method has subjectively significant targets, clear backgrounds and better visual effects in comparison with other fusion methods. Under the average gradient (AG), information entropy (IE), spatial frequency (SF), and mutual information (MI) of the four objective evaluation indicators, on the premise that MI is relatively good, the other three indicators are in the best position,especially for uniformly illuminated camp images, AGand SF are improved by 6. 9% and 4. 8% in comparison with the best values, thus validating the proposed method effectiveness.

1　引言

图像融合技术可以将一个或多个传感器获得的同一个场景的多个图像进行融合，获得一个更丰富、更全面，从而能准确描述场景的综合图像。因此，融合技术在现代应用和计算机视觉中发挥着越来越重要的作用^［1-4］。红外传感器得到的图像可以根据辐射差异将目标与其背景区分开来，在全天候和全天/夜条件下都能很好地工作。而可见图像以符合人类视觉系统的方式提供具有高空间分辨率和清晰度的纹理细节，与其他融合对象相比，更具有普遍性和互补性，目前已广泛应用于目标识别、检测、图像增强、监视和遥感等领域^［5-8］。

基于多尺度分解（MST）图像融合方法是目前完成红外与可见光图像融合任务最有力和最常用的工具^［9］。基于多尺度变换融合方案的关键在于多尺度分解方法和融合规则的选择。常用的MST方法包括拉普拉斯金字塔变换（LP）、小波变换（WT）、轮廓波变换（CT）、非下采样轮廓波变换（NSCT）、基于边缘保持滤波器的分解方法以及其他多尺度分解方法^［10-15］等。然而，LP、WT只能捕获有限数量的边缘方向信息，不能正确有效地表示直线和曲线的不连续性。CT虽然具有多分辨率、多方向性和各向异性等性质^［16］，但是由于对图像进行上采样和下采样，缺乏平移不变性，在融合结果中容易产生吉布斯现象。NSCT作为CT的平移不变性版本，在变换域表现出更好的性能。相对于其他MST方法，NSCT具有多尺度、多方向的性质，还具有平移不变性质，变换后能量更加集中^［17-18］。

除了MST方法的选择，不同子带的融合规则也是影响融合性能的另一个因素。基于单像素的融合规则的最常见的方法是“绝对最大选择”、“像素平均”方案。简单的平均或者取大可能会导致图像对比度降低，引入噪声且使重构图像不够自然^［19］。基于窗口的融合规则根据当前像素的活动水平合并不同子带的系数，并通过考虑窗口中像素之间的关系来度量活动水平。目前通常使用单一特征来描述图像的属性。然而，单个特征通常是对图像的部分描述，不能获得全面的信息。常用的活动水平度量包括绝对值取大、修正拉普拉斯算子和（SML）、空间频率（SF）、熵、对比度、局部区域能量、局部区域方差、局部对比度、局域梯度等^［20］。基于区域最具代表性的方法是基于显著区域的方法^{［1，3，8］}。它可以提取图像的视觉显著区域，符合人眼视觉特性，但是针对复杂的红外图像一方面仍没有特别好的方法，另一方面都是对低频子带提取，然后通过平均或者加权平均来处理，虽然从全局出发，但是可能效果不如基于窗口的方法。

为了解决基于MST的方法所面临的这些问题，更好地提取图像信息，在NSCT领域提出了一种新的融合方案。与传统方法相比，本文所提出的方法在设计融合规则时考虑了局部结构、对比度信息、清晰度信息和亮度信息等底层特征重要性，对于不同子带的融合方案，选择多个互补的低层特征来设计。为了获取更多的视觉细节和边缘信息，采用一种加权最小二乘（WLS）优化方案来融合细节层。实验结果表明，该算法具有适应性强的优点，改善了传统方法的一些缺陷。

2　相关工作

2.1　非下采样轮廓波变换

NSCT是在CT的基础上产生的。NSCT由非下采样金字塔滤波器组（NSPFB）和非下采样方向滤波器组（NSDFB）构成^［10］。简单来说，NSCT过程首先使用NSPFB分解源图像得到低频和高频系数，接着采用NSDFB分解NSPFB每个阶段的高频子带，NSCT通过在多尺度分解滤波器和方向滤波器中执行上采样，而不是对图像信号执行采样操作，经过N级NSCT分解后的原图像最终可以得到 $1 + \sum_{j = 1}^{N} 2^{l_{j}}$ 和输入的源图像大小一致的子带图像（ $l_{j}$ 是尺度j下的方向分解级数），这也印证了NSCT的平移不变性^［21］。NSCT分解框架图如图1所示。NSPFB和NSDFB都是一个双通道的滤波器，其结构如图2所示。

图 1. NSCT分解框架图

Fig. 1. Frame diagram of NSCT decomposition

下载图片查看所有图片

图 2. NSCT二通道非下采样金字塔滤波器组和非下采样方向滤波器组

Fig. 2. NSCT two-channel NSPFB and NSDFB

下载图片查看所有图片

NSDFB中所有滤波器都是由单个的扇形滤波器得到的，每下一层的新方向滤波器都是对上一层扇形滤波器 $I_{0} (z) 、 I_{1} (z)$ 采用梅花矩阵 $Q = [\begin{matrix} 1 & 1 \\ - 1 & 1 \end{matrix}]$ 执行上采样来获得。两者的重构条件都满足Bezout恒等式，如公式（1）所示：

\{\begin{array}{l} E_{0} (z) F_{0} (z) + E_{1} (z) F_{1} (z) = 1 \\ I_{0} (z) J_{0} (z) + I_{1} (z) J_{1} (z) = 1 \end{array}

，（1）

式中： $E_{0} (z) 、 E_{1} (z)$ 为NSPFB的低通、高通分解滤波器， $F_{0} (z) 、 F_{1} (z)$ 为NSPFB的低通、高通重构滤波器，同理 $I_{0} (z) 、 I_{1} (z)$ 为低NSPFB的低通、高通分解滤波器， $J_{0} (z) 、 J_{1} (z)$ 为低NSPFB的低通、高通重构滤波器。

2.2　加权最小二乘拟合

受文献［22］优化框架的启发，Ma等人提出了一种改进的加权最小二乘拟合（WLS）优化方案来融合细节层^［23］。通过WLS代价函数来获得第j级理想融合细节层 $D^{j}$ ，如式（2）所示：

\sum_{P} ((D_{P}^{j} - M_{P}^{j})^{2} + λ a_{P}^{j} (D_{P}^{j} - (d_{2}^{j})_{P})^{2})

，（2）

其中： $M_{P}^{j}$ 是采用对应规则得到的第j级融合细节层。 $a_{P}^{j} = {(|\sum_{q \in w_{P}} (d_{1}^{j})| + ε)}^{- 1}$ ，其中P表示像素的空间位置，ε是一个小常数（通常为0.0 001），防止除0。ω_P是一个以像素P为中心的正方形窗口，尺寸为7×7，是产生满意融合结果的良好选择。λ是一个全局控制这两项之间权衡的参数。我们将式（2）改写为矩阵形式：

\begin{matrix} (D^{j} - M^{j})^{T} (D^{j} - M^{j}) + \\ λ (D^{j} - d_{B}^{j})^{T} A^{j} (D^{j} - d_{B}^{j}) \end{matrix}

，（3）

其中 $D^{j}$ 、 $M^{j}$ 、 $d_{2}^{j}$ 以向量形式表示， $A^{j}$ 是包含所有像素的权重的对角矩阵，T是矩阵转置符号。使式（3）最小的向量 $D^{j}$ 的解由线性系统唯一确定：

\begin{matrix} [2 I + λ (A^{j} + (A^{j})^{T})] \begin{matrix} D^{j} = \end{matrix} 2 M^{j} + \\ λ (A^{j} + (A^{j})^{T}) d_{2}^{j} \end{matrix}

. （4）

本文采用多判断规则得到细节层 $M_{P}^{j}$ ， $d_{1}^{j}$ 和 $d_{2}^{j}$ 、 $d_{2}^{j}$ 和 $d_{1}^{j}$ 分别代表红外细节层和可见细节层，各做一次WLS优化，得到对应理想融合细节层 $D_{A}^{j}$ 和 $D_{B}^{j}$ 。接着通过绝对值取大规则，得到最终细节图像 $I_{H}^{j}$ 。融合图像如图3所示。

图 3. 不同子带WLS和绝对值取大WLS融合结果

Fig. 3. Fusion results of different subbands WLS and absolute value of large WLS

下载图片查看所有图片

从图3可以看出，假设 $d_{1}^{j}$ 和 $d_{2}^{j}$ 分别代表红外细节层和可见细节层，在细节层包含有用红外特征信息的区域，通常对比度更高，尺度更粗，所以 $|\sum_{q \in w_{P}} (d_{1}^{j})| + ε$ 值更大，权重 $a_{P}^{j}$ 将变得相对较小，所以绝大多数红外信息由 $M^{j}$ 转移到融合的细节层 $D^{j}$ 中。而对于细节层其他区域，灰度值很低，在这种情况下 $|\sum_{q \in w_{P}} (d_{1}^{j})| + ε$ 将变得很小，相应的权重 $a_{}^{j}$ 非常大，从而可见的细节全是由 $d_{2}^{j}$ 转移到融合的细节层 $D^{j}$ 中，因此优化的结果在保证可见信息的完全提取外，对于可见的其他区域也有很好的提取。反之调换 $d_{1}^{j}$ 和 $d_{2}^{j}$ ，得到的图像在红外特征信息包含的前提下也获得了可见信息，将两次得到的细节图像通过绝对值取大的规则得到的图像，可以获得更多的视觉细节信息和边缘纹理信息，从而在视觉上更令人愉悦，更适合人类感知。

3　针对不同子带提出的融合方案

基于多判断和加权最小二乘优化的NSCT红外和可见图像融合方法的框架示意图如图4所示。首先采用NSCT将红外和可见光图像分解为基础层和细节层，接着将基于NSCT的多判断融合规则应用到低通和高通子带的融合，最后对融合后的低通、高通子带进行合并，通过NSCT做逆变换处理。所提出方法的细节如图4所示。

图 4. 红外和可见图像融合总体框架图

Fig. 4. Overall frame diagram of infrared and visible image fusion

下载图片查看所有图片

3.1　低频子带融合

低频子带是原始图像的平滑版本，它代表图像的轮廓。当分解层数较高时，低频子带主要包含原始图像的大部分信号能量和少量细节。为了更好地保留低频能量，获取少量结构细节信息，选择局部平方熵P（x，y）和SML相互补充，如式（5）所示：

N A M_{1} = P (x, y) + η \times S M L (x, y)

，（5）

其中： $η$ 是调整两者之间的参数，P（x，y）和SML如式（6）、（7）所示：

\begin{array}{l} P (x, y) = \sum_{i = - 1}^{i = 1} \sum_{j = - 1}^{j = 1} I_{L}^{2} (x + i, y + j) \times \\ l o g_{2} (I_{L}^{2} (x + i, x + j) + 1) \end{array}

，（6）

\begin{array}{l} S M L (x, y) = |2 I (x, y) - I (x - 1, y) - I (x + 1, y)| + |2 I (x, y) - I (x, y - 1) - I (x, y + 1)| \begin{matrix} + \end{matrix} \\ |2 I (x, y) - I (x - 1, y - 1) - I (x + 1, y - 1)| + |2 I (x, y) - I (x - 1, y + 1) - I (x + 1, y + 1)| \end{array}

. （7）

初始融合决策图通过选择最大组合方案获得，即选择具有最大活动度量的系数，如式（8）所示：

L_{m a p} (x, y) = \{\begin{matrix} 1 & \begin{matrix} i f \begin{matrix} N A M_{1}^{A} (x, y) \geq N A M_{1}^{B} (x, y) \end{matrix} \end{matrix} \\ 0 & o t h e r s \end{matrix} .

（8）

为了使合成MSD中的相邻系数属于同一源图像以克服噪声的影响，保证融合图像的均匀性，在7×7窗口中使用多数滤波操作，通过一致性验证生成最终的融合决策图 $L_{_{m a p}}^{F} (x, y)$ 。最后，使用最终低频融合决策图 $L_{_{m a p}}^{F} (x, y)$ 来计算融合后的低频子带系数 $I_{L} (x, y)$ ，具体计算如式（9）、（10）所示：

L_{_{m a p}}^{F} (x, y) = \{\begin{matrix} 1 & \begin{matrix} i f \begin{matrix} \sum_{Ω} L_{m a p} (x, y) > \frac{\tilde{M} \times \tilde{N}}{2} \end{matrix} \end{matrix} \\ 0 & o t h e r s \end{matrix}

，（9）

\begin{matrix} I_{L} (x, y) = L_{_{m a p}}^{F} (x, y) \cdot I_{L}^{A} (x, y) + \\ (1 - L_{_{m a p}}^{F}) (x, y) \cdot I_{L}^{B} (x, y) \end{matrix}

. （10）

3.2　高频子带融合

高通子带融合的关键是增强每个源图像的细节特征。为了提高高通子带图像的信息量，构建了一个新的活动水平度量NAM₂，如式（11）所示。选择相位一致性（PC₂）、局部加权改进拉普拉斯算子和（WSML）、局部加权能量（WLE）相互补充，作为高频子带的活动度量；接着选择绝对值最大规则得到权重图，生成近似融合细节 $M^{j}$ ；最后通过最小二乘优化获得最终融合细节层 $D^{j}$ 。

\begin{matrix} N A M_{2} (x, y) = (P C_{2} {(x, y))}^{α} \cdot \\ (W S M L {(x, y))}^{β} \cdot (W L E {(x, y))}^{γ} \end{matrix}

，（11）

式中， $α 、 β 和 γ$ 是用于调整PC₂、WSML和WLE的参数。位置（x，y）处图像的PC₂、WSML、WLE可通过式（12）~（14）计算：

P C_{2} (x, y) = \frac{\sum_{k} E_{θ_{k}} (x, y)}{ε + \sum_{n} \sum_{k} A_{n, θ_{k}} (x, y)}

，（12）

\begin{matrix} W S M L (x, y) = \sum_{i = - s}^{s} \sum_{j = - s}^{s} W (i + 1, j + 1) \cdot \\ S M L (x + i, y + j) \end{matrix}

，（13）

\begin{matrix} W L E (x, y) = \sum_{i = - 1}^{i = 1} \sum_{j = - 1}^{j = 1} W (i + 1, j + 1) \cdot \\ {[I_{H} (x + i, y + j)]}^{2} \end{matrix}

. （14）

其中：W是大小为 $(2 s + 1) \times (2 s + 1)$ 的权重矩阵，s为半径，W内的元素值为 $2^{2 s - d}$ ，d为中心4邻域距离。本文选择半径s=1，则W的大小为 $3 \times 3$ ，对应数值为：

W = \frac{1}{16} [\begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{matrix}]

. （15）

当获得NAM₂时，可根据公式（16）中提出的规则得到权重图。

H_{m a p} (x, y) = \{\begin{matrix} 1 & i f \begin{matrix} a b s (N A M^{A} (x, y)) \geq a b s (N A M^{B} (x, y)) \end{matrix} \\ 0 & o t h e r s \end{matrix}

. （16）

对得到的权重图加权求和获得第j级近似融合细节层 $M^{j}$ ，如式（17）所示：

\begin{matrix} M^{j} (x, y) = H_{m a p}^{j} (x, y) \cdot I_{H}^{A} + \\ (1 - H_{m a p}^{j}) (x, y) \cdot I_{H}^{B} \end{matrix}

. （17）

接下来，为了进一步提取更多细节信息，通过以下WLS代价函数来获得第j级理想融合细节层 $D^{j}$ 。

\sum_{P} ((D_{P}^{j} - M_{P}^{j})^{2} + λ a_{P}^{j} (D_{P}^{j} - (d_{2}^{j})_{P})^{2})

. （18）

将 $d_{1}^{j}$ 和 $d_{2}^{j}$ 、 $d_{2}^{j}$ 和 $d_{1}^{j}$ 分别代表红外和可见细节层做两次WLS得到对应的理想融合细节层 $D_{A}^{j}$ 和 $D_{B}^{j}$ ，接着通过绝对值最大规则，得到最终细节图像 $I_{H}^{j}$ 。

I_{H}^{j} (x, y) = \{\begin{matrix} D_{A}^{j} (x, y) & i f \begin{matrix} a b s (D_{A}^{j} (x, y)) \geq a b s (D_{B}^{j} (x, y)) \end{matrix} \\ D_{B}^{j} (x, y) & o t h e r s \end{matrix}

. （19）

4　实验结果与分析

本文从两个方面来验证所提方法的有效性。一是验证多判断相互补充的有效性，可以提取更多信息。采用控制变量的方法，在经过NSCT分解后，通过与高频、低频单一活动水平度量的对比得到的评价指标数值结果来验证本文高频、低频子带多判断策略的有效性。二是验证高频子带在经过多判断策略后再通过最小二乘优化后的最终方法的有效性和适应性。在光照均匀性和目标类别条件下选择4组不同类型特点的红外和可见光图像进行实验验证，选择5种基于MST的具有代表性的融合算法进行比较。实验结果评价选择基于人眼视觉的主观评价和客观评价两种方式来对融合图像进行有效评价。

本文所有图像来自http：//www.imagefusion.org/和https：//figshare.com/articles/TNO_Image_Fusion_Data set/1008029数据库。所有实验都建立在matlab2016a平台上，NSCT选择“vk”滤波器组，塔式滤波器选择“9-7”，分解层数为4层，方向分解数分别为4、4、8、8， $α 、 β 、 γ 、 η$ 的值分别为0.005、1、1、2。

4.1　实验验证1

4.1.1　低频子带策略验证

实验所需源图像如表1所示。通过NSCT分解后，高频子带选择“绝对值最大”原则，低频子带选择单一活动水平度量平均值、阈值能量、熵与本文低频子带方法对比，实验采用信息熵IE，平均梯度AG，空间频率SF，互信息MI来评价，数据值如表2所示。

表 1. 实验验证1所用源图像

Table 1. Source image used for experimental verification 1

	可见图像	红外图像
Camp
House

查看所有表

表 2. 高频选择“绝对值最大”原则及低频选择不同方法对“Camp”和“House”的实验结果

Table 2. Experimental results of “Camp” and “House” using different methods for high-frequency selection and “maximum absolute value” principle and low-frequency selection

图像	评价指标	平均	阈值能量	熵	平方熵+SML
Camp	AG	2.878 8	2.935 3	2.935 3	2.942 0
	IE	6.336 3	6.423 4	6.423 4	6.433 5
	SF	6.423 2	6.782 3	6.782 2	6.802 9
	MI	0.460 3	0.727 8	0.727 7	0.732 7
House	AG	3.686 8	3.711 2	3.711 2	3.711 6
	IE	12.887 9	12.921 6	12.921 4	12.922 3
	SF	6.466 8	6.771 3	6.771 3	6.771 7
	MI	1.023 7	1.154 8	1.154 8	1.154 9

查看所有表

4.1.2　高频子带策略验证

$α 、 β 、 γ$ 组合参数的选择参照文献［20］的思想，给出了 $α$ 的一个值。本文采用控制变量的方法，在保证低频参数不变并且 $β 、 γ$ 都取值为1的前提下，通过改变 $α$ 的值，根据两幅图像的4个客观评价指标：平均梯度（Average Gradient，AG）、信息熵（Information Entropy，IE）、空间频率（Spatial Frequency，SF）、互信息（Mutual Information，MI）求和的平均值大小来寻找最优参数，如图5所示， $α 、 β 、 γ$ 最终取值为0.005、1、1。

图 5. 本文融合方法在不同参数 $α$ 下的客观评价结果

Fig. 5. Objective evaluation results of the fusion method in this paper under different parameters $α$

下载图片查看所有图片

在低频子带融合都选择本文策略方法的前提下，高频选择PC、SML、方差、阈值能量与本文高频多判断方法对比，实验数据值如图6所示。

图 6. 低频选择“本文低频”原则，高频选择不同方法对“Camp”和“House”的实验结果。纵坐标代表数值，横坐标1、2、3、4、5代表使用方法依次是高频选择PC、SML、方差、阈值能量和本文高频多判断的方法。

Fig. 6. Principle of “low frequency of this article” is selected for low frequency，and the experimental results of “Camp” and “House” by different methods are selected for high frequency. The ordinate represents the numerical value，and the abscissa 1，2，3，4，5 represents the used method in order of high-frequency selection PC，SML，variance，threshold energy and the method of high-frequency multi-judgment in this paper.

下载图片查看所有图片

从表2和图6的实验数据值可以看出，基于多判断的组合方法的数值基本都是最好的结果，说明采用多判断相互补充的方式是有效的，提取到了更多信息从而可以弥补单一特征提取信息量的不足。

4.2　实验验证2

4.2.1　主观评价

如图7和图8所示，本文展示了6种不同融合方法对4组图像的处理结果，分别是基于DWT的低频子带加权平均、高频选择最大（记作DWT_ avg）方法和低频选择区域能量、高频选择局部加权修正拉普拉斯算子和方法^［4］（记作DWT_WSML），基于NSCT的低频选择最大熵、高频选择拉普拉斯算子的方法^［18］（记作NSCT_SML），基于PC的多特征融合方法^［21］（记作NSCT_PC），低频像素平均、高频选择最大方法（记作NSCT_ avg）以及本文方法。

图 7. 不同融合算法对“Camp”和“House”的处理结果

Fig. 7. Processing results of “Camp” and “House” by different fusion algorithms

下载图片查看所有图片

图 8. 不同融合算法对“Ship”和“Jeep”的处理结果

Fig. 8. Processing results of “Ship” and “Jeep” by different fusion algorithms

下载图片查看所有图片

如图7所示，第一个场景拍摄内容是联合国存放物资的营地，人在红外图像中清晰可见，但背景信息却极其模糊。在可见光图像中看不到人物目标，但背景相对清晰，建筑物、树、道路和栅栏等细节都清楚可见。第二个场景为建筑物烟雾图像，人物在红外图像中清晰可见，但背景信息只能显现大致轮廓。可见光图像场景中的天空、树林、地面都很清楚，建筑物呈现清晰的轮廓细节，但人物目标不易辨认。对于两个场景，低频采用简单的平均和高频采用绝对值取大方法，融合后的图像整体对比度低，目标人物也不能够明显凸显，视觉效果差。

对于第一个场景，采用DWT_WSML方法的人物目标显著，但是图像左下角的景物失真明显，细节描述能力不够。NSCT_SML和NSCT_PC方法的人物目标显著，图像中的树木、道路等可以较好地显示。但是屋顶的目标物边缘轮廓以及栅栏细节模糊。

对于第二个场景，基于DWT_WSML的方法目标任务虽然有显著提升，但是人物轮廓模糊，建筑物亮度信息提取不够，地面细节方面提取较差，甚至出现光晕。基于NSCT_PC方法的建筑物视觉效果好，纹理细节清晰，但是目标人物不显著。综合两个场景，本文方法得到的结果是最清晰的，图像的灰度对比度高，边缘、轮廓和纹理等线条丰富清晰。

为进一步判断本文方法的适应性和通用性，选择光照均匀和不均匀的海上和陆地目标进一步验证，如图8所示。

第三个场景是白天拍摄的海平面上的游船。采用DWT_WSML方法的整体视觉效果有所提升，但是周围的海平面也比较模糊，船杆模糊而且不显著，而且在对轮船窗口的融合方面，DWT_WSML和NSCT_SML方法没有好的提取。NSCT_PC方法虽然对窗口有好的提取，但是纹理不是很清晰。

第四个场景是夜晚拍摄的值班士兵和吉普车。可见图像的光照不均匀、整体灰度低；红外图像的目标人物、汽车和房屋显著，细节很模糊。采用DWT_WSML方法的对比度高、目标显著，而且对天空噪声有很好的消除，但是对房屋窗口局部纹理提取效果很差。而NSCT_SML和NSCT_PC虽然对窗口有提取但是窗口纹理模糊，而且在房屋边缘出现少量光晕现象。

因此，综合4种不同类型和特点的场景，从主观融合结果上看，本文方法的目标显著、背景清晰、视觉效果好而且适应性强。为了避免人眼直接观察导致的误差影响到融合图像的评价，本文还需要使用客观条件指标来对融合图像进行评判。

4.2.2　客观评价

为了进一步定量比较各种融合方法，本节给出了融合结果的客观评估。采用平均梯度（Average Gradient，AG）、信息熵（Information Entropy，IE）、空间频率（Spatial Frequency，SF）、互信息（Mutual Information，MI）作为评价指标^［2］。具体计算公式如下所示，4个指标都是值越大表示融合结果越好。

（1）平均梯度

平均梯度（AG）衡量图像中的梯度变化，即表征图像的边缘精细程度，因此可以表示图像的清晰程度，其定义如式（20）所示：

A G = \frac{1}{M N} \sum_{i = 1}^{M} \sum_{j = 1}^{N} \sqrt[]{\frac{\nabla F_{x}^{2} (i, j) + \nabla F_{y}^{2} (i, j)}{2}}

. （20）

（2）信息熵

信息熵（IE）用来度量图像中所包含信息量的多少，是衡量图像信息丰富度的重要标准，其定义为：

I E \begin{matrix} = \end{matrix} - \sum_{l = 0}^{L - 1} p_{l} l o g_{2} p_{l}

. （21）

其中L表示灰度级的数量，p_l表示融合图像中相应灰度级的归一化直方图。

（3）空间频率

空间频率（SF）是一种基于梯度的图像质量指数，即水平和垂直梯度，分别称为空间行频率（RF）和列频率（CF）。SF度量可以有效地测量图像的梯度分布，从而揭示图像的细节和纹理。其定义为：

S F = \sqrt[]{R F^{2} + C F^{2}}

，（22）

R F = \sqrt[]{\sum_{i = 1}^{M} \sum_{j = 1}^{N} (F (i, j) - F {(i, j - 1))}^{2}}

，（23）

C F = \sqrt[]{\sum_{i = 1}^{M} \sum_{j = 1}^{N} (F (i, j) - F {(i - 1, j))}^{2}}

. （24）

（4）互信息

互信息（MI）用于度量融合图像与源图像之间的相似性，反映融合图像从源图像中获得信息量的多少，MI的定义如下：

M I = M I_{A, F} + M I_{B, F}

，（25）

M I_{X, F} = \sum_{x, f} p_{X, F} (x, f) l o g \frac{p_{X, F} (x, f)}{p_{X} (x) p_{F} (f)}

，（26）

其中： $p_{X} (x)$ 和 $p_{F} (f)$ 分别表示源图像x和融合图像f的灰度直方图， $p_{X, F} (x, f)$ 表示源图像x和融合图像F的联合直方图。较大的MI度量意味着大量信息从源图像传输到融合图像，表明融合性能良好。

如表3和表4所示，最佳结果采用加粗展示。接着将4幅图的评价指标通过柱状图的方式展示，其中最佳结果标注在对应图上，如图9所示。从表3表4和图9的数据可以看出，与其他5种融合方法相比，在平均梯度（AG）、信息熵（IE）、空间频率（SF）3个指标上，本文提出的方法都处于一个最好的值，尤其是对北约营地的AG和SF的提升。对于第四个指标MI，虽然本文的方法并没有达到最大，但是始终保持一个较好的数值。因此，综上所述，本文方法的性能更好，采用本文方法获得的图像效果最好，与主观评价得到的结果一致。

表 3. 不同算法对“Camp”和“House”的客观评价结果

Table 3. Objective evaluation results of “Camp” and “House” by different algorithms

图像	评价指标	DWT_avg	DWT_WSML	NSCT_avg	NSCT_WSML	NSCT_PC	本文算法
Camp	AG	2.565 6	2.713 2	2.878 8	2.836 1	2.733 5	3.076 4
	IE	6.2733	6.5960	6.423 2	6.752 1	6.746 7	6.809 9
	SF	5.9434	6.3843	6.336 3	6.287 9	6.091 8	6.641 3
	MI	0.4819	0.7724	0.460 3	0.733 0	0.716 9	0.718 1
House	AG	3.479 4	3.547 2	3.686 8	3.691 3	3.415 9	3.762 3
	IE	6.336 9	6.728 6	6.466 8	6.769 7	6.742 3	6.775 8
	SF	12.331 2	12.516 8	12.887 9	12.910 9	12.685 7	12.953 2
	MI	1.034 9	1.201 8	1.023 7	1.171 3	1.178 1	1.153 8

查看所有表

表 4. 不同算法对“Ship”和“Jeep”的客观评价结果

Table 4. Objective evaluation results of “Ship” and “Jeep” by different algorithms

图像	评价指标	DWT_avg	DWT_WSML	NSCT_avg	NSCT_WSML	NSCT_PC	本文算法
Ship	AG	1.799 3	1.859 6	1.902 7	1.906 9	1.893 2	2.009 3
	IE	4.989 0	5.874 4	5.131 2	5.908 4	5.914 5	5.937 3
	SF	5.635 8	5.774 8	5.780 8	5.822 8	5.796 4	5.960 3
	MI	0.531 9	0.917 5	0.536 2	1.012 6	1.040 3	1.006 6
Jeep	AG	2.725 9	3.165 2	3.026 6	3.071 8	2.987 2	3.222 4
	IE	6.469 0	7.225 6	6.613 0	7.178 8	7.190 9	7.236 8
	SF	7.530 3	8.540 6	8.163 3	8.505 8	8.352 0	8.692 4
	MI	0.580 9	1.551 8	0.528 0	1.425 8	1.667 8	1.374 6

查看所有表

图 9. 不同算法对“Camp”、“House”、“Ship”和“Jeep”的客观质量评价结果。

Fig. 9. Objective quality evaluation results of different algorithms for “Camp”，“House”，“Ship” and “Jeep”.

下载图片查看所有图片

5　结论

为了克服传统融合方法和单一特征融合目标信息不够突出，细节、纹理缺失严重的问题，进一步提高目标和背景之间的对比度，抑制噪声，增强目标信息的辨识率，同时尽可能完整地保留可见光图像中的细节纹理，本文提出了一种基于多判断和加权最小二乘优化的NSCT红外和可见图像融合融合方法。针对低频、高频子带，选择多个底层特征相互补充的方式，可以在突出目标的同使获得更多细节信息，通过WLS优化和一致性检测的方式来提取更多的边缘纹理信息和减少噪声等无关细节。实验结果表明，本文所提出的方法在主观上的能量保持、细节保留、图像对比度上保留了更多的目标信息和细节信息，视觉效果也更好。在4个客观评价指标平均梯度（AG）、信息熵（IE）、空间频率（SF）、互信息（MI）中，在保证MI指标比较好的前提下，其他3个指标都处于最好的状态，尤其对光照均匀的“Camp”图像，AG和SF为3.076 4和6.641 3，与最好的数值相比，提高了6.9%和4.8%，从而验证了本文所提方法具有较好的有效性和适应性。

参考文献

[1] ZHAO J F, ZHOU Q, CHEN Y T, et al. Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition[J]. Infrared Physics & Technology, 2013, 56: 93-99.

[2] ZHAN L C, ZHUANG Y, HUANG L D. Infrared and visible images fusion method based on discrete wavelet transform[J]. Journal of Computers, 2017, 28(2): 57-71.

[3] 郭玲, 杨斌. 基于视觉显著性的红外与可见光图像融合[J]. 计算机科学, 2015, 42(S1): 211-214,235.

GUO L, YANG B. Fusion of infrared and visible images based on visual saliency[J]. Computer Science, 2015, 42(S1): 211-214, 235.

[4] CHAI P F, LUO X Q, ZHANG Z C. Image fusion using quaternion wavelet transform and multiple features[J]. IEEE Access, 2017, 5: 6724-6734.

[5] 汪廷. 红外图像与可见光图像融合研究与应用[D]. 西安: 西安理工大学, 2019. 10.23919/chicc.2019.8865405

WANGT. Research and application of infrared image and visible image fusion[D]. Xi'an: Xi'an University of Technology, 2019. (in Chinese). 10.23919/chicc.2019.8865405

[6] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.

[7] 孙雨涵. 基于图像视觉显著特征与局部结构一致化处理的图像融合方法研究[D]. 衡阳: 南华大学, 2019.

SUNY H. Research on image fusion method based on visual salient feature and local structure consistency[D]. Hengyang: University of South China, 2019. (in Chinese)

[8] 杨艳春, 高晓宇, 党建武, 等. 基于WEMD和生成对抗网络重建的红外与可见光图像融合[J]. 光学精密工程, 2022, 30(3): 320-330.

YANG Y C, GAO X Y, DANG J W, et al. Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction[J]. Optics and Precision Engineering, 2022, 30(3): 320-330.

[9] BAI X Z, ZHOU F G, XUE B D. Fusion of infrared and visual images through region extraction by using multi scale center-surround top-hat transform[J]. Optics Express, 2011, 19(9): 8444-8457.

[10] 杨彬, 黄润才, 王从澳. 基于改进的NSCT红外可见光图像融合算法[J]. 计算机与现代化, 2021(6): 48-53.

YANG B, HUANG R C, WANG C A. Image fusion algorithm based on improved NSCT infrared and visible light[J]. Computer and Modernization, 2021(6): 48-53.

[11] 郭盼, 何文超, 梁龙凯, 等. 基于导向滤波器的医学图像融合方法[J]. 液晶与显示, 2019, 34(6): 605-612.

GUO P, HE W C, LIANG L K, et al. Medical image fusion method based on guided filter[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(6): 605-612.

[12] BAVIRISETTI D P, DHULI R. Two-scale image fusion of visible and infrared images using saliency detection[J]. Infrared Physics & Technology, 2016, 76: 52-64.

[13] YANG Y, QUE Y, HUANG S Y, et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(4): 691-703.

[14] GAN W, WU X H, WU W, et al. Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter[J]. Infrared Physics & Technology, 2015, 72: 37-51.

[15] LI S T, KANG X D, HU J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.

[16] LI H, LIU L, HUANG W, et al. An improved fusion algorithm for infrared and visible images based on multi-scale transform[J]. Infrared Physics & Technology, 2016, 74: 28-37.

[17] 林剑萍, 廖一鹏. 结合分数阶显著性检测及量子烟花算法的NSST域图像融合[J]. 光学精密工程, 2021, 29(6): 1406-1419.

LIN J P, LIAO Y P. A novel image fusion method with fractional saliency detection and QFWA in NSST[J]. Optics and Precision Engineering, 2021, 29(6): 1406-1419.

[18] GANASALA P, KUMAR V. CT and MR image fusion scheme in nonsubsampled contourlet transform domain[J]. Journal of Digital Imaging, 2014, 27(3): 407-418.

[19] 丁贵鹏, 陶钢, 李英超, 等. 基于非下采样轮廓波变换与引导滤波器的红外及可见光图像融合[J]. 兵工学报, 2021, 42(9): 1911-1922.

DING G P, TAO G, LI Y C, et al. Infrared and visible images fusion based on non-subsampled contourlet transform and guided filter[J]. Acta Armamentarii, 2021, 42(9): 1911-1922.

[20] LI H F, QIU H M, YU Z T, et al. Infrared and visible image fusion scheme based on NSCT and low-level visual features[J]. Infrared Physics & Technology, 2016, 76: 174-184.

[21] ZHU Z Q, ZHENG M Y, QI G Q, et al. A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain[J]. IEEE Access, 2019, 7: 20811-20824.

[22] FARBMAN Z, FATTAL R, LISCHINSKI D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.

[23] MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.

王贤涛, 赵金宇. 基于多判断和加权最小二乘优化的NSCT红外和可见图像融合[J]. 液晶与显示, 2023, 38(2): 204. XIAN-tao WANG, JIN-yu ZHAO. Fusion of NSCT infrared and visible images based on multi-judgment and WLS optimization[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(2): 204.

基于多判断和加权最小二乘优化的NSCT红外和可见图像融合

1 引言

2 相关工作

2.1 非下采样轮廓波变换

图 1. NSCT分解框架图

Fig. 1. Frame diagram of NSCT decomposition

图 2. NSCT二通道非下采样金字塔滤波器组和非下采样方向滤波器组

Fig. 2. NSCT two-channel NSPFB and NSDFB

2.2 加权最小二乘拟合

图 3. 不同子带WLS和绝对值取大WLS融合结果

Fig. 3. Fusion results of different subbands WLS and absolute value of large WLS

3 针对不同子带提出的融合方案

图 4. 红外和可见图像融合总体框架图

Fig. 4. Overall frame diagram of infrared and visible image fusion

3.1 低频子带融合

3.2 高频子带融合

4 实验结果与分析

4.1 实验验证1

4.1.1 低频子带策略验证

表 1. 实验验证1所用源图像

Table 1. Source image used for experimental verification 1

表 2. 高频选择“绝对值最大”原则及低频选择不同方法对“Camp”和“House”的实验结果

Table 2. Experimental results of “Camp” and “House” using different methods for high-frequency selection and “maximum absolute value” principle and low-frequency selection

4.1.2 高频子带策略验证

图 5. 本文融合方法在不同参数α下的客观评价结果

Fig. 5. Objective evaluation results of the fusion method in this paper under different parameters α

图 6. 低频选择“本文低频”原则，高频选择不同方法对“Camp”和“House”的实验结果。纵坐标代表数值，横坐标1、2、3、4、5代表使用方法依次是高频选择PC、SML、方差、阈值能量和本文高频多判断的方法。

4.2 实验验证2

4.2.1 主观评价

图 7. 不同融合算法对“Camp”和“House”的处理结果

Fig. 7. Processing results of “Camp” and “House” by different fusion algorithms

图 8. 不同融合算法对“Ship”和“Jeep”的处理结果

Fig. 8. Processing results of “Ship” and “Jeep” by different fusion algorithms

4.2.2 客观评价

表 3. 不同算法对“Camp”和“House”的客观评价结果

Table 3. Objective evaluation results of “Camp” and “House” by different algorithms

表 4. 不同算法对“Ship”和“Jeep”的客观评价结果

Table 4. Objective evaluation results of “Ship” and “Jeep” by different algorithms

图 9. 不同算法对“Camp”、“House”、“Ship”和“Jeep”的客观质量评价结果。

Fig. 9. Objective quality evaluation results of different algorithms for “Camp”，“House”，“Ship” and “Jeep”.

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

1　引言

2　相关工作

2.1　非下采样轮廓波变换

2.2　加权最小二乘拟合

3　针对不同子带提出的融合方案

3.1　低频子带融合

3.2　高频子带融合

4　实验结果与分析

4.1　实验验证1

4.1.1　低频子带策略验证

4.1.2　高频子带策略验证

图 5. 本文融合方法在不同参数 $α$ 下的客观评价结果

Fig. 5. Objective evaluation results of the fusion method in this paper under different parameters $α$

4.2　实验验证2

4.2.1　主观评价

4.2.2　客观评价

5　结论