结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合

苏金凤; 张贵仓; 汪凯

doi:doi:10.3788/LOP57.041005

激光与光电子学进展, 2020, 57 (4): 041005, 网络出版: 2020-02-20

结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合下载： 983次

Compressed Fusion of Infrared and Visible Images Combining Robust Principal Component Analysis and Non-Subsampled Contour Transform

论文大纲

苏金凤 ^*张贵仓 ^**汪凯 ^***

作者单位

西北师范大学数学与统计学院, 甘肃兰州 730070

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对现有的红外与可见光图像融合算法存在融合图像的对比度与清晰度降低和细节纹理信息丢失等问题,提出将鲁棒主成分分析(RPCA)、压缩感知(CS)和非下采样轮廓波变换(NSCT)相结合的融合算法。首先对两幅源图像分别进行预增强处理,应用RPCA分解得到相应的稀疏分量和低秩分量;然后对稀疏矩阵利用结构随机矩阵压缩采样,利用高斯梯度-信息反差对比度(GG-DCI)压缩融合,经正交匹配追踪法(OMP)重构;接着对低秩矩阵采用NSCT分解成低频子带和高频子带,低频子带选用区域能量-直觉模糊集(RE-IFS)融合,最高频子带利用最大绝对值规则融合,其他高频子带选用自适应高斯区域方差融合;最后将融合后的稀疏分量和低秩分量叠加得到融合图像。实验结果表明,本文算法相比其他算法能够更好地提高融合图像的对比度和清晰度,保留了丰富的细节纹理信息,客观评价指标也总体优于现有算法,有效提升了红外与可见光图像的融合效果。

Abstract

Existing fusion algorithms for infrared and visible images face issues such as low contrast and clarity of fused image and loss of detailed texture information. To address these problems, a fusion algorithm combining robust principal component analysis (RPCA), compressed sensing (CS), and non-subsampled contour transform (NSCT) is proposed. Firstly, two original images are pre-enhanced, and the pre-enhanced images are decomposed via RPCA to obtain the corresponding sparse and low-rank components. Secondly, the sparse matrices are compressed and sampled using the structural random matrix. Gauss gradient-differential contrast of information (GG-DCI) is used to compress and fuse the images, and the reconstruction is conducted using the orthogonal matching tracking method (OMP). Then the low-rank matrices are decomposed into low- and high-frequency components via NSCT. The low-frequency components are fused using the regional energy-intuitionistic fuzzy set (RE-IFS), the highest-frequency components are fused using the maximum absolute value rule, and other high-frequency components are fused using the adaptive Gaussian region variance. Finally, the fused images are obtained by superimposing the fused sparse and low-rank components. Experimental results show that compared with other algorithms, the proposed algorithm can more effectively improve the contrast and clarity of fused images, retain abundant detailed texture information, possess generally better objective evaluation indexes, and efficiently improve the fusion effect of infrared and visible images.

1 引言

图像融合的目的是将来自多个传感器的图像中的冗余和互补信息集成到新的图像中,使其更适合人或机器感知,便于进一步的处理,如分割、目标检测和识别^[1]。其中,红外与可见光图像的融合是图像融合的一个重要分支,红外图像能够捕获比背景更热或更冷的目标,但存在对比度和清晰度低、细节信息匮乏等缺点,而可见光图像提供了空间细节信息,可视性好,但其抗干扰能力差。因此,红外和可见光图像的融合可以充分地考虑互补性,这有助于提高红外目标的检测能力和检测系统的全天候工作能力,从而实现对场景的全面描述^[2-3]。

目前的图像融合框架可以分为基于空间域和基于变换域。基于空间域的图像融合方法有主成分分析(PCA)^[4]和全变分最小化(TV)^[5]等,虽然这种方法快速且易于实现,但融合效果十分有限。基于变换域的非下采样剪切波变换(NSST)^[6]和非下采样轮廓波变换(NSCT)^[7]的融合方法在图像融合领域取得了很大的进展。2017年,丁文杉等^[8]提出基于NSST和邻域结构特征的红外与可见光图像融合方法,该方法能够有效地提取红外目标信息,保持可见光图像信息,但是不适用于大背景下结构特征较少的图像,场景适应性较弱。2018年,江泽涛等^[9]提出基于NSST的红外与可见光图像融合方法,该方法的融合图像会出现暗影,降低了图像对比度和清晰度,导致背景信息缺失。研究表明,NSCT利用多尺度、多方向和平移不变性能够捕获丰富的边缘和纹理信息,消除振铃效应和抖动现象,能有效改善红外与可见光图像融合存在的问题^[10]。2018年,蔡怀宇等^[11]提出一种基于NSCT和直觉模糊集的红外与可见光图像融合方法,能有效提高图像的对比度,很好地保留了源图像的目标信息和背景信息,但是该算法倾向于保留对比度强和灰度值较大的图像内容,容易造成细节信息丢失。以上算法虽然能达到一定的融合效果,但是大多存在融合图像对比度和清晰度降低,且由于噪声干扰而导致细节纹理信息丢失的问题,不能满足实际应用。因此,迫切需要引入有效的新兴融合技术来改善这些问题,加速红外与可见光融合技术的发展。

压缩感知(CS)能够通过较少的测量数据稀疏表示并精确重构图像,不仅减少了冗余信息,还能消除噪声,避免信息丢失^[12-13]。2015年,Chen等^[14]提出一种基于梯度和加扰块哈达玛集成采样(SBHE)的压缩感知图像融合算法,该算法可以应用于不同的融合场景,有很强的场景适应性,但是融合图像的对比度会降低,不利于人或机器感知。2016年,Zhang等^[15]提出将NSCT与CS结合的自适应图像融合方法,得到的融合结果优于以上变换域算法,但是该算法复杂度高,降低了图像处理效率。

如何精确提取出红外图像的目标信息和可见光图像的背景信息对红外与可见光图像融合至关重要。鲁棒主成分分析(RPCA)是一种新的低阶矩阵恢复模型,该模型可以将图像分解成目标分量和背景分量,实现对目标和背景的精确提取^[16]。2016年,Fu等^[17]提出一种基于RPCA和NSCT的红外与可见光图像融合方法,该方法利用RPCA获得相应的稀疏矩阵,突出了红外目标,但是NSCT的作用效率会随分解程度而变化。2018年,Li等^[18]提出基于RPCA和CS的图像融合方法,该方法虽然能得到清晰的红外目标,但是背景不够清晰,获得信息较少。以上算法在一定程度上实现了红外与可见光图像的融合,但是都不可避免地造成融合图像对比度与清晰度降低、细节纹理信息丢失等问题。因此,迫切需要开发一种红外与可见光图像融合算法,改善融合图像对比度与清晰度降低、细节纹理信息丢失等问题,实现对目标信息的全面提取。

本文将RPCA、CS和NSCT三种技术相结合,提出一种基于RPCA和NSCT的CS图像融合方法,本文方法可以有效解决红外与可见光图像融合中图像对比度和清晰度降低、细节纹理信息丢失的问题。对两幅源图像进行预增强处理,再对预增强后的图像分别进行RPCA分解,得到稀疏分量和低秩分量,突出红外目标;对稀疏分量进行压缩采样,通过高斯梯度-信息反差对比度(GG-DCI)方法压缩融合,再用正交匹配追踪法(OMP)重构,有效降低了融合过程中的噪声干扰,避免了信息丢失;对低秩分量进行NSCT多尺度分解,对低频子带选用区域能量-直觉模糊集(RE-IFS)方法融合,最高频子带选用最大绝对值规则融合,其他高频子带选用自适应高斯区域方差融合,能获取更多的背景信息,提高了对比度和清晰度;最后,将融合后的稀疏分量和低秩分量叠加得到融合图像。实验结果表明,本文算法不仅能够有效提高融合图像对比度和清晰度,还可以避免细节纹理信息丢失,可达到更好的融合效果。

2 相关背景知识

2.1 RPCA分解

RPCA可以将矩阵分解成稀疏矩阵和低秩矩阵。如果将图像读取为矩阵,那么稀疏矩阵表示图像的显著信息,低秩矩阵表示图像的背景信息。在红外图像中,目标的清晰度由目标和背景之间的温差决定。红外目标信息可以建模为稀疏矩阵,而背景信息可以建模为低秩矩阵;可见光图像包含丰富的纹理信息和场景信息,纹理信息可以建模为稀疏矩阵,而场景信息可以建模为低秩矩阵。因此,RPCA分解能够实现对图像的显著信息和背景信息的精确提取^[18]。

首先,假设X₁∈ℝ^r^×^c代表红外图像,将X₁调整为列向量G₁,G₁∈ℝ^rc^×1;然后,使用RPCA分解G₁,得到低秩分量l₁∈ℝ^rc^×1和稀疏分量s₁∈ℝ^rc^×1,稀疏矩阵通过增广拉格朗日乘子法(ALM)快速计算;最后,将列向量l₁和s₁转换成r×c矩阵,得到矩阵l₁和s₁,其中l₁∈ℝ^r^×^c,s₁∈ℝ^r^×^c。同样,可见光图像X₂∈ℝ^r^×^c可以分解成低秩矩阵l₂和稀疏矩阵s₂。

2.2 NSCT

NSCT由非下采样拉普拉斯金字塔滤波器(NSP)和非下采样方向滤波器(NSDFB)两种分解尺度组合而成,具有多尺度、多方向和平移不变性等优点,能实现红外与可见光图像融合中红外目标和场景信息的高度提取。首先,通过NSP对源图像进行多尺度分解,将不连续性点连接成线性结构,得到低频和高频图像,再通过NSDFB将高频成分多方向分解,得到高频成分各方向子带。分解过程如图1所示。

图 1. NSCT分解过程

Fig. 1. Decomposing process of NSCT

下载图片查看所有图片

对于图像X,若分解尺度和方向数分别为T和L,可以获得低频子带系数图像 $\begin{matrix} X_{T}^{(0)} \end{matrix}$ 和高频子带系数图像 $\begin{matrix} X_{t}^{(l)} \end{matrix}$ (t=1,2,…,T;l=1,2,…,2^L)。

2.3 CS理论

众所周知,CS理论阐明了一个事实,即原始信号在最小的采样率下,可以用比传统奈奎斯特定理要求的观测值少得多的观测值来恢复稀疏信号。如果将两幅图像通过CS融合,不仅可以减少冗余信息,提高融合效率,还可在一定程度上降低噪声干扰,获得较好的融合效果。

设计测量矩阵A∈ℝ^m^×ⁿ,来实现Θ的线性变换,测量输出可表示为

\begin{matrix} y = AΘ, (1) \end{matrix}

式中:y∈ℝ^m为测量值。本文采用文献[ 19]中的结构随机矩阵作为测量矩阵。

稀疏系数可以通过解决L1范数最小化问题来重建,即

\begin{matrix} \min_{Θ} ‖Θ ‖_{1}, s . t . y = AΘ, (2) \end{matrix}

式中:min为最小化函数;‖·‖₁为L1范数。

3 本文图像融合算法

根据红外与可见光图像的特性,先对源图像进行预增强处理,提高后续信息的提取率;利用RPCA技术精确获取图像的显著信息和背景信息,对显著信息利用CS技术融合,减少冗余信息,降低噪声干扰;对背景信息利用NSCT融合,获取多方面的场景信息。整体算法有效提高了融合图像的对比度和清晰度,避免了纹理信息丢失。本文融合算法框架如图2所示,主要步骤如下:

1) 对源图像I₁和I₂分别进行预增强,得到X₁和X₂;

2) 将X₁和X₂分别进行RPCA分解,得到稀疏矩阵S₁和S₂,以及低秩矩阵L₁和L₂;

3) 对稀疏矩阵S₁和S₂利用结构随机矩阵进行压缩采样,得到测量输出矩阵Y₁和Y₂,利用GG-DCI算法实现融合,通过OMP算法重构得到融合后的稀疏矩阵;

4) 对低秩矩阵L₁和L₂分别进行NSCT变换,低频分量融合采用RE-IFS算法融合实现,最高频分量融合利用绝对值最大的选择规则实现,其他高频分量融合采用自适应高斯区域方差实现,最后经过NSCT逆变换得到融合后的低秩矩阵;

5) 通过叠加融合后的稀疏分量和低秩分量,得到融合图像。

图 2. 本文融合算法的流程图

Fig. 2. Flow chart of proposed fusion algorithm

下载图片查看所有图片

3.1 红外与可见光图像的预增强

图像融合前的预处理过程不可忽视,它可以有效地提高图像显著信息的提取率,利于获得更好的融合效果。红外图像除了红外目标外,场景信息整体被模糊化,调节其对比度可以呈现更好的纹理信息;可见光图像在拍摄环境较差的条件下,对比度会偏低,调节其对比度可以提高清晰程度。采用文献[ 20]的Q函数,将大于μ的像素放大,小于μ的像素减小,目的是调节红外图像和可见光图像的对比度。Q函数定义为

\begin{matrix} \begin{matrix} Q (i, j) = \frac{255}{k_{x} \cdot \exp \{- [10 \cdot I (i, j) / 255 - 5]\} + 1}, (3) \\ k_{x} = \frac{255 / μ - 1}{\exp [- (10 \cdot μ / 255 - 5)]}, (4) \end{matrix} \end{matrix}

式中:I(i,j)为源图像的像素灰度值;μ为图像的平均像素值;Q(i,j)为对比度拉伸后的像素灰度值;k_x为拐点参数。

3.2 高斯梯度-信息反差对比度(GG-DCI)压缩融合

S₁和S₂分别表示预增强后的红外和可见光图像X₁和X₂经过RPCA分解后得到的稀疏矩阵。为了减少冗余信息,降低噪声干扰,本文利用文献[ 19]中的结构随机矩阵将稀疏矩阵压缩采样,得到测量输出矩阵Y₁和Y₂。其高斯梯度定义为

\begin{matrix} \begin{matrix} \nabla Y_{m} (i, j) = \{Y_{m} \cdot \nabla G_{σ}\} (i, j), (5) \\ G_{σ} (i, j) = \frac{1}{2 πσ} \exp (- \frac{i^{2} + j^{2}}{2 σ^{2}}), (6) \end{matrix} \end{matrix}

式中:Ñ为梯度算子;(i,j)为像素索引值;m∈ $\begin{matrix} \{1,2\} \end{matrix}$ ;G_σ(i,j)为用于平滑图像以减少噪声影响的高斯函数;σ为噪声的标准偏差,可以控制平滑度。列梯度幅值定义为

\begin{matrix} F_{m} (:, j) = ‖ \nabla Y_{m} (:, j) ‖_{1} 。 (7) \end{matrix}

测量输出矩阵包含稀疏矩阵的主要信息,融合过程的关键是如何准确提取显著信息。本文提出将信息反差对比度作为高斯梯度融合的权重因子,来控制列梯度幅值,目的是反映两幅图像的显著信息之间的反差程度,对不同的源图像可以提取到最具有特征性的显著信息,故可达到更好的融合效果。分别定义Y₁和Y₂的自身信息反差为

\begin{matrix} \begin{matrix} D_{S 1} (:, j) = \sqrt[]{\frac{\overset{r}{\sum_{i = 1}} |Y_{1} (:, j) - Y_{\bar{1}} (:, j)|}{r}}, \\ D_{S 2} (:, j) = \sqrt[]{\frac{\overset{r}{\sum_{i = 1}} |Y_{2} (:, j) - Y_{\bar{2}} (:, j)|}{r}}, (8) \end{matrix} \end{matrix}

式中: $\begin{matrix} Y_{\bar{1}} \end{matrix}$ (:,j)和 $\begin{matrix} Y_{\bar{2}} \end{matrix}$ (:,j)分别为Y₁和Y₂第j列的均值;r为测量输出矩阵的行数。

他们之间的相互信息反差定义为

\begin{matrix} M (:, j) = \sqrt[]{\frac{\overset{r}{\sum_{i = 1}} |Y_{1} (:, j) - Y_{2} (:, j)|}{r}}, (9) \end{matrix}

得到反差比重为

\begin{matrix} \begin{matrix} η_{1} (:, j) = \frac{\frac{M (:, j)}{D_{S 1} (:, j)}}{\frac{M (:, j)}{D_{S 1} (:, j)} + \frac{M (:, j)}{D_{S 2} (:, j)}}, \\ η_{2} (:, j) = \frac{\frac{M (:, j)}{D_{S 2} (:, j)}}{\frac{M (:, j)}{D_{S 1} (:, j)} + \frac{M (:, j)}{D_{S 2} (:, j)}}, (10) \end{matrix} \end{matrix}

则信息反差对比度定义为

\begin{matrix} \begin{matrix} λ_{1} (:, j) = \frac{η_{1} (:, j) D_{S 1} (:, j) + D_{S 2} (:, j)}{D_{S 1} (:, j) + D_{S 2} (:, j)}, \\ λ_{2} (:, j) = \frac{D_{S 1} (:, j) + η_{2} (:, j) D_{S 2} (:, j)}{D_{S 1} (:, j) + D_{S 2} (:, j)} 。 (11) \end{matrix} \end{matrix}

所以,测量输出矩阵Y₁和Y₂的融合规则定义为

\begin{matrix} Y (:, j) = \{\begin{matrix} \frac{F_{1} (:, j) λ_{1} (:, j)}{F_{1} (:, j) λ_{1} (:, j) + F_{2} (:, j)} Y_{1} (:, j) + \frac{F_{2} (:, j)}{F_{1} (:, j) λ_{1} (:, j) + F_{2} (:, j)} Y_{2} (:, j), \\ \frac{M (:, j)}{D_{S 1} (:, j)} \geq \frac{M (:, j)}{D_{S 2} (:, j)} \\ \frac{F_{1} (:, j)}{F_{1} (:, j) + F_{2} (:, j) λ_{2} (:, j)} Y_{1} (:, j) + \frac{F_{2} (:, j) λ_{2} (:, j)}{F_{1} (:, j) + F_{2} (:, j) λ_{2} (:, j)} Y_{2} (:, j), \\ \frac{M (:, j)}{D_{S 1} (:, j)} < \frac{M (:, j)}{D_{S 2} (:, j)} \end{matrix} 。 (12) \end{matrix}

最后,通过OMP算法重构稀疏矩阵,得到融合后的稀疏矩阵S。

3.3 低频系数融合

RPCA分解得到的低秩矩阵包含图像背景信息,低秩矩阵的融合能够有效提高图像的整体视觉感知,满足人们对图像的信息需求。NSCT具有多尺度、多方向和平移不变性特点,能够捕获丰富的边缘和纹理信息。对低秩矩阵利用NSCT可以提取到更多的背景信息,有助于进一步的图像融合。本文对低秩矩阵L₁和L₂采用NSCT,得到低频分量和高频分量,再利用RE-IFS融合低频分量 $\begin{matrix} X_{τ, T}^{(0)} \end{matrix}$ (τ=1,2)。首先,根据文献[ 11],将分别以红外图像和可见光图像为主导图像的隶属函数和非隶属函数定义为

\begin{matrix} \begin{matrix} u_{τ} (m, n) = \exp \{\frac{- [X_{τ, T}^{(0)} (m, n) - \bar{X_{τ, T}^{(0)}}]}{2 (k_{1} σ_{τ})^{2}}\}, (13) \\ v_{τ} (m, n) = 1 - \exp \{\frac{- [X_{τ, T}^{(0)} (m, n) - \bar{X_{τ, T}^{(0)}}]}{2 (k_{2} σ_{τ})^{2}}\}, (14) \end{matrix} \end{matrix}

式中: $\begin{matrix} \bar{X_{τ, T}^{(0)}} \end{matrix}$ 为 $\begin{matrix} X_{τ, T}^{(0)} \end{matrix}$ 的平均值;σ_τ为 $\begin{matrix} X_{τ, T}^{(0)} \end{matrix}$ 的标准差;k₁、k₂为高斯函数调整参数。

得到的犹豫度和隶属度为

\begin{matrix} \begin{matrix} θ_{τ} (m, n) = 1 - u_{τ} (m, n) - v_{τ} (m, n), (15) \\ U_{τ} (m, n) = u_{τ} (m, n) + \frac{u_{τ} (m, n)}{u_{τ} (m, n) + v_{τ} (m, n)} θ_{τ} (m, n) 。 (16) \end{matrix} \end{matrix}

那么,在红外图像为主导图像的隶属决策下,低频系数矩阵为

\begin{matrix} C_{1} (m, n) = [1 - U_{1} (m, n)] X_{1, T}^{(0)} (m, n) + U_{1} (m, n) X_{2, T}^{(0)} (m, n) 。 (17) \end{matrix}

同样地,在可见光图像为主导图像的隶属决策下,低频系数矩阵为

\begin{matrix} \begin{matrix} C_{2} (m, n) = & U_{2} (m, n) X_{1, T}^{(0)} (m, n) + [1 - U_{2} (m, n)] X_{2, T}^{(0)} m, n) 。 (18) \end{matrix} \end{matrix}

得到了不同隶属决策下的低频系数矩阵C₁和C₂,再利用区域能量融合规则自适应融合。C₁和C₂的区域能量可以表示为

\begin{matrix} \begin{matrix} E_{1} (m, n) = \sum_{p \in P, q \in Q} b (p, q) {[C_{1} (m + p, n + q)]}^{2}, (19) \\ E_{2} (m, n) = \sum_{p \in P, q \in Q} b (p, q) {[C_{2} (m + p, n + q)]}^{2}, (20) \\ b = [1,2, 1; 2,3, 2; 1,2, 1] / 15, (21) \end{matrix} \end{matrix}

式中:b为P×Q的区域窗口遮罩。则权重因子定义为

\begin{matrix} \begin{matrix} W_{X 1} (m, n) = \frac{E_{1} (m, n)}{E_{1} (m, n) + k_{0} E_{2} (m, n)}, \\ W_{X 2} (m, n) = 1 - W_{X 1} (m, n), (22) \end{matrix} \end{matrix}

式中:k₀为权重因子的调节参数。因此,融合后的低频系数矩阵可以表示为

\begin{matrix} X_{T}^{(0)} (m, n) = W_{X 1} (m, n) C_{1} (m, n) + W_{X 2} (m, n) C_{2} (m, n) 。 (23) \end{matrix}

3.4 高频系数融合

最高层次能反映更为详细的边缘信息,本文选择最大绝对值的融合规则,突出细节信息。若 $\begin{matrix} X_{1, T}^{(l)} \end{matrix}$ 和 $\begin{matrix} X_{2, T}^{(l)} \end{matrix}$ 表示高频分量,则融合规则为

\begin{matrix} X_{T}^{(l)} (m, n) = \{\begin{matrix} X_{1, T}^{(l)} (m, n), |X_{1, T}^{(l)} (m, n)| \geq |X_{2, T}^{(l)} (m, n)| \\ X_{2, T}^{(l)} (m, n), |X_{1, T}^{(l)} (m, n)| < |X_{2, T}^{(l)} (m, n)| \end{matrix} 。 (24) \end{matrix}

对于其他高频分量 $\begin{matrix} X_{1, t}^{(l)} \end{matrix}$ 和 $\begin{matrix} X_{2, t}^{(l)} \end{matrix}$ ,利用自适应高斯区域方差计算权重因子。方差反映图像的对比度强弱,根据方差的定义,可以将区域方差表示为

\begin{matrix} \begin{matrix} ψ_{_{t, l}}^{^{X 1}} (m, n) = \frac{1}{PQ} \sum_{p \in P} \sum_{q \in Q} {[X_{1, t}^{(l)} (m + p, n + q) - \bar{X_{1, t}^{(l)}}]}^{2}, (25) \\ ψ_{_{t, l}}^{^{X 2}} (m, n) = \frac{1}{PQ} \sum_{p \in P} \sum_{q \in Q} {[X_{2, t}^{(l)} (m + p, n + q) - \bar{X_{2, t}^{(l)}}]}^{2}, (26) \end{matrix} \end{matrix}

式中: $\begin{matrix} \bar{X_{1, t}^{(l)}} \end{matrix}$ 为 $\begin{matrix} X_{1, t}^{(l)} \end{matrix}$ 的平均值; $\begin{matrix} \bar{X_{2, t}^{(l)}} \end{matrix} \begin{matrix} X_{2, t}^{(l)} \end{matrix}$ 的平均值。

则自适应高斯模糊隶属度表示为

\begin{matrix} \begin{matrix} γ_{X 2} (m, n) = \exp [- \frac{1}{2} (\frac{X_{1, t}^{(l)} (m, n) - \bar{X_{1, t}^{(l)}}}{kσ})], (27) \\ γ_{X 1} (m, n) = 1 - γ_{X 2} (m, n), (28) \end{matrix} \end{matrix}

式中:k∈[1,5]为调节参数;σ为 $\begin{matrix} X_{1, t}^{(l)} \end{matrix}$ 的标准差。

所以权重因子定义为

\begin{matrix} \begin{matrix} W_{_{t, l}}^{^{X 1}} (m, n) = \frac{γ_{X 1} (m, n) ψ_{_{t, l}}^{^{X 1}} (m, n)}{γ_{X 1} (m, n) ψ_{_{t, l}}^{^{X 1}} (m, n) + k_{0} γ_{X 2} (m, n) ψ_{_{t, l}}^{^{X 2}} (m, n)}, (29) \\ W_{_{t, l}}^{^{X 2}} (m, n) = 1 - W_{_{t, l}}^{^{X 1}} (m, n), (30) \end{matrix} \end{matrix}

则自适应融合后的高频系数可以表示为

\begin{matrix} X_{t}^{(l)} (m, n) = W_{_{_{t, l}}}^{^{^{^{X 1}}}} (m, n) X_{1, t}^{(l)} (m, n) + W_{_{_{_{t, l}}}}^{^{^{^{X 2}}}} (m, n) X_{2, t}^{(l)} (m, n) 。 (31) \end{matrix}

4 实验结果与分析

为了验证本文融合算法的有效性,进行三组红外与可见光图像融合实验。测试图像都是从公开图像数据库中获取的,分辨率为512 pixel×512 pixel。所有实验由Matlab R2014a在Windows7系统下完成。参数设置:预增强环节的拐点参数k_x=3;NSCT的分解尺度T=2和方向数L=2;低频系数融合的调节参数k₁=0.8,k₂=1.2;其他高频系数融合的调节参数k=k₀=3。实验涉及7种图像融合算法,分别是基于分块信息论的压缩融合(CS_BIT)^[14]、基于高斯梯度的压缩融合(CS_GG)^[14]、基于主成分分析的压缩融合(CS_PCA)^[14]、无预处理的本文方法(RPCA_NSCT_CS)、基于RPCA的压缩融合(RPCA_CS)^[18]、基于RPCA和GG_DCI的压缩融合(RPCA_CS_GGDCI)和基于NSCT的压缩融合(NSCT_CS)^[15],并将他们与本文算法进行比较。

为了进一步对这8种融合结果进行客观地定量分析,选取信息熵E、平均梯度AG、空间频率SF、标准差SD和边缘强度Q(AB/F)5个指标评价融合图像。E用于测量融合图像的信息量,E值越大,信息量越大;AG用来评价图像清晰度,指标值越大表示融合图像越清晰;SF反映融合图像空域的总体活跃度;SD反映图像的反差大小,反差越大,可利用的信息越多;Q(AB/F)表示Sobel检测器在源图像和融合图像中的每个像素上可以捕获到的强度和方向信息。以上5种指标的值越大,表明融合图像越清晰,融合性能越好。

从主观角度分析,图3(c)~(j)显示8种融合算法都达到了一定的融合效果。对比图3(c)~(f)可以看出,融合图像亮度明显增强,但是细节信息并不明显;图3(d)和图3(e)的融合效果比较接近,但是图3(f)的融合图像在亮度和纹理细节上有明显提升;图3(g)~(i)在纹理细节效果上有很大的提升,图3(g)在树木、栅栏和人像上没有图3(h)显著,而图3(i)的纹理细节更加清晰;仔细观察图3(h)可以发现,融合图像在树木、栅栏和人像等纹理细节上都有很大突破,充分结合了两幅源图像的信息,达到便于观察的目的,因此图3(h)的融合结果优于其他算法的融合结果。

表 2. 第2组融合结果客观评价

Table 2. Objective evaluation of fusion results for second-group images

Fusion method	E	AG	SF	SD	Q(AB/F)
CS_BIT	4.3220	1.0788	2.2547	7.0269	0.1823
CS_GG	4.7362	1.5136	3.1382	8.3498	0.2707
CS_PCA	4.8162	1.5725	3.2760	9.5737	0.2780
RPCA_NSCT_CS	4.9951	1.3453	3.0555	9.6503	0.3262
RPCA_CS	5.7573	1.6926	4.7754	19.0520	0.2831
RPCA_CS_GGDCI	5.7515	1.6176	4.6400	19.0348	0.4501
NSCT_CS	6.0386	2.8012	5.2693	21.7813	0.4490
Proposed method	6.6697	2.5405	5.4128	31.0641	0.3180

查看所有表

表 3. 第3组融合结果客观评价

Table 3. Objective evaluation of fusion results for third-group images

Fusion method	E	AG	SF	SD	Q(AB/F)
CS_BIT	5.3507	1.3761	2.3609	10.0958	0.1828
CS_GG	5.9403	1.9012	3.2402	15.1763	0.2539
CS_PCA	5.9117	2.0308	3.4898	14.8840	0.2581
RPCA_NSCT_CS	5.7717	1.6134	2.7062	13.3352	0.3398
RPCA_CS	6.1443	2.1672	4.0228	19.3339	0.2756
RPCA_CS_GGDCI	6.1405	2.0328	3.7575	19.3740	0.4144
NSCT_CS	6.0849	2.7359	4.6167	18.3970	0.3925
Proposed method	6.9834	3.4598	5.7665	31.6092	0.3237

查看所有表

表 1. 第1组融合结果客观评价

Table 1. Objective evaluation of fusion results for first-group images

Fusion method	E	AG	SF	SD	Q(AB/F)
CS_BIT	5.5725	1.4712	2.6660	14.2149	0.1327
CS_GG	6.2378	2.3441	4.2633	22.2669	0.2475
CS_PCA	6.2404	2.3075	4.1909	22.4741	0.2489
RPCA_NSCT_CS	6.5169	2.4379	4.5869	27.0233	0.3637
RPCA_CS	6.7001	2.6185	5.1370	29.3199	0.2886
RPCA_CS_GGDCI	6.7020	2.5740	5.1902	29.5137	0.4920
NSCT_CS	7.1461	3.3146	6.0020	41.1431	0.4818
Proposed method	7.5494	4.4838	8.4780	56.1224	0.3076

查看所有表

图 3. 第一组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 3. Results of fusion experiments for first-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

下载图片查看所有图片

从表1中可以看出,5种客观评价参数中,本文算法在E、AG、SF和SD 4种指标上都高于其他算法,说明本文算法能够融合更多的有效信息,与理想结果更接近,得到的融合图像更清晰。虽然本文算法的Q(AB/F)偏低,但是从主观视觉上看,本文的融合效果更好。

图4(c)~(j)中:图4(c)的亮度偏低,很难观察到轮船的细节信息,而图4(d)~(f)的亮度有很大改善,但是目标信息并不明显,周围海平面环境也不清晰;图4(g)~(i)中的轮船很明显,海平面环境清晰度也有所增强,但是纹理细节并不清晰,而图4(j)无论是轮船的边缘轮廓还是海平面的清晰度都明显优于其他算法的融合结果,说明本文算法的有效性。

从表2可以得出,本文算法除了AG和Q(AB/F)偏低,其他指标都优于对比算法。其中,E明显提高,说明本文融合图像的信息量最多;SF和SD也有所提升,说明本文算法有效改善了融合图像的边缘和细节纹理;虽然AG和Q(AB/F)偏低,但是在主观视觉上,本文的融合图像可以获得更多的有效信息,且便于观察。所以本文算法在总体上优于其他算法。

图 4. 第2组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 4. Results of fusion experiments for second-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

下载图片查看所有图片

图 5. 第3组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 5. Results of fusion experiments for third-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

下载图片查看所有图片

图5(c)虽然可以得到人像特征,但是周围树木无法观测;而图5(d)~(f)有显著提升,可以隐约看到树木的特征,但是并不明显;图5(g)~(i)中人像更加清晰,周围环境很容易观察,但是细节信息甚少;图5(j)的清晰度有很大改善,可以得到很多的细节信息,便于观察。表明本文算法可以有效提高融合图像的清晰度,能获取更多信息。

从表3中可知,本文算法融合结果的多种指标得到了有效提高,如:E表明本文融合图像信息量更多;AG最大说明融合图像更加清晰;SF和SD最大表明图像空域总体活跃度更高,反差更大,反映的边缘信息更丰富。虽然指标Q(AB/F)偏低,但是另外四种指标都明显高于其他算法。总体而言,本文算法性能还是优于其他对比算法。

5 结论

为了解决红外与可见光图像融合中导致融合图像对比度与清晰度降低、细节纹理信息丢失的问题,本文提出基于RPCA和NSCT的压缩感知融合算法。将源图像经预增强处理后利用RPCA分解为稀疏分量和低秩分量,有助于提取目标和背景信息;对稀疏分量采用GG-DCI算法融合,能够得到精确的目标信息;利用NSCT具有多尺度、多方向和平移不变性等显著优点,将低秩分量进行NSCT分解,对低频子带采用RE-IFS算法融合,最高频子带采用最大绝对值规则融合,其他高频子带采用自适应高斯区域方差融合;最后叠加得到融合图像。实验结果表明,本文算法在主观视觉和客观评价上优于现有的融合算法。然而,基于RPCA和NSCT的融合方法仍需进一步深入研究。一方面,压缩感知的重建阶段需要进一步改进,主要是提高计算效率和重建准确度;另一方面,算法的复杂度还需进一步优化。因此,今后的工作将集中重建压缩感知和降低算法复杂度两个方面。

参考文献

[1] 刘帅奇, 郑伟, 赵杰, 等. 数字图像融合算法分析与应用[M]. 北京: 机械工业出版社, 2018: 111- 137.

Liu SQ, ZhengW, ZhaoJ, et al.Analysis and application of algorithm for digital image fusion[M]. Beijing: China Machine Press, 2018: 111- 137.

[2] 王昕, 吉桐伯, 刘富. 结合目标提取和压缩感知的红外与可见光图像融合[J]. 光学精密工程, 2016, 24(7): 1743-1753.

Wang X, Ji T B, Liu F. Fusion of infrared and visible images based on target segmentation and compressed sensing[J]. Optics and Precision Engineering, 2016, 24(7): 1743-1753.

[3] Liu C H, Qi Y, Ding W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]. Infrared Physics & Technology, 2017, 83: 94-102.

[4] Shahdoosti H R, Ghassemian H. Combining the spectral PCA and spatial PCA fusion methods by an optimal filter[J]. Information Fusion, 2016, 27: 150-160.

[5] Ma J Y, Chen C, Li C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109.

[6] 吴一全, 王志来. 基于目标提取与引导滤波增强的红外与可见光图像融合[J]. 光学学报, 2017, 37(8): 0810001.

Wu Y Q, Wang Z L. Infrared and visible image fusion based on target extraction and guided filtering enhancement[J]. Acta Optica Sinica, 2017, 37(8): 0810001.

[7] 陈木生. 结合NSCT和压缩感知的红外与可见光图像融合[J]. 中国图象图形学报, 2016, 21(1): 39-44.

Chen M S. Image fusion of visual and infrared image based on NSCT and compressed sensing[J]. Journal of Image and Graphics, 2016, 21(1): 39-44.

[8] 丁文杉, 毕笃彦, 何林远, 等. 基于剪切波变换和邻域结构特征的红外与可见光图像融合[J]. 光学学报, 2017, 37(10): 1010002.

Ding W S, Bi D Y, He L Y, et al. Fusion of infrared and visible images based on shearlet transform and neighborhood structure features[J]. Acta Optica Sinica, 2017, 37(10): 1010002.

[9] 江泽涛, 吴辉, 周哓玲. 基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法[J]. 光学学报, 2018, 38(2): 0210002.

Jiang Z T, Wu H, Zhou X L. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]. Acta Optica Sinica, 2018, 38(2): 0210002.

[10] Cai J J, Cheng Q M, Peng M J, et al. Fusion of infrared and visible images based on nonsubsampled contourlet transform and sparse K-SVD dictionary learning[J]. Infrared Physics & Technology, 2017, 82: 85-95.

[11] 蔡怀宇, 卓励然, 朱攀, 等. 基于非下采样轮廓波变换和直觉模糊集的红外与可见光图像融合[J]. 光子学报, 2018, 47(6): 0610002.

Cai H Y, Zhuo L R, Zhu P, et al. Fusion of infrared and visible images based on non-subsampled contourlet transform and intuitionistic fuzzy set[J]. Acta Photonica Sinica, 2018, 47(6): 0610002.

[12] 周渝人, 耿爱辉, 张强, 等. 基于压缩感知的红外与可见光图像融合[J]. 光学精密工程, 2015, 23(3): 855-863.

Zhou Y R, Geng A H, Zhang Q, et al. Fusion of infrared and visible images based on compressive sensing[J]. Optics and Precision Engineering, 2015, 23(3): 855-863.

[13] 刘先红, 陈志斌. 基于多尺度方向引导滤波和卷积稀疏表示的红外与可见光图像融合[J]. 光学学报, 2017, 37(11): 1110004.

Liu X H, Chen Z B. Fusion of infrared and visible images based on multi-scale directional guided filter and convolutional sparse representation[J]. Acta Optica Sinica, 2017, 37(11): 1110004.

[14] Chen Y, Qin Z. Gradient-based compressive image fusion[J]. Frontiers of Information Technology & Electronic Engineering, 2015, 16(3): 227-237.

[15] Zhang Q, Maldague X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology, 2016, 74: 11-20.

[16] Wang Z Z, Deller J R, Fleet B D. Pixel-level multisensor image fusion based on matrix completion and robust principal component analysis[J]. Journal of Electronic Imaging, 2016, 25(1): 013007.

[17] Fu Z Z, Wang X, Xu J, et al. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physics & Technology, 2016, 77: 114-123.

[18] Li J, Song M H, Peng Y X. Infrared and visible image fusion based on robust principal component analysis and compressed sensing[J]. Infrared Physics & Technology, 2018, 89: 129-139.

[19] Do T T, Gan L, Nguyen N H, et al. Fast and efficient compressive sensing using structurally random matrices[J]. IEEE Transactions on Signal Processing, 2012, 60(1): 139-154.

[20] Fu ZZ, Dai XD, LiY, et al. An improved visible and infrared image fusion based on local energy and fuzzy logic[C]∥2014 12th International Conference on Signal Processing (ICSP), October 19-23, 2014, Hangzhou, Zhejiang, China. New York: IEEE, 2014: 861- 865.

3.2 高斯梯度-信息反差对比度(GG-DCI)压缩融合

苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 041005. Jinfeng Su, Guicang Zhang, Kai Wang. Compressed Fusion of Infrared and Visible Images Combining Robust Principal Component Analysis and Non-Subsampled Contour Transform[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041005.

结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合下载： 983次

1 引言

2 相关背景知识

2.1 RPCA分解

2.2 NSCT

图 1. NSCT分解过程

Fig. 1. Decomposing process of NSCT

2.3 CS理论

3 本文图像融合算法

图 2. 本文融合算法的流程图

Fig. 2. Flow chart of proposed fusion algorithm

3.1 红外与可见光图像的预增强

3.2 高斯梯度-信息反差对比度(GG-DCI)压缩融合

3.3 低频系数融合

3.4 高频系数融合

4 实验结果与分析

表 2. 第2组融合结果客观评价

Table 2. Objective evaluation of fusion results for second-group images

表 3. 第3组融合结果客观评价

Table 3. Objective evaluation of fusion results for third-group images

表 1. 第1组融合结果客观评价

Table 1. Objective evaluation of fusion results for first-group images

图 3. 第一组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 3. Results of fusion experiments for first-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

图 4. 第2组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 4. Results of fusion experiments for second-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

图 5. 第3组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 5. Results of fusion experiments for third-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合 下载： 983次

1 引言

2 相关背景知识

2.1 RPCA分解

2.2 NSCT

图 1. NSCT分解过程

Fig. 1. Decomposing process of NSCT

2.3 CS理论

3 本文图像融合算法

图 2. 本文融合算法的流程图

Fig. 2. Flow chart of proposed fusion algorithm

3.1 红外与可见光图像的预增强

3.2 高斯梯度-信息反差对比度(GG-DCI)压缩融合

3.3 低频系数融合

3.4 高频系数融合

4 实验结果与分析

表 2. 第2组融合结果客观评价

Table 2. Objective evaluation of fusion results for second-group images

表 3. 第3组融合结果客观评价

Table 3. Objective evaluation of fusion results for third-group images

表 1. 第1组融合结果客观评价

Table 1. Objective evaluation of fusion results for first-group images

图 3. 第一组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 3. Results of fusion experiments for first-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

图 4. 第2组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 4. Results of fusion experiments for second-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

图 5. 第3组融合实验图。(a)红外图像;(b)可见光图像;(c) CS_BIT;(d) CS_GG;(e) CS_PCA;(f) RPCA_NSCT_CS;(g) RPCA_CS;(h) RPCA_CS_GGDCI;(i) NSCT_CS;(j)本文方法

Fig. 5. Results of fusion experiments for third-group images. (a) Infrared image; (b) visible image; (c) CS_BIT; (d) CS_GG; (e) CS_PCA; (f) RPCA_NSCT_CS; (g) RPCA_CS; (h) RPCA_CS_GGDCI; (i) NSCT_CS; (j) proposed method

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合下载： 983次