基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法

朱达荣; 许露; 汪方斌; 刘涛; 储朱涛

doi:doi:10.3788/LOP55.011001

激光与光电子学进展, 2018, 55 (1): 011001, 网络出版: 2018-09-10

基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法下载： 1413次

Multi-Focus Image Fusion Algorithm Based on Fast Finite Shearlet Transform and Guided Filter

论文大纲

朱达荣 ^1,2许露 ^1,2,*汪方斌 ^1,2刘涛 ^1,2储朱涛 ^1,2

作者单位

¹ 安徽建筑大学机械与电气工程学院, 安徽合肥 230601

² 安徽建筑大学建筑机械故障诊断与预警技术重点实验室, 安徽合肥 230601

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了使融合后的多聚焦图像细节特征丰富且边缘清晰,提出一种基于快速有限剪切波变换(FFST)与引导滤波的图像融合算法。利用FFST将源图像分解为低频系数和高频系数。在融合低频系数时,定义一种改进的拉普拉斯能量和(NSML),并设计一种基于区域NSML的低频系数选择方案;针对高频系数富含细节信息的特点,提出一种基于引导滤波的区域能量加权融合算法。然后,通过逆FFST获取最终的融合图像。对比实验结果表明,所提算法在主观视觉效果与客观评价指标方面都取得了较好的结果。

Abstract

To preserve defined edges of the fused multi-focus image while enriching the detail features of the image, a novel algorithm based on the fast finite shearlet transform (FFST) and the guided filter is proposed. Firstly, the original images are decomposed into low frequency subband coefficients and bandpass direction subband coefficients by using FFST. Then, in the fusion of the low frequency coefficient, a novel Sum-Modified-Laplacian (NSML) is defined, and a selection scheme of low frequency coefficients is designed based on regional NSML. Due to the rich detail information of high frequency coefficient, we present a regional weighting energy fusion algorithm based on the guided filter. Finally, the final fused image is produced by inverse FFST. Comparison experiments are performed on different image sets, and experimental results demonstrate that the proposed algorithm performs better in both subjective and objective qualities.

1 引言

可见光成像系统的聚焦范围有限,会使处于聚焦区域外的目标成像模糊。要获得场景内所有物体都清晰的图像,可通过多聚焦图像融合技术来实现^[1]。多聚焦图像融合是指将来自多个(2个或2个以上)传感器的关于同一场景的不同聚焦位置的图像综合起来,从而获取更全面、更可靠的场景描述,以利于目标识别和探测,在**监测、医学图像分析、远程遥感方面都有广泛应用^[2]。研究者们提出了许多高效的多聚焦图像融合算法,如多尺度分析^[3]、显著性分析^[4]、模糊逻辑^[5]、神经网络^[6]等。在这些算法中,基于多尺度分析的图像融合算法由于能够提取图像的显著信息受到了广大研究者的青睐,其图像融合过程一般包含以下3步:源图像分解、图像系数融合和图像系数重构。传统的小波变换在分解图像时只有3个(水平、垂直和对角)方向,因而不能最优地表示具有曲线奇异性的二维图像或者具有面奇异性的高维函数^[7]。为了避免小波变换的缺陷,曲波变换^[8]、轮廓波变换^[9]、剪切波变换^[10]等多尺度几何分析(MGA)方法相继被提出。其中,剪切波变换克服了小波变换的不足,继承了曲波变换的优良特性,具有比轮廓波变换更强的方向敏感性,且数学结构简单,可有效地提升运算效率,弥补非下采样轮廓波变换(NSCT)^[11]的弊端,在图像去噪、图像分割及图像融合等方面都得到应用^[12]。然而,剪切波变换在离散化过程中采用了下采样操作,因而不具备平移不变性,在应用于图像去噪、图像融合时易在奇异点附近产生伪布吉斯现象^[13]。快速有限剪切波变换(FFST)^[14]通过级联非下采样金字塔滤波器和剪切滤波器,具有剪切波变换的所有优点,且避免了下采样操作过程,因而具有平移不变性,可以有效减少因配准误差带来的影响,因而更适用于图像融合^[15]。

在多聚焦图像融合中,虽然MGA能够提取图像中的显著信息,但由于未充分考虑空间一致性,融合图像可能出现光晕或伪影现象^[16]。Li等^[17]提出了一种基于引导滤波的加权平均多聚焦图像融合算法,有效避免了上述现象的出现,但仍然存在不足:一方面,拉普拉斯算子生成的显著图不能很好地表示图像中的视觉显著特征;另一方面,算法未考虑多方向分解,这可能会导致图像细节丢失。为此,杨航等^[18]提出了基于多尺度引导滤波的多聚焦图像融合方法,其主要思想是借助引导滤波器把一幅图像分解为一幅基础图像和多幅细节图像,然后提出一种基于引导滤波的加权方法从而实现图像融合。该方法丰富了融合后图像的信息,有效地提取了原始图像的细节特征,但由于过程中涉及多次图像引导滤波,因此融合后的图像对比度下降。本文综合FFST优良的细节表现特性和引导滤波良好的边缘梯度保持能力^[19-20],提出一种基于FFST与引导滤波的多聚焦图像融合算法,对源图像进行分解后,分别针对高低频系数的特性,设计相应的融合策略,最后通过对多组图像的融合实验验证本文算法的性能。

2 相关理论

2.1 FFST

剪切波变换通过对基函数进行缩放、剪切、平移等仿射变换而生成具有不同特征的剪切波函数。基于剪切波变换的图像分解分为:1) 应用拉普拉斯金字塔算法将图像分解成不同尺度下的低频子带和高频子带;2) 利用剪切滤波器对不同尺度子带进行方向剖分,从而实现图像的多尺度多方向分解,且分解后的子带图像与源图像的大小保持一致^[13]。

FFST通过对剪切函数的伸缩、剪切,以及对平移参数进行离散化得到离散剪切波变换,定义为

\begin{matrix} {\dot{ψ}}_{j, k, m} (x) = ψ [A_{aj}^{- 1} B_{sj, k}^{- 1} (x - t_{m})], (1) \end{matrix}

其频域表达式为

\begin{matrix} \begin{matrix} {\dot{ψ}}_{j, k, m} (ω) = \dot{ψ} ({A^{T}}_{aj} {B^{T}}_{sj, k} ω) \exp (- 2 πi < ω, t_{m} >) = \\ {\dot{ψ}}_{1} (4^{- j} ω_{1}) {\dot{ψ}}_{2} (2^{j} \frac{ω_{2}}{ω_{1}} + k) \exp (- 2 πi < ω, t_{m} \frac{>}{N}), (2) \end{matrix} \end{matrix}

式中A为控制尺度的各向异性膨胀矩阵,a∈R⁺,a_j为尺度参数,j是分解尺度,A_aj为关联尺度变换, $\begin{matrix} A_{aj}^{- 1} \end{matrix}$ 为A_aj的逆变换, $\begin{matrix} A_{aj}^{T} \end{matrix}$ 为A_aj的转置;B为控制方向的剪切矩阵,s∈R,s_j_,_k为方向参数,-2^j+1≤k≤2^j-1控制剪切波梯形支撑区斜率的大小,B_sj_,_k为关联几何变换, $\begin{matrix} B_{sj, k}^{- 1} \end{matrix}$ 为B_sj_,_k的逆变换, $\begin{matrix} B_{sj, k}^{T} \end{matrix}$ 为B_sj_,_k的转置;t∈R²,t_m为平移参数,m∈Z²控制平移量的大小;N为图像维数;ω₁,ω₂为ω的组成元素; $\begin{matrix} \dot{ψ} \end{matrix}$ 是ψ的傅里叶变换,ψ₁、ψ₂是连续小波。为了得到整个频域上的剪切波,在锥面交叉处定义 $\begin{matrix} |k| \end{matrix}$ =2^j, $\begin{matrix} {\dot{ψ}}_{j, k, m}^{h} \end{matrix}$ 为水平锥处的剪切波, $\begin{matrix} {\dot{ψ}}_{j, k, m}^{v} \end{matrix}$ 为垂直锥处的剪切波, $\begin{matrix} {\dot{ψ}}_{j, k, m}^{\times} \end{matrix}$ 为锥面交叉线处的剪切波,则剪切波的和为

\begin{matrix} {\dot{ψ}}_{j, k, m}^{h \times v} = {\dot{ψ}}^{h}_{j, k, m} + {\dot{ψ}}^{v}_{j, k, m} + {\dot{ψ}}_{j, k, m}^{\times}, (3) \end{matrix}

由此,离散剪切波可被定义为

\begin{matrix} \begin{matrix} S (f) (j, k, m) = \\ \{\begin{matrix} < f, ϕ_{m} >, & fork = 0, \\ < f, ψ_{j, k, m}^{k} >, & fork \in \{h, v\} \\ < f, ψ_{j, k, m}^{h \times v} >, & f ork = \times, |k| = 2^{j} \end{matrix}, (4) \end{matrix} \end{matrix}

式中f为输入函数或图像,ϕ为尺度函数,h代表水平锥,v代表垂直锥,×代表锥面交叉线。(4)式的离散剪切波变换可以由傅里叶变换实现,运算速度快。FFST过程不存在下采样过程,因此具备平移不变性。

2.2 引导滤波

图像引导滤波器^[21]是一种局部线性滤波器,与传统的滤波器(高斯滤波器、双边滤波器、联合双边滤波器等)相比,图像引导滤波器在保持图像边缘梯度的同时,能够增强图像的细节信息,保留输入图像的整体特征,广泛应用于图像去噪、图像去雾及图像融合。

假设引导滤波器的引导图像为I,输入图像为p,输出图像为q,则在以k为中心、r为半径的窗口ω_k中,输出图像与引导图像存在以下线性关系:

\begin{matrix} q_{i} = a_{k} I_{i} + b_{k}, \forall i \in ω_{k}, (5) \end{matrix}

式中a_k、b_k为窗口中的线性系数,均为常数,i、k为像素点坐标。从(5)式可以看出,Ñq=aÑI,这就保证了输出图像q与引导图像I的边缘一致性。为了使q与I的差别最小,将确定(5)式中线性系数的问题转化为最优化问题,引入代价函数E(a_k,b_k),它的定义为

\begin{matrix} \begin{matrix} E (a_{k}, b_{k}) = \\ \sum_{i \in ωk} [(a_{k} I_{i} + b_{k} - p_{i})^{2} + ε a_{k}^{2}], (6) \end{matrix} \end{matrix}

式中ε为正则化参数,是为了防止系数a_k过大而设置的。运用线性回归法对(6)式进行求解,可得出a_k和b_k的最优解:

\begin{matrix} \begin{matrix} a_{k} = \frac{(1 / |w|) \sum_{i \in ωk} I_{i} p_{i} - μ_{k} {\overset{̅}{p}}_{k}}{σ_{k}^{2} + ε}, (7) \\ b_{k} = {\overset{̅}{p}}_{k} - a_{k} μ_{k}, (8) \end{matrix} \end{matrix}

式中w表示窗口ω_k内像素点总数,μ_k= $\begin{matrix} \frac{1}{|w|} \end{matrix} \begin{matrix} \sum_{i \in ωk} \end{matrix}$ I_i为引导图像I在窗口ω_k中的像素均值, $\begin{matrix} σ_{k}^{2} \end{matrix}$ = $\begin{matrix} \frac{1}{|w|} \end{matrix} \begin{matrix} \sum_{i \in ωk} \end{matrix} \begin{matrix} (I_{i} - μ_{k})^{2} \end{matrix}$ 为引导图像I在窗口ω_k中的像素值方差, $\begin{matrix} {\overset{̅}{p}}_{k} \end{matrix}$ = $\begin{matrix} \frac{1}{|w|} \end{matrix} \begin{matrix} \sum_{i \in ωk} \end{matrix}$ p_i表示输入图像p在窗口ω_k内的像素均值。对于整幅图像,计算出每个包含像素点i的窗口内的q_i值,然后取均值,得出最终的滤波输出图像为

\begin{matrix} q_{i} = \frac{1}{|ω_{k}|} \sum_{i \in ωk} (a_{k} I_{i} + b_{k}) = {\overset{̅}{a}}_{i} I_{i} + {\overset{̅}{b}}_{i} 。 (9) \end{matrix}

3 融合规则

3.1 基于区域拉普拉斯能量和的低频融合规则

多尺度变换域的低频系数中包含有图像的大部分信息和能量,因此,低频系数融合规则的选取不容忽视。拉普拉斯能量和(SML)反映了图像的边缘特征信息,在一定程度上能恰当地反映图像的聚焦度和清晰度^[22]。相对于图像的方差、空间频率以及梯度能量等清晰度评价指标,SML在融合图像时表现出明显的优越性。传统的SML存在如下不足^[23]:1) 未突出区域中心像素的重要性;2) 没有考虑区域邻域像素与中心像素的距离对融合效果的影响;3) 只在水平和垂直方向上计算每个像素点的变步长拉普拉斯能量值(ML),未考虑对角方向^[24]。为此,本文定义一种改进的拉普拉斯能量和(NSML),并据此来选择图像的低频系数,以获得视觉特性更佳、边缘信息更丰富的融合效果。

首先计算水平、垂直和斜对角线共8个方向上每个像素点改进的变步长拉普拉斯能量值(NML),增加了斜对角线上的4个方向,然后引入加权矩阵ω计算区域拉普拉斯能量和,(i,j)像素处改进的拉普拉斯能量值表示为

\begin{matrix} \begin{matrix} E_{NML (i, j)} = \\ |\begin{matrix} 2 C_{k 0} (i, j) - \\ C_{k 0} (i - Δm, j) - C_{k 0} (i + Δm, j) \end{matrix}| + \\ |\begin{matrix} 2 C_{k 0} (i, j) - C_{k 0} (i, j - Δn) - \\ C_{k 0} (i, j + Δn) \end{matrix}| + \\ |\begin{matrix} 2 \sqrt[]{2} C_{k 0} (i, j) - \sqrt[]{2} C_{k 0} (i - Δm, j + Δn) - \\ \sqrt[]{2} C_{k 0} (i + Δm, j - Δn) \end{matrix}| + \\ |\begin{matrix} 2 \sqrt[]{2} C_{k 0} (i, j) - \sqrt[]{2} C_{k 0} (i - Δm, j - Δn) - \\ \sqrt[]{2} C_{k 0} (i + Δm, j + Δn) \end{matrix}|, (10) \end{matrix} \end{matrix}

式中C_k₀(i,j)表示图像位于(i,j)处像素点的低频分解系数,Δm、Δn为窗口内的可变步长,若窗口大小为m×n,则Δm=(m-1)/2,Δn=(n-1)/2。

那么(i,j)像素处改进的拉普拉斯能量和表示为

\begin{matrix} \begin{matrix} E_{NSML (i, j)} = \overset{Δm}{\sum_{- Δm}} \overset{Δn}{\sum_{- Δn}} ω \times \\ E_{NML (i + Δm, j + Δn)}^{2}, (11) \end{matrix} \end{matrix}

式中ω为区域NML加权矩阵,具体取值方法见文献[ 25]。

基于NSML的低频融合算法为

\begin{matrix} F_{k 0} (i, j) = \{\begin{matrix} C_{k 0}^{1} (i, j), E_{NSML 1 (i, j)} \geq E_{NSML 2 (i, j)} \\ C_{k 0}^{2} (i, j), E_{NSML 1 (i, j)} < E_{NSML 2 (i, j)} \end{matrix}, (12) \end{matrix}

式中 $\begin{matrix} C_{k 0}^{1} \end{matrix}$ (i,j)、 $\begin{matrix} C_{k 0}^{2} \end{matrix}$ (i,j)分别为第1、2幅源图像的低频分解系数,E_NSML1(_i_,_j₎、E_NSML2(_i_,_j₎分别为第1、2幅源图像的改进的拉普拉斯能量和,F_k₀为低频融合系数。基于NSML的低频融合算法选取NSML较大者的低频分解系数作为最终的融合图像的低频系数。

3.2 基于引导滤波的区域能量加权高频融合规则

图像的高频系数包含图像的大部分细节特征。准确、有效地提取图像的细节信息,保持图像的边缘清晰,对图像融合效果有着直接影响。在图像融合中,利用基于区域能量的规则选择融合系数能够取得好的融合效果。人类视觉系统对边缘、方向、纹理等比较敏感,基于区域能量的规则可以满足这一要求。因此,本文采用区域能量重构高频系数加权矩阵。但是,图像中的噪声主要集中在高频部分,为了有效地抑制噪声对融合效果的影响,本文应用引导滤波对高频系数加权矩阵进行优化,使得亮度或颜色相近的相邻像素值也具有相近的权重,从而满足空间一致性。具体步骤如下。

1) 计算源图像高频系数的区域能量

\begin{matrix} \begin{matrix} E_{k, l} (i, j) = \overset{Δm}{\sum_{- Δm}} \overset{Δn}{\sum_{- Δn}} ω_{e} \times \\ [C_{k, l} {(i + Δm, j + Δn)]}^{2}, (13) \end{matrix} \end{matrix}

式中(i,j)表示像素点位置,E_k_,_l为k尺度l方向的区域能量,C_k_,_l为源图像k尺度l方向的高频分解系数,ω_e为能量权值矩阵。考虑到中心像素与相邻像素之间的距离,则:

\begin{matrix} ω_{e} = [\begin{matrix} 1 / \sqrt[]{2} & 1 & 1 / \sqrt[]{2} \\ 1 & 1 & 1 \\ 1 / \sqrt[]{2} & 1 & 1 / \sqrt[]{2} \end{matrix}] 。 (14) \end{matrix}

2) 利用区域能量构建高频系数加权映射矩阵。

\begin{matrix} S_{k . l}^{n} = \{\begin{matrix} 1, & if S_{k . l}^{n} = \max (E_{k, l}^{1}, E_{k, l}^{2}, \dots, E_{k, l}^{n}) \\ 0, else \end{matrix}, (15) \end{matrix}

式中 $\begin{matrix} E_{k, l}^{n} \end{matrix}$ 为第n幅图像k尺度l方向的高频分解系数的区域能量矩阵, $\begin{matrix} S_{k . l}^{n} \end{matrix}$ 表示第n幅图像k尺度l方向的加权映射矩阵。

3) 引导滤波优化权重矩阵。

\begin{matrix} G_{k, l}^{n} = G_{r, ε} (S_{k, l}^{n}, C_{k, l}^{n}), (16) \end{matrix}

式中n为待融合图像数;r为窗口半径;ε为正则化参数; $\begin{matrix} S_{k, l}^{n} \end{matrix}$ 为第n幅图像的k尺度l方向的加权映射矩阵,作为引导滤波的输入; $\begin{matrix} C_{k, l}^{n} \end{matrix}$ 为第n幅图像的k尺度l方向的系数矩阵,作为引导滤波的引导图;G_r_,_ε为引导滤波函数。

4) 高频系数重构。

\begin{matrix} F_{k, l} = \overset{N}{\sum_{n = 1}} G_{k, l}^{n} \times C_{k, l}^{n}, (17) \end{matrix}

式中F_k_,_l为k尺度l方向的高频融合系数,N为融合图像总数。

4 融合过程

本文假定所有源图像已严格配准,具体融合过程如下。

1) 利用FFST将源图像分解为低频系数{ $\begin{matrix} C_{k 0}^{1} \end{matrix}$ , $\begin{matrix} C_{k 0}^{2} \end{matrix}$ }和高频系数{ $\begin{matrix} C_{k, l}^{1} \end{matrix}$ , $\begin{matrix} C_{k, l}^{2} \end{matrix}$ }(k>0,l>0),其中,k为分解的尺度,l为分解的方向数;

2) 采用基于区域NSML的低频融合规则进行低频系数融合;

3) 采用基于引导滤波的区域能量加权高频融合规则进行高频系数融合;

4) 将步骤2)和步骤3)中融合后的低频和高频系数通过逆FFST重构得到融合图像。

5 实验结果及分析

为了验证本文算法的有效性和优越性,选取多组严格配准的多聚焦图像为样本,进行两组融合实验。第一组实验为不同变换域融合实验。考虑到图像融合中多尺度变换方法的多样性,针对本文算法,分别基于小波变换、曲波变换、轮廓波变换及FFST进行多尺度变换方法的对比实验,分解层数均为4。第二组实验为不同融合算法的比较实验。将本文算法与其他算法进行对比,并采用主观视觉评价和客观评价指标进行实验结果分析。

5.1 不同变换域融合实验

选取2组多聚焦图像作为测试数据(图1),在不同变换域开展对比仿真实验,高低频系数融合均采用本文所提的融合规则。融合结果如图2所示。

图2(a)、(e)是基于小波变换的融合图像,图像边缘损失严重,图像不够清晰,图2(a)中小钟和大钟周围模糊,图2(e)中字母处有明显的波纹出现;图2(b)、(f)是基于曲波变换的融合图像,图像的总体视觉效果优于小波变换,但仔细观察会发现图中仍然存在边缘效应,还有部分重影;图2(c)、(g)是基于轮廓波变换的融合图像,图2(c)中小钟左边缘和大钟的右边缘失真严重,图2(g)中字母周围有块状效应,图像的对比度低;图2(d)、(h)是基于FFST的融合图像,图像的清晰度和对比度都有很大提高,最大限度地保留了源图像的信息,更加符合人眼视觉特性。

图 1. 多聚焦源图像。(a) Clock;(b) Pepsi

Fig. 1. Source multi-focus images. (a) Clock; (b) Pepsi

下载图片查看所有图片

图 2. 基于Clock图像与Pepsi图像的不同变换域融合效果。(a)(e)小波变换;(b)(f)曲波变换;(c)(g)轮廓波变换;(d)(h) FFST

Fig. 2. Fusion results of Clock and Pepsi images in different transform domains. (a)(e) Wavelet transformation; (b)(f) curvelet transformation; (c)(g) contourlet transformation; (d)(h) FFST

下载图片查看所有图片

表1给出了4种变换域下2组融合图像的客观评价指标,分别为标准差(STD)、平均梯度(AG)、互信息(MI)、边缘保留量(Q^AB/F)。可以看出,基于FFST融合算法的评价指标均高于其他算法,说明基于FFST的融合算法能够有效改善图像质量,信息保持完整,更适用于图像融合。

表 1. 多聚焦图像不同变换域融合评价指标

Table 1. Quantitative evaluation results of multi-focus images in different transform domains

Sourceimage	Transformdomain	STD	AG	MI	Q^AB/F
Clock	Wavelet	41.0103	0.0108	4.6061	0.6519
	Curvelet	41.0179	0.0106	4.8403	0.6519
	Contourlet	41.2009	0.0109	4.5468	0.6529
	FFST	41.3381	0.0112	5.0364	0.6858
Pepsi	Wavelet	45.2530	0.0187	4.7242	0.7521
	Curvelet	45.4064	0.0189	4.8772	0.7676
	Contourlet	45.3819	0.0189	4.6033	0.7510
	FFST	45.5034	0.0191	5.0618	0.7787

查看所有表

5.2 不同融合算法比较实验

图 3. 多聚焦源图像。(a) Clock;(b) Pepsi;(c) camera;(d) peppers

Fig. 3. Source multi-focus images. (a) Clock; (b) Pepsi; (c) camera; (d) peppers

下载图片查看所有图片

选取4组多聚焦图像作为测试数据(图3),将本文算法与其他算法进行对比。对比方法一:复剪切波域基于引导滤波的多聚焦图像融合(CSGF)算法^[26]。首先利用复剪切波对图像进行多尺度分解,然后对分解后的低频系数应用文献[ 17]中提出的基于引导滤波的加权方法进行融合,高频系数应用基于引导滤波的SML取大的方法进行融合。对比方法二:基于区域方差与引导滤波的多聚焦图像融合(VGF)算法^[27]。应用平均滤波器将图像分解为基础层和细节层图像,基础层图像直接采用平均算法进行融合,细节层基于引导滤波的区域方差加权方法进行图像融合。对比方法三:基于NSCT与脉冲耦合神经网络(PCNN)的多聚焦图像融合(NPF)算法^[28]。源图像经NSCT分解后,计算各幅图像分解系数的区域空间频率,将其作为PCNN的输入刺激神经元,产生神经元脉冲,选择点火时间长的系数作为最终的融合系数,通过逆NSCT得到融合图像。

图4显示了被测试的4组多聚集源图像在4种算法下的融合结果。从clock和Pepsi图像的视觉效果来看:图4(a)的图像比较模糊;图4(b)的图像清晰度较图4(a)有所提高,但是图像周围有光晕现象;图4(c)的图像信息比较丰富、轮廓分明,但是细节信息表现得不够突出;图4(d)图像尤为清晰,各部分的对比度明显提高,图像边缘细节信息表现得非常明显,视觉效果更佳。从camera和peppers图像的视觉效果来看:图4(a)的整体视觉效果欠佳,图像边缘有失真现象;图4(b)的图像轮廓有伪影;图4(c)的图像信息量有所增加,轮廓分明,但对比度不高;图4(d)的图像视觉效果符合人眼视觉特性,效果更好。

表2给出了被测试的4组多聚焦图像基于4种算法融合效果的客观评价指标。可以看出,基于本

文算法融合图像的各项指标均优于其他算法,表明本文算法不仅可以提高图像的清晰度、对比度,而且丰富了图像的细节信息,边缘保持效果良好,与主观评价结果一致,进一步验证了本文算法的有效性和可行性。

表 2. 多聚焦图像不同算法融合评价指标

Table 2. Quantitative evaluation results of multi-focus images by using different algorithms

Sourceimage	Algorithm	STD	AG	MI	Q^AB/F
Clock	CSGF	41.0031	0.0112	4.9168	0.6793
	VGF	40.2022	0.0109	4.7413	0.6691
	NPF	40.9361	0.0106	4.9357	0.6326
	Proposed	41.3381	0.0112	5.0364	0.6858
Pepsi	CSGF	45.4730	0.0191	4.8902	0.7664
	VGF	44.7719	0.0190	4.9138	0.7712
	NPF	45.0778	0.0186	4.7035	0.7326
	Proposed	45.5034	0.0191	5.0618	0.7787
Camera	CSGF	61.8578	0.0787	6.8443	0.7452
	VGF	60.5755	0.0744	7.0866	0.7564
	NPF	61.0066	0.0784	6.5726	0.7308
	Proposed	61.9525	0.0789	8.0633	0.7632
Peppers	CSGF	57.1871	0.0216	7.5092	0.6944
	VGF	56.1539	0.0196	7.6146	0.7221
	NPF	57.1635	0.0217	8.8365	0.7144
	Proposed	57.2704	0.0218	8.8667	0.7224

查看所有表

图 4. 不同算法的图像融合结果。(a) CSGF算法;(b) VGF算法;(c) NPF算法;(d)本文算法

Fig. 4. Fusion results of images by using different algorithms. (a) CSGF algorithm;(b) VGF algorithm; (c) NPF algorithm; (d) proposed algorithm

下载图片查看所有图片

6 结论

结合FFST优良的细节表现特性和引导滤波良好的边缘保持性能,提出了一种新的多聚焦图像融合算法,并选取多组严格配准的多聚焦图像为样本进行不同变换域和不同融合算法的对比实验。不同变换域的融合实验证明了基于FFST的图像融合算法优于其他几种融合算法;不同融合算法的仿真实验结果验证了基于FFST与引导滤波的算法融合性能比较优越。从主观视觉效果来看,融合图像不仅细节突出,而且边缘清晰;从客观评价指标来看,各项指标相对其他算法均有所提升,验证了本文算法的有效性和优越性。

参考文献

[1] Zhang B H, Lu X Q, Pei H Q, et al. Multi-focus image fusion based on sparse decomposition and background detection[J]. Digital Signal Processing, 2016, 58: 50-63.

[2] Adu J, Xie S H, Gan J H. Image fusion based on visual salient features and the cross-contrast[J]. Journal of Visual Communication and Image Representation, 2016, 40: 218-224.

[3] 吴一全, 陶飞翔. 改进投影梯度NMF的NSST域多光谱与全色图像融合[J]. 光学学报, 2015, 35(4): 0410005.

Wu Y Q, Tao F X. Multispectral and panchromatic image fusion based on improved projected gradient NMF in NSST domain[J]. Acta Optica Sinica, 2015, 35(4): 0410005.

[4] 张立保, 章珏. 基于显著性分析的自适应遥感图像融合[J]. 中国激光, 2015, 42(1): 0114001.

Zhang L B, Zhang J. A new adaptive fusion method based on saliency analysis for remote sensing images[J]. Chinese J Lasers, 2015, 42(1): 0114001.

[5] 冯鑫, 胡开群. 多尺度域内改进模糊规则的红外与可见光图像融合[J]. 光学精密工程, 2015, 23(10): 623-630.

Feng X, Hu K Q. Fusion of infrared and visible images based on improved fuzzy rules in multi-scale domain[J]. Optics and Precision Engineering, 2015, 23(10): 623-630.

[6] Singh S, Gupta D, Anand R S, et al. Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J]. Biomedical Signal Processing and Control, 2015, 18(1): 91-101.

[7] 金鑫, 聂仁灿, 周冬明, 等. S-PCNN与二维静态小波相结合的遥感图像融合研究[J]. 激光与光电子学进展, 2015, 52(10): 101004.

Jin X, Nie R C, Zhou D M, et al. Remote sensing image fusion algorithm based on S-PCNN and two-dimensional stationary wavelet transform[J]. Laser & Optoelectronics Progress, 2015, 52(10): 101004.

[8] 杨扬, 戴明, 周箩鱼. 基于均匀离散曲波变换的多聚焦图像融合[J]. 红外与激光工程, 2013, 42(9): 2547-2552.

Yang Y, Dai M, Zhou L Y. Uniform discrete curvelet transform for multi-focus image fusion[J]. Infrared and Laser Engineering, 2013, 42(9): 2547-2552.

[9] HuangH, Feng XA, Jiang JH. Medical image fusion algorithm based on nonlinear approximation of contourlet transform and regional features[J]. Journal of Electrical and Computer Engineering, 2017( 7): 1- 9.

[10] Liu X, Zhou Y, Wang J J. Image fusion based on shearlet transform and regional features[J]. International Journal of Electronics and Communications, 2014, 68(6): 471-477.

[11] Song Z Y, Jiang H Y, Li S Q. A novel fusion framework based on adaptive PCNN in NSCT domain for whole-body PET and CT images[J]. Computational and Mathematical Methods in Medicine, 2017, 2017(5): 1-9.

[12] 郑红, 郑晨, 闫秀生, 等. 基于剪切波变换的可见光与红外图像融合算法[J]. 仪器仪表学报, 2012, 33(7): 1613-1619.

Zheng H, Zheng C, Yan X S, et al. Visible and infrared image fusion algorithm based on shearlet transform[J]. Chinese Journal of Scientific Instrument, 2012, 33(7): 1613-1619.

[13] 王朝晖, 王佳琪, 赵德功, 等. 基于Shearlet与改进PCNN的图像融合[J]. 激光与红外, 2012, 42(2): 213-216.

Wang Z H, Wang J Q, Zhao D G, et al. Image fusion based on Shearlet and improved PCNN[J]. Laser & Infrared, 2012, 42(2): 213-216.

[14] HäuserS, Steidl G. Fast finite shearlet transform[J]. arXiv preprint arXiv: 1202, 1773, 2012.

[15] Gedik N. A new feature extraction method based on multi-resolution representations of mammograms[J]. Applied Soft Computing, 2016, 44: 128-133.

[16] Gan W, Wu X H, Wu W, et al. Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter[J]. Infrared Physics & Technology, 2015, 72: 37-51.

[17] Li S T, Kang X D, Hu J W. Image fusion with guided filtering[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2864-2875.

[18] 杨航, 吴笑天, 贺柏根, 等. 基于多尺度导引滤波的图像融合方法[J]. 光电子·激光, 2015, 26(1): 170-176.

Yang H, Wu X T, He B G, et al. Image fusion based on multiscale guided filters[J]. Journal of Optoelectronics·Laser, 2015, 26(1): 170-176.

[19] 周岩, 周苑, 王旭辉. 基于有限离散剪切波变换的灰度图像融合[J]. 计算机工程, 2016, 42(12): 222-227.

Zhou Y, Zhou Y, Wang X H. Grayscale image fusion based on finite discrete shearlet transform[J]. Computer Engineering, 2016, 42(12): 222-227.

[20] 陈清江, 魏冰蔗, 柴昱洲, 等. 基于FFST和方向特性对比度的图像融合算法[J]. 激光与红外, 2016, 46(7): 890-895.

Chen Q J, Wei B Z, Chai Y Z, et al. Fusion algorithm based on FFST and directional characteristics contrast[J]. Laser & Infrared, 2016, 46(7): 890-895.

[21] Rama H, Velagapudi H. Guided filter for image enhancement by using the contourlet transform[J]. International Journal of Scientific Engineering and Technology Research, 2015, 4(38): 8348-8353.

[22] 孙晓龙, 王正勇, 符耀庆, 等. 基于改进拉普拉斯能量和的快速图像融合[J]. 计算机工程与应用, 2015, 51(5): 193-197.

Sun X L, Wang Z Y, Fu Y Q, et al. Fast image fusion based on sum of modified Laplacian[J]. Computer Engineering and Applications, 2015, 51(5): 193-197.

[23] 屈小波, 闫敬文, 杨贵德. 改进拉普拉斯能量和的尖锐频率局部化Contourlet域多聚焦图像融合方法[J]. 光学精密工程, 2009, 17(5): 1203-1212.

Qu X B, Yan J W, Yang G D. Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian[J]. Optics and Precision Engineering, 2009, 17(5): 1203-1212.

[24] 江平, 张强, 李静, 等. 基于NSST和自适应PCNN的图像融合算法[J]. 激光与红外, 2014, 44(1): 108-113.

Jiang P, Zhang Q, Li J, et al. Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN[J]. Lase & Infrared, 2014, 44(1): 108-113.

[25] 胡钢, 吉晓民, 刘哲, 等. 结合区域特性和非子采样SPT的图像融合方法[J]. 计算机辅助设计与图形学学报, 2012, 24(5): 636-648.

Hu G, Ji X M, Liu Z, et al. Regional feature self-adaptive image fusion method based on nonsubsampled steerable pyramid transform[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(5): 636-648.

[26] Liu S Q, Shi M Z, Zhu Z H, et al. Image fusion based on complex-shearlet domain with guided filtering[J]. Multidimensional Systems and Signal Processing, 2017, 28(1): 207-224.

[27] Jameel A, Ghafoor A, Riaz M M. All in focus fusion using guided filter[J]. Multidimensional Systems and Signal Processing, 2015, 26(3): 879-889.

[28] Qu X B, Yan J W, Xiao H Z, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]. Acta Automatica Sinica, 2008, 34(12): 1508-1514.

3.1 基于区域拉普拉斯能量和的低频融合规则

3.2 基于引导滤波的区域能量加权高频融合规则

朱达荣, 许露, 汪方斌, 刘涛, 储朱涛. 基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法[J]. 激光与光电子学进展, 2018, 55(1): 011001. Zhu Darong, Xu Lu, Wang Fangbin, Liu Tao, Chu Zhutao. Multi-Focus Image Fusion Algorithm Based on Fast Finite Shearlet Transform and Guided Filter[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011001.

基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法下载： 1413次

1 引言

2 相关理论

2.1 FFST

2.2 引导滤波

3 融合规则

3.1 基于区域拉普拉斯能量和的低频融合规则

3.2 基于引导滤波的区域能量加权高频融合规则

4 融合过程

5 实验结果及分析

5.1 不同变换域融合实验

图 1. 多聚焦源图像。(a) Clock;(b) Pepsi

Fig. 1. Source multi-focus images. (a) Clock; (b) Pepsi

图 2. 基于Clock图像与Pepsi图像的不同变换域融合效果。(a)(e)小波变换;(b)(f)曲波变换;(c)(g)轮廓波变换;(d)(h) FFST

Fig. 2. Fusion results of Clock and Pepsi images in different transform domains. (a)(e) Wavelet transformation; (b)(f) curvelet transformation; (c)(g) contourlet transformation; (d)(h) FFST

表 1. 多聚焦图像不同变换域融合评价指标

Table 1. Quantitative evaluation results of multi-focus images in different transform domains

5.2 不同融合算法比较实验

图 3. 多聚焦源图像。(a) Clock;(b) Pepsi;(c) camera;(d) peppers

Fig. 3. Source multi-focus images. (a) Clock; (b) Pepsi; (c) camera; (d) peppers

表 2. 多聚焦图像不同算法融合评价指标

Table 2. Quantitative evaluation results of multi-focus images by using different algorithms

图 4. 不同算法的图像融合结果。(a) CSGF算法;(b) VGF算法;(c) NPF算法;(d)本文算法

Fig. 4. Fusion results of images by using different algorithms. (a) CSGF algorithm;(b) VGF algorithm; (c) NPF algorithm; (d) proposed algorithm

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法 下载： 1413次

1 引言

2 相关理论

2.1 FFST

2.2 引导滤波

3 融合规则

3.1 基于区域拉普拉斯能量和的低频融合规则

3.2 基于引导滤波的区域能量加权高频融合规则

4 融合过程

5 实验结果及分析

5.1 不同变换域融合实验

图 1. 多聚焦源图像。(a) Clock;(b) Pepsi

Fig. 1. Source multi-focus images. (a) Clock; (b) Pepsi

图 2. 基于Clock图像与Pepsi图像的不同变换域融合效果。(a)(e)小波变换;(b)(f)曲波变换;(c)(g)轮廓波变换;(d)(h) FFST

Fig. 2. Fusion results of Clock and Pepsi images in different transform domains. (a)(e) Wavelet transformation; (b)(f) curvelet transformation; (c)(g) contourlet transformation; (d)(h) FFST

表 1. 多聚焦图像不同变换域融合评价指标

Table 1. Quantitative evaluation results of multi-focus images in different transform domains

5.2 不同融合算法比较实验

图 3. 多聚焦源图像。(a) Clock;(b) Pepsi;(c) camera;(d) peppers

Fig. 3. Source multi-focus images. (a) Clock; (b) Pepsi; (c) camera; (d) peppers

表 2. 多聚焦图像不同算法融合评价指标

Table 2. Quantitative evaluation results of multi-focus images by using different algorithms

图 4. 不同算法的图像融合结果。(a) CSGF算法;(b) VGF算法;(c) NPF算法;(d)本文算法

Fig. 4. Fusion results of images by using different algorithms. (a) CSGF algorithm;(b) VGF algorithm; (c) NPF algorithm; (d) proposed algorithm

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法下载： 1413次