结合滤波算子与双尺度分解的多聚焦图像融合

田帅; 任亚飞; 邵馨叶; 邵建龙

doi:doi:10.3788/LOP202158.0610010

激光与光电子学进展, 2021, 58 (6): 0610010, 网络出版: 2021-03-16

结合滤波算子与双尺度分解的多聚焦图像融合下载： 645次

Multi-Focus Image Fusion with Filter Operator and Double Scale Decomposition

论文大纲

田帅 ¹任亚飞 ¹邵馨叶 ^1,2邵建龙 ^1,*

作者单位

¹ 昆明理工大学信息工程与自动化学院, 云南昆明 650500

² 佛罗里达理工学院科学与工程学院, 美国佛罗里达墨尔本 32901

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对多聚焦图像融合过程中,如何准确地检测聚焦区域以及克服检测过程中存在的配准错误和噪声敏感问题,提出一种结合滤波算子与双尺度分解的多聚焦图像融合算法。首先,对源图像进行高斯拉普拉斯滤波处理,并将获得的滤波图像与源图像作差分运算,分离出多源聚焦图像的高频信息;然后,利用基于结构的双尺度焦点度量方法对多源图像的边缘与局部高频信息进行分解处理,生成含有边缘互补信息的初始决策图;最后, 采用基于一致性检验方法对得到的初始决策图进行分步细化处理,生成融合决策图,并按照逐像素加权平均规则获得融合图像。实验结果表明,与其他聚焦策略相比,该聚焦区域检测方法对不同噪声具有更高的鲁棒性和更强的聚焦区域识别能力, 处理时间小于0.5 s。

Abstract

Aiming at the problem of how to accurately detect the focusing region and how to overcome the registration error and noise sensitivity in the process of multi-focus image fusion, a multi-focus image fusion algorithm based on filter operator and double-scale decomposition is proposed. First, the algorithm performs Gaussian-Laplace filtering on the source image, and performs difference operation between the filtered image and the source image to separate out the high frequency information of the multi-source focused image. Then, an initial decision graph with complementary edge information is generated after decomposing the multi-source image edge and local high frequency information by the structure-based double scale focus measurement method. Finally, the initial decision graph is refined step by step based on the consistency test method to generate the fused decision graph, and the fused image is obtained according to the per-pixel weighted average rule. The experimental results show that, compared with other focusing strategies, this focusing region detection method has higher robustness and better recognition ability for different noises, and the processing time is less than 0.5 s.

1 引言

在数字摄影中,由于成像传感器所具有的局限性,光学镜头只能捕获到聚焦在局部场景中的图像,这也就意味着特定场景中的有效信息获取受限。为了解决常规图像采集传感器中光学镜头景深限制的问题,研究工作者们已经基于多焦点图像融合技术提出了众多可用于多焦点图像融合的算法,并且在计算机视觉和无人驾驶等^[1-2]新兴科研领域发挥着重要的作用。围绕图像融合,现有的融合方法按处理方式的不同可分为两类:基于变换域和空间域的方法^[3]。其中,基于变换域的方法,一般是按照分解、融合和重建这三个步骤,通过改变图像相关系数来实现图像的融合。在这种框架下,多位学者提出了一系列融合方法,主要包括小波变换、金字塔变换、剪切波(NSCT)和轮廓波(NSST)的方法^[4-7],以及有别于传统方法的基于稀疏表示(SR)^[8]、主成分分析(PCA)^[9]和脉冲耦合神经网络(PCNN)的方法^[10-11]。虽然上述方法均可以产生较好的融合图像,但是在融合过程中并未充分考虑待融合图像在处理过程中可能出现的空间一致性问题,这使得融合图像会丢失一部分空间信息,并产生不同程度的失真。相较于变换域的方法,基于空间域的方法一般采用基于像素、块或区域处理的方法,直接输出对应像素的强度值,实现起来相对简单,并且可以保留大量的空间信息。传统方法主要包括基于方差、拉普拉斯能量(SML)^[12]和空间频率(SF)的方法^[13],但是在使用上述方法对源图像进行预处理时,由于对源图像中的噪声比较敏感,所以融合性能受到影响。而在过去的几年中,虽然也提出了基于多尺度形态学(MSM)^[14]、梯度信息的加权^[15]、边界提取^[16]以及卷积神经网络(CNN)的方法^[17-18],而且均取得了较好的融合效果,但是这些方法还是在对噪声的鲁棒性方面表现不佳;并且在提出的方法中,如基于卷积神经网络(CNN)的方法,良好的融合效果是以消耗大量的计算资源和时间成本来实现的,对计算机设备的硬件要求过高。

因此,针对上述问题,本文主要开展了以下相关研究工作: 1) 提出了一种基于滤波算子与双尺度混合的多聚焦图像融合算法; 2) 提出了一种新颖的基于高斯拉普拉斯算子(Log)滤波和双尺度分解的聚焦区域检测的方法; 3)提出的聚焦区域检测方法具有很强的抗噪声能力; 4)经过大量实验证明,本文算法在彩色和灰度图像上均有较好的表现,并且可以快速且高效地实现。

2 提出的方法

本研究将基于Log滤波器和双尺度分解的聚焦区域检测方法用于多焦点图像融合(LDMF),其原理如图1所示,其中⊕为相加操作,-为相减操作。从图1可以看出,融合过程分为三个步骤: 聚焦区域检测、空间一致性验证和像素级融合,其中提出的聚焦区域检测方法为本文算法的主要创新部分。

图 1. 融合算法流程图

Fig. 1. Flow chart of fusion algorithm

下载图片查看所有图片

2.1 聚焦区域检测

多焦点图像的检测,主要是基于聚焦区域的高频信息比散焦区域多这一特点来实现^[19]。本节提出一种基于Log滤波和双尺度分解的新型聚焦区域检测方法,该方法主要包括对源图像的预处理和对差分图像的二次双尺度分解两部分。

2.1.1 图像的预处理

对比分析常见的经典滤波器的性能和时间成本后,本研究最终选择既可实现去噪又可达到较好边缘检测效果的Log滤波器,用来实现对源图像的预处理。该阶段主要包括去噪、边缘检测和边缘增强^[20-21]三个步骤。首先是对源图像进行去噪处理,处理公式为

\nabla^{2} f (i, j) = \frac{\partial^{2} f (i, j)}{\partial x^{2}} + \frac{\partial^{2} f (i, j)}{\partial y^{2}}, (1)

式中:f(i,j)为输入图像对应的二维函数;(i,j)为图像中的像素;x为x方向;y为y方向。当输入图像为彩色图像时,需要将其转换成灰度图像。

由于拉普拉斯算子对噪声敏感,为了尽可能减少噪声带来的影响,先对源图像进行平滑滤波处理,再由拉普拉斯算子实现图像的边缘检测和增强,对应的方程式为

\nabla^{2} (G_{σ} (i, j) * f (i, j)) = (\nabla^{2} G_{σ} (i, j)) * f (i, j), (2)

式中:G_σ(i,j)为二维的高斯分布函数;σ为比例参数,σ值越小,平滑功能越集中,作用范围就越小,本研究默认σ=0.5。Log滤波器 $\nabla^{2}$ G_σ(i,j)的表达式为

\nabla^{2} G_{σ} (i, j) = - \frac{1}{π σ^{4}} (1 - \frac{i^{2} + j^{2}}{2 σ^{2}}) \exp (- \frac{i^{2} + j^{2}}{2 σ^{2}}) 。 (3)

为了得到最佳的平滑效果,使用在空域和频域都有良好性能的二维高斯滤波器,其在空间域中的表达式为

G_{σ} (i, j) = \frac{1}{2 π σ^{2}} \exp (- \frac{i^{2} + j^{2}}{2 σ^{2}}) 。 (4)

与源图像相比, Log滤波图像虽然已经将聚焦与散焦区域的边界信息粗略地分离出来,但是为了能得到更多有效的高频信息,本研究采用源图像与滤波图像进行绝对值差分计算,实现了高频信息的提取,表达式为

\begin{array}{l} S_{1} (i, j) = |I_{1} (i, j) - Lo G_{1} (i, j)|, (5) \\ S_{2} (i, j) = |I_{2} (i, j) - Lo G_{2} (i, j)|, (6) \end{array}

式中: $|\cdot|$ 为绝对值运算;LoG(·)为对数滤波函数。预处理后的图像如图2所示。

图 2. 预处理后的图像。(a)滤波后的图像;(b)滤波图像的二值图像;(c)差分图像

Fig. 2. Images after pretreatment. (a) Filtered images; (b) binary images of filtered image; (c) differential images

下载图片查看所有图片

2.1.2 双尺度分解

对于双尺度分解,差分图像的显著聚焦区域可表示为

M_{s} (i, j) = \{\begin{array}{l} 1, Q_{σ}^{s} (i, j) > \max_{n, n \neq 1} \{Q_{σ}^{n} (i, j)\} + τ \\ 0, otherwise \end{array}, (7)

式中:s为待处理的差分图像;τ=0.0001为设定的阈值,表示平滑区域的焦点值;n=2,3,…;Q为像素值。通常聚焦度量的尺度会对聚焦结果产生一定的影响,并且仅采用单个尺度进行度量是无法正确识别出所有聚焦区域的^[22]。因此,本研究通过利用一种可靠性更强的度量方法,仅使用两个尺度就可以获得一个很好的聚焦图。借助文献[ 21]基于结构的焦点度量方法生成初始焦点图,再根据图像结构的显著性特点,利用梯度协方差矩阵来实现图像的聚焦测量^[23]。对于图像S(i,j),其对应T=(i,j)处的梯度协方差矩阵可定义为

\begin{array}{l} C (T) = \\ [\begin{array}{l} \sum_{T' \in w} M_{i}^{2} (T') & \sum_{T' \in w} M_{i}^{2} (T') S_{j} (T') \\ \sum_{T' \in w} M_{i} (T') S_{j} (T') & \sum_{T' \in w} M_{j}^{2} (T') \end{array}], (8) \end{array}

式中:w为一个以T为中心的局部正方形窗口;T'为T的一阶偏导数。对 (8) 式使用高斯滤波器进行扩展得到多尺度表示,即

C_{λ} = [\begin{array}{l} M_{i}^{2} * G_{λ} & (M_{i} M_{j}) * G_{λ} \\ (M_{i} M_{j}) * G_{λ} & M_{j}^{2} * G_{λ} \end{array}], (9)

式中:*为卷积运算符;G_λ为高斯滤波矩阵,λ为标准差。为了得到局部的图像结构特征,对G_λ进行特征值分解变换,表达式为

C_{λ} = V [\begin{array}{l} D_{1}^{2} & 0 \\ 0 & D_{2}^{2} \end{array}] V^{T}, (10)

式中:D₁和D₂为矩阵G_λ的特征值,V为正交矩阵。最后,基于结构的焦点度量可定义为

Q = \sqrt[]{(D_{1} + D_{2})^{2} + 0.5 (D_{1} - D_{2})^{2}} 。 (11)

但是在实验过程中可以发现,双尺度分解后的图像在边缘和黑白像素区域上有着明显的区别,如图3所示。从小尺度聚焦图来看,黑色背景像素中包含了一些小的白色像素点,而白色背景像素中包含了一些小的黑色像素点; 从大尺度聚焦图来看,虽然可以准确地分离这些黑白像素,但是其边界处理的效果没有小尺度聚焦图准确。因此,为了将图中误识别的小像素区分开,在获取局部的图像结构特征时,通过设置标准差λ值的大小生成了一个小尺度的聚焦图(λ_s=3)和一个大尺度的聚焦图(λ_l=8),并按照自定义权重进行线性混合,得到初始决策图,表达式为

F_{ID} (i, j) = ρ M_{1} (i, j) + (1 - ρ) M_{2} (i, j), (12)

式中:ρ为权重值,0.5<ρ<1,目的是更好地保留小尺度聚焦图的边缘信息。

图 3. 双尺度分解与混合。 (a)(b)源图像;(c)小尺度聚焦图;(d)大尺度聚焦图;(e)初始决策图

Fig. 3. Double scale decomposition and mixing. (a)(b) Source image; (c) small-scale focusing diagram; (d) large-scale focusing diagram; (e) initial decision diagram

下载图片查看所有图片

2.2 空间一致性验证

从图3可以看出,初始决策图中仍存在着一些误分类的像素。因此,为了解决这样的问题,借助一致性检验方法^[17,24-25]在去除小区域和处理边缘细节方面的优势,将其引入本节算法中,并通过改变一致性检验方法中使用的引导滤波器的本地窗口半径r来获得最佳的处理结果。如图4所示,r的阈值设为0.01。

图 4. 不同r值处理的结果

Fig. 4. Results of different r values processing

下载图片查看所有图片

在实验中可以发现,若直接将经过小区域去除策略处理后的二值分割图作为最终决策图,并将其与源图像进行融合,聚焦区域和散焦区域的边界附近会存在一些影响融合图像质量的伪像。因此,借助引导滤波器^[24,26]进一步将二值分割图细化处理。作为一种边缘保留滤波器,引导滤波器可以将引导图像的结构信息转换为输入图像的滤波结果,其中,将源图像用作引导图像,引导细化决策图滤波,表达式为

F_{FD} (i, j) = F_{G}^{r, ε} [(I_{1} (i, j), I_{2} (i, j)), F_{RD} (i, j)], (13)

式中:F_FD为最终融合决策图; ${F^{r, ε}}_{G}$ 将源图像用作引导图像引导细化决策图进行滤波处理,即引导滤波处理,ε为正则化因子;I₁为左聚焦源图像;I₂为右聚焦源图像,F_RD为细化决策图。

在引导滤波器的设计过程中需要设置两个自由参数: 局部窗口半径r和正则化因子ε,其对融合结果的影响在实验分析部分给出了量化的比较结果。图5为细化决策图的滤波效果。

图 5. 引导滤波与融合的结果。(a)细化决策图;(b)细化后融合图;(c)最终决策图;(d) 融合结果

Fig. 5. Results of guided filtering and fusion. (a) Refined decision graph; (b) refined fusion graph; (c) final decision graph; (d) fusion result

下载图片查看所有图片

2.3 像素级融合

将融合决策图与源图像按照逐像素加权平均规则进行融合,结果可表示为

\begin{array}{l} F (i, j) = F_{FD} (i, j) I_{1} (i, j) + \\ (1 - F_{FD} (i, j)) I_{2} (i, j) 。 (14) \end{array}

3 实验结果与分析

3.1 实验对象设定

为了评估本文算法的性能,将公共数据集^[17,25]中的40对多焦点图像用作测试图像。其中,有27组为彩色图像,其余13组为灰度图像,图6为一部分灰度图像和彩色图像。将提出的方法与7种具有代表性的方法进行比较,分别是文献[ 7,15,17,24-27]中的方法。

图 6. 实验中使用的部分公共数据集图像

Fig. 6. Images of part of common dataset used in experiment

下载图片查看所有图片

3.2 主观定性评估

3.2.1 基于聚焦区域检测的方法

将两组灰度图像和两组彩色图像作为测试图像,用以比较下列6种融合算法的性能,结果如图7所示。从图7可以看出,MWGF方法虽然可以准确地分离出聚焦区与散焦区,但是其边缘信息的处理却较为粗糙,这样会导致融合图像的交界出现一些阴影;而基于文献[ 24]、CNN、文献[ 27]和GFDF的方法在散焦和聚焦区域的识别上存在偏差,造成这种结果的原因主要是此类算法对图像中的高频信息更加敏感,使得算法在实现散焦区与聚焦区的分离时,更容易将散焦区里的高频信息误识别成聚焦区内的高频像素,进而导致散焦区对应的融合图像的局部区域不能很好聚焦,同时,与MWGF方法一样,图像边缘信息的处理也较为粗糙,边缘轮廓不清晰以及边缘附近存在大小不一的像素区。相较之下,本文算法不仅能够准确地区分聚焦区域与散焦区域,而且对边缘信息的处理也更加光滑准确,边缘轮廓也更加清晰。

图 7. 不同检测方法所得的决策图和融合结果。(a) I1;(b) MWGF;(c) Ref. [24];(d) CNN;(e) Ref. [27];(f) GFDF;(g)本文算法

Fig. 7. Decision graphs and fusion results obtained by different detection methods. (a) I1; (b) MWGF; (c) Ref. [24]; (d) CNN; (e) Ref. [27]; (f) GFDF; (g) proposed algorithm

下载图片查看所有图片

3.2.2 其他方法

为了进一步验证除上述基于聚焦区域检测的其他两种算法,本节提供了图8中每个融合图像与任一相同的源图像之间的白化残影图,如图9所示。由图9可知,基于MGFF方法在4种方法中融合效果最差,因为不论输入对象是灰度图像,还是彩色图像,在残影图像中的聚焦区与散焦区都留存了图像所含的高频信息;而基于NSCT_SR的方法虽然相较于MGFF的方法表现得更好一些,但是同样保留了部分高频信息,而这些留存下来的高频信息对融合图像的直接影响就是使对应的区域内不能很好地实现聚焦。相比之下,从残影图中留存的高频信息可以直观地看出,本文算法具有比MWGF和NSCT_SR这两种方法更好的视觉效果,在融合区域存留的残影信息是最少的,而且对于源图像保留下来的有效信息的边缘也表现得更加清晰。

图 8. 不同算法得出的融合图像与I1之间的残影图。(a1)(a2) I1;(b1)(b2) NSCT_SR;(c1)(c2) MGFF;(d1)(d2)本文算法

Fig. 8. Residual images between I1 and fused image obtained by different algorithms. (a1)(a2) I1; (b1)(b2) NSCT_SR; (c1)(c2) MGFF; (d1)(d2) proposed algorithm

下载图片查看所有图片

图 9. 本文算法得出的融合图像与某一聚焦图像之间的残影图

Fig. 9. Residual images between focused image and fused image obtained by proposed algorithm

下载图片查看所有图片

3.3 客观定量评估

在实验中,通过利用多个评估指标来客观地评价融合图像的性能,分别是基于信息论的评估指标(标准化互信息 ${Q_{MI}}^{[28]}$ 和非线性相关信息熵 ${Q_{NCIE}}^{[29]}$ )、基于图像特征的评估指标Q_M(Xydeas 等^[30]提出的使用二级Haar小波的方法进行度量);基于结构相似性的评估指标Q_Y(Ho等^[31]提出的另一种使用SSIM进行融合评估的方法),以及基于人类视觉激发的指标Q_CB(使用Qu等^[32]提出的方法来实现融合图像质量的度量)。

3.3.1 定量评估质量指标

为了能够客观地评价提出的算法与其他算法之间的性能,分别对灰度(13对)和彩色(27对)图像进行验证。并使用上述5个评估指标的平均值作为评估标准,在这些指标中,数值越大表示对应算法的性能在实验中表现得越好,最大值已加粗,分析结果如表1和表2所示,其中表1括号内的十进制数为对应方法的最大评价值在27对图像中所占的对数,表2括号内的十进制数为对应方法的最大评价值在13对图像中所占的对数。

表 1. 27组彩色图像的综合评估结果

Table 1. Comprehensive evaluation results of 27 groups of color images

Algorithm	Q_MI	Q_NCIE	Q_M	Q_Y	Q_CB
MWGF	1.0090(2)	0.8347(3)	1.8367(2)	0.9630(5)	0.7787(0)
NSCT_SR	0.8576(0)	0.8262(0)	1.3697(0)	0.9384(0)	0.7344(0)
CNN	1.0276(2)	0.8355(2)	1.8118(0)	0.9634(1)	0.7874(2)
Ref. [24]	1.0317(1)	0.8359(1)	1.8422(0)	0.9629(6)	0.7885(1)
MGFF	0.7355(1)	0.8207(1)	0.5553(1)	0.8639(0)	0.6566(0)
GFDF	1.0348(4)	0.8359(4)	1.8777(7)	0.9633(4)	0.7901(12)
Ref. [27]	1.0348(8)	0.8360(7)	1.8801(5)	0.9649(8)	0.7896(5)
Proposed algorithm	1.0358(9)	0.8361(9)	1.8829(12)	0.9651(3)	0.7893(7)

查看所有表

表 2. 13组灰度图像的综合评估结果

Table 2. Comprehensive evaluation results of 13 gray scale images

Algorithm	Q_MI	Q_NCIE	Q_M	Q_Y	Q_CB
MWGF	0.9479(2)	0.8273(2)	1.1900(1)	0.8632(3)	0.7245(2)
NSCT_SR	0.8661(0)	0.8240(0)	1.0160(0)	0.8361(0)	0.6951(0)
CNN	1.0297(5)	0.8281(6)	1.4856(2)	0.8949(4)	0.7336(2)
Ref. [24]	0.9567(2)	0.8276(2)	1.1898(0)	0.8611(0)	0.7260(0)
MGFF	0.7616(0)	0.8204(0)	0.5516(0)	0.7622(0)	0.6225(0)
GFDF	0.9565(1)	0.8275(1)	1.1998(1)	0.8643(1)	0.7298(4)
Ref. [27]	0.9617(1)	0.8277(0)	1.2212(4)	0.8637(2)	0.7308(3)
Proposed algorithm	0.9667(2)	0.8321(2)	1.2220(5)	0.8740(3)	0.7552(2)

查看所有表

从表1和表2可以看出,将提出的算法应用于灰度和彩色图像时,8种融合方法按照评估质量可分为三个等级。第一等级,基于NSCT_SR的方法在所有算法中最大平均度量值的所占权重最小,这表明与空间域方法相比,基于变换域方法产生的融合图像会丢失更多的有效信息。第二等级,对于MWGF,文献[ 24]和MGFF三种方法,前两种方法在灰度和彩色图像中都优于第三种方法,并且在灰度图像中基于MGFF的方法,其指标度量值处于第一等级,但是在彩色图像中却可以归为第二等级。第三等级,对于CNN,GFDF,文献[ 27]和本文算法,该4种算法均优于第一等级和第二等级的算法,其中当测试对象为彩色时,本文算法的各项融合度量值除Q_CB低于GFDF外,其余均优于其他算法;而当测试对象为灰度图像时,相较于表现最佳的CNN方法,提出的算法在Q_NCIE和Q_CB两项指标上较高,这表明本文算法可以产生更好的视觉效果。综上述分析,相比于其他方法,本文算法可以体现出较好的性能。

3.3.2 实验参数分析

为了验证提出算法中使用的三个重要参数对融合图像质量的影响,通过设置一组测试图像,在5个客观指标上进行量化对比,三个参数分别为Log滤波器的模板尺寸w、引导滤波器设置的本地窗口半径r和正则化因子ε。首先,设置r为5,ε为0.1,w为自变量,w对融合指标的影响如图10所示。从量化的折线图来看,随着w值的增加,用于测评的5项指标在最初突变之后均保持相对稳定,并且在测试过程中发现,当w值大于等于5且为奇数时,融合图像在主观视觉上没有明显变化。然后,设置w为5,ε为0.1,r为自变量,分析其对融合质量指标的影响,r对融合指标的影响如图11所示。从图11中可以看出,用于测评的5个指标中除Q_NCIE,Q_Y随r值的增加保持相对稳定外,其余三个指标均随r值的增加而明显降低,同时,在测试过程中可以发现,当r值大于7时,融合图像对引导滤波在边缘处理方面的优势太过依赖,虽然主观视觉上看不出明显变化,但是客观评价指标却呈降低趋势。最后,设置w为5,r为5,ε为自变量,在这里,设置ε呈指数增长,ε对融合指标的影响如图12所示。从量化的折线图可以看出,随着ε值的增加,用于测评的5个指标基本上没有产生相应的变化。因此,根据以上分析,本文算法中使用的三个指标w、r和ε分别设置为5、5和0.1。

图 10. w对融合指标的影响

Fig. 10. Influence of w on fusion index

下载图片查看所有图片

图 11. r对融合指标的影响

Fig. 11. Influence of r on fusion index

下载图片查看所有图片

图 12. ε对融合指标的影响

Fig. 12. Influence of ε on fusion index

下载图片查看所有图片

3.3.3 时间成本

本节主要是在各种算法之间给出相应的计算效率,比较不同方法在时间成本上的差异。所有用于比对的算法都已在同一台配置了AMD处理器(AMD Ryzen 5 2600 Six-Core Processer 3.40 GHz)和8 GB内存的计算机上运行,并依靠MATLAB(2014a)实现。通过在灰度与彩色图像上计算出不同方法的平均时间,具体数据如表3所示,其中最佳时间已加粗,灰度图像中不同尺寸的图像各选择4张。

表 3. 不同方法计算后的平均时间

Table 3. Average time calculated by different algorithms unit: s

Image type(number)	Image size/(pixel×pixel)	MWGF	NSCT_SR	Ref. [24]	CNN	MGFF	GFDF	Ref. [27]	Proposedalgorithm
Gray(8)	512×512640×480	4.20	159.48	4.17	154.09	0.80	0.48	2.13	0.37
Color(15)	520×520	9.83	166.14	3.85	131.22	2.21	0.46	2.01	0.49

查看所有表

从表3可以看出,本文算法在整体上的计算效率是最高的,处理时间为0.5 s,花费时间最少。

4 结论

根据聚焦区域检测方法在多焦点图像融合上的优势,提出一种新的基于Log滤波与双尺度分解的焦点区域检测方法。该方法利用不同尺度分析方法的互补特性,在对图像进行双尺度分解的基础上,借助基于结构的焦点度量方法实现对聚焦区与散焦区内高频信息的分离。对于分离的高频信息中包含的误识别高频像素,则采用简单的加权混合和小区域去除策略,进一步实现聚焦区域与散焦区域的分离与优化。实验结果表明,从检测聚焦区域的效果来看,提出的算法在图像边缘处理与高频像素的分离上表现更加出色,并且基于该方法生成的融合决策图在用于与源图像融合时,主观与客观指标上也都表现出较好的融合结果,同时,算法的运行效率也有所提高。

参考文献

[1] Li H F, Li X S, Yu Z T, et al. Multifocus image fusion by combining with mixed-order structure tensors and multiscale neighborhood[J]. Information Sciences, 2016, 349/350: 25-49.

[2] Yuan J, Chen H, Sun F C, et al. Multisensor information fusion for people tracking with a mobile robot: a particle filtering approach[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(9): 2427-2442.

[3] TaniaS. Image fusion: algorithms and applications [M]. Amsterdam: Academic Press, 2008.

[4] ZhangQ, Guo BL. Research on image fusion based on the nonsubsampled contourlet transform[C]∥2007 IEEE International Conference on Control and Automation, May 30-June 1, 2007, Guangzhou, China. New York: IEEE, 2007: 3239- 3243.

[5] Yang Y, Tong S, Huang S Y, et al. Multifocus image fusion based on NSCT and focused area detection[J]. IEEE Sensors Journal, 2015, 15(5): 2824-2838.

[6] Lv D L, Jia Z H, Yang J, et al. Remote sensing image enhancement based on the combination of nonsubsampled shearlet transform and guided filtering[J]. Optical Engineering, 2016, 55(10): 103104.

[7] Liu S Q, Zhu Z H, Li H Y, et al. Multi-focus image fusion using self-similarity and depth information in nonsubsampled shearlet transform domain[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2016, 9(1): 347-360.

[8] Zhang Q, Liu Y, Blum R S, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]. Information Fusion, 2018, 40: 57-75.

[9] Wan T, Zhu C C, Qin Z C. Multifocus image fusion based on robust principal component analysis[J]. Pattern Recognition Letters, 2013, 34(9): 1001-1008.

[10] 周哓玲, 江泽涛. 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J]. 光学学报, 2019, 39(11): 1110003.

Zhou X L, Jiang Z T. Infrared and visible image fusion combining pulse-coupled neural network and guided filtering[J]. Acta Optica Sinica, 2019, 39(11): 1110003.

[11] 王建, 吴锡生. 基于改进的引导滤波和双通道脉冲耦合神经网络的医学图像融合[J]. 激光与光电子学进展, 2019, 56(15): 151004.

Wang J, Wu X S. Medical image fusion based on improved guided filtering and dual-channel pulse coupled neural networks[J]. Laser & Optoelectronics Progress, 2019, 56(15): 151004.

[12] Huang W, Jing Z L. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters, 2007, 28(4): 493-500.

[13] Li S T, Kwok J T, Wang Y N. Combination of images with diverse focuses using the spatial frequency[J]. Information Fusion, 2001, 2(3): 169-176.

[14] Zhang Y, Bai X Z, Wang T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. Information Fusion, 2017, 35: 81-101.

[15] Bai X Z, Zhang Y, Zhou F G, et al. Quadtree-based multi-focus image fusion using a weighted focus-measure[J]. Information Fusion, 2015, 22: 105-118.

[16] Bai X Z, Liu M M, Chen Z G, et al. Multi-focus image fusion through gradient- based decision map construction and mathematical morphology[J]. IEEE Access, 2016, 4: 4749-4760.

[17] Liu Y, Chen X, Peng H, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Information Fusion, 2017, 36: 191-207.

[18] 李恒, 张黎明, 蒋美容, 等. 基于监督学习的全卷积神经网络多聚焦图像融合算法[J]. 激光与光电子学进展, 2020, 57(8): 081051.

Li H, Zhang L M, Jiang M R, et al. Multi-focus image fusion algorithm based on supervised learning for fully convolutional neural networks[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081051.

[19] Li S T, Kang X D, Hu J W, et al. Image matting for fusion of multi-focus images in dynamic scenes[J]. Information Fusion, 2013, 14(2): 147-162.

[20] Xu JB, LiuB, Lin HJ, et al. A new method for realizing LOG filter in image edge detection[C] //Proceedings of 2011 6th International Forum on Strategic Technology, August 22-24, 2011, Harbin, Heilongjiang, Harbin. New York: IEEE, 2011: 733- 737.

[21] Zain MA, MoallemP, Karimi-AlavijehH, et al. Fiber optic specklegram sensor based on image processing using LoG filter[C] //2017 10th Iranian Conference on Machine Vision and Image Processing (MVIP), November 22-23, 2017, Isfahan, Iran. New York: IEEE, 2017: 114- 118.

[22] Zhou Z Q, Li S, Wang B. Multi-scale weighted gradient-based fusion for multi-focus images[J]. Information Fusion, 2014, 20: 60-72.

[23] Zhu X, Milanfar P. Automatic parameter selection for denoising algorithms using a No-reference measure of image content[J]. IEEE Transactions on Image Processing, 2010, 19(12): 3116-3132.

[24] Ma JL, Zhou ZQ, WangB, et al. Multi-focus image fusion based on multi-scale focus measures and generalized random walk[C] //2017 36th Chinese Control Conference (CCC), July 26-28, 2017. Dalian, China. New York: IEEE, 2017: 8028223.

[25] Qiu X H, Li M, Zhang L Q, et al. Guided filter-based multi-focus image fusion through focus region detection[J]. Signal Processing: Image Communication, 2019, 72: 35-46.

[26] Bavirisetti D P, Xiao G, Zhao J H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits, Systems, and Signal Processing, 2019, 38(12): 5576-5605.

[27] Ma J L, Zhou Z Q, Wang B, et al. Multi-focus image fusion using boosted random walks-based algorithm with two-scale focus maps[J]. Neurocomputing, 2019, 335: 9-20.

[28] Hossny M, Nahavandi S, Creighton D. A quadtree driven image fusion quality assessment[J]. 2007 5th IEEE International Conference on Industrial Informatics, 2007, 1: 419-424.

[29] Nill N B, Bouzas B. Objective Image Quality Measure Derived from Digital Image Power Spectra[J]. Optical Engineering, 1992, 31(4): 813-825.

[30] Xydeas C S, Petrovic V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309.

[31] Ho T K, Hull J J, Srihari S N. Decision combination in multiple classifier systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(1): 66-75.

[32] Qu G H, Zhang D L, Yan P F. Information measure for performance of image fusion[J]. Electronics Letters, 2002, 38(7): 313-315.

田帅, 任亚飞, 邵馨叶, 邵建龙. 结合滤波算子与双尺度分解的多聚焦图像融合[J]. 激光与光电子学进展, 2021, 58(6): 0610010. Tian Shuai, Ren Yafei, Shao Xinye, Shao Jianlong. Multi-Focus Image Fusion with Filter Operator and Double Scale Decomposition[J]. Laser & Optoelectronics Progress, 2021, 58(6): 0610010.

结合滤波算子与双尺度分解的多聚焦图像融合 下载： 645次

1 引言

2 提出的方法

图 1. 融合算法流程图

Fig. 1. Flow chart of fusion algorithm

2.1 聚焦区域检测

图 2. 预处理后的图像。(a)滤波后的图像;(b)滤波图像的二值图像;(c)差分图像

Fig. 2. Images after pretreatment. (a) Filtered images; (b) binary images of filtered image; (c) differential images

图 3. 双尺度分解与混合。 (a)(b)源图像;(c)小尺度聚焦图;(d)大尺度聚焦图;(e)初始决策图

Fig. 3. Double scale decomposition and mixing. (a)(b) Source image; (c) small-scale focusing diagram; (d) large-scale focusing diagram; (e) initial decision diagram

2.2 空间一致性验证

图 4. 不同r值处理的结果

Fig. 4. Results of different r values processing

图 5. 引导滤波与融合的结果。(a)细化决策图;(b)细化后融合图;(c)最终决策图;(d) 融合结果

Fig. 5. Results of guided filtering and fusion. (a) Refined decision graph; (b) refined fusion graph; (c) final decision graph; (d) fusion result

2.3 像素级融合

3 实验结果与分析

3.1 实验对象设定

图 6. 实验中使用的部分公共数据集图像

Fig. 6. Images of part of common dataset used in experiment

3.2 主观定性评估

图 7. 不同检测方法所得的决策图和融合结果。(a) I1;(b) MWGF;(c) Ref. [24];(d) CNN;(e) Ref. [27];(f) GFDF;(g)本文算法

Fig. 7. Decision graphs and fusion results obtained by different detection methods. (a) I1; (b) MWGF; (c) Ref. [24]; (d) CNN; (e) Ref. [27]; (f) GFDF; (g) proposed algorithm

图 8. 不同算法得出的融合图像与I1之间的残影图。(a1)(a2) I1;(b1)(b2) NSCT_SR;(c1)(c2) MGFF;(d1)(d2)本文算法

Fig. 8. Residual images between I1 and fused image obtained by different algorithms. (a1)(a2) I1; (b1)(b2) NSCT_SR; (c1)(c2) MGFF; (d1)(d2) proposed algorithm

图 9. 本文算法得出的融合图像与某一聚焦图像之间的残影图

Fig. 9. Residual images between focused image and fused image obtained by proposed algorithm

3.3 客观定量评估

表 1. 27组彩色图像的综合评估结果

Table 1. Comprehensive evaluation results of 27 groups of color images

表 2. 13组灰度图像的综合评估结果

Table 2. Comprehensive evaluation results of 13 gray scale images

图 10. w对融合指标的影响

Fig. 10. Influence of w on fusion index

图 11. r对融合指标的影响

Fig. 11. Influence of r on fusion index

图 12. ε对融合指标的影响

Fig. 12. Influence of ε on fusion index

表 3. 不同方法计算后的平均时间

Table 3. Average time calculated by different algorithms unit: s

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

结合滤波算子与双尺度分解的多聚焦图像融合下载： 645次