基于NSCT与DWT的PCNN医学图像融合

赵贺; 张金秀; 张正刚

doi:doi:10.3788/LOP202158.2017002

激光与光电子学进展, 2021, 58 (20): 2017002, 网络出版: 2021-10-15

基于NSCT与DWT的PCNN医学图像融合下载： 712次

PCNN Medical Image Fusion Based on NSCT and DWT

论文大纲

赵贺张金秀 ^*张正刚

作者单位

兰州交通大学电子与信息工程学院, 甘肃兰州 730070

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对医学图像融合过程中出现的细节损失严重、视觉效果不佳问题,提出了一种基于非下采样轮廓波变换(NSCT)与离散小波变换(DWT)的脉冲耦合神经网络(PCNN)医学图像融合算法。首先,利用NSCT处理医学源图像,得到相应的低频和高频子带,并利用DWT对得到的低频子带进行处理。然后,利用PCNN对低频子带进行融合,将平均梯度和改进型拉普拉斯能量和作为PCNN的输入项,将信息熵与匹配度结合实现对高频子的融合。最后,利用多尺度逆变换将低频子带和高频子带图像进行融合。实验结果表明,所提方法能够有效提升融合图像的对比度并保留源图像的细节信息,在主观和客观评价上均有优良的性能表现。

Abstract

Aiming at the serious loss of details and poor visual effect in the process of medical image fusion, a pulse coupled neural network (PCNN) medical image fusion algorithm based on non-subsampled contourlet transform (NSCT) and discrete wavelet transform (DWT) is proposed. Firstly, the medical source image is processed by NSCT to obtain the corresponding low frequency and high frequency subbands, and the obtained low frequency subbands are processed by DWT. Then, the PCNN is used to fuse the low frequency subbands, where the input items are the average gradient and the improved Laplacian energy sum. The fusion of high frequency subbands is realized by combining information entropy and matching degree. Finally, the low frequency subband image and high frequency subband image are fused by multi-scale inverse transformation. Experimental results show that the proposed method can effectively improve the contrast of the fused image and retain the detailed information of the source image, and has excellent performance in both subjective and objective evaluation.

1 引言

多模态图像融合为现代医学诊断、遥感、多聚焦图像、视频监控等领域提供了全面且复杂的信息。医学影像作为一种强大的基础工具,在现代医学诊断和治疗中发挥着不可替代的作用^[1]。计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射计算机断层扫描(PET)和单光子发射计算机断层扫描(SPECT)是常见的医学成像模式,常被用于处理不同情况的病变^[2-3]。CT图像的空间分辨率高,有利于确定病灶部位。MRI图像中软组织成像清晰,有利于确定病灶范围。在PET图像中可以看到器官的功能细节信息。利用SPECT图像可以研究组织和器官的血流^[4-5]。为了从医学图像中获得更多的信息,医学图像融合技术被用于临床分析,以实现对病灶部位准确、全面和详细的描述。

多尺度变换^[6]常用于多模态医学图像融合中,基于多尺度变换的方法有非下采样轮廓波变换(NSCT)^[7-8]、非下采样剪切波变换(NSST)^[9-10]、离散小波变换(DWT)^[11]、曲波变换^[12]和剪切波变换^[13]。Liu等^[14]提出了多模态医学、红外和可见光、多聚焦图像融合的通用框架。在此框架下,基于NSCT方法的多模态医学图像融合达到了最佳性能。Shabanzade等^[15]提出了一种基于NSCT的多模态图像融合框架。在该框架中,利用稀疏表示法处理低频子带,可能会造成图像部分细节信息的丢失。Goel等^[16]提出了一种基于DWT的多模态图像融合方法。在对重要成分进行分析的同时,利用最大融合规则减少图像中的噪声。1999年,Broussard等^[17]将脉冲耦合神经网络(PCNN)应用于图像融合领域。Qu等^[18]提出了一种基于NSCT的图像融合框架。该框架将空间频率(SF)作为PCNN的链接强度,有效地捕获了潜在的显著信息,但是需要花费大量时间寻找PCNN的最优参数。

为了使融合后的医学图像包含较多有价值的信息,本文提出了一种基于NSCT与DWT的PCNN医学图像融合算法。NSCT在处理图像纹理边缘方面有较好的效果,DWT对图像细节信息具有较强的表达能力,即这两种多尺度分解方法有互补特性,进而将NSCT和DWT相结合可以有效保留图像纹理边缘和细节信息。另外,利用PCNN融合低频子带时,将平均梯度(AG)和改进型拉普拉斯能量和(ISML)作为PCNN的输入项,可以提高融合图像的整体视觉效果。对高频子带采用匹配度与信息熵(IE)相结合的融合方案,可以增强融合图像的细节特征。

2 相关方法

2.1 非下采样轮廓波变换

轮廓波变换是从多尺度和方向两方面进行分析的,在下采样的过程会出现频谱混叠现象,进而其冗余性降低。NSCT对轮廓波变换进行了改进,可有效缓解频谱混叠现象^[19]。

在NSCT变换中,常利用非下采样金字塔滤波器组(NSPFB)实现图像的多尺度分解,常利用非下采样方向滤波器组(NSDFB)实现图像的多方向分解^[20]。NSCT分解过程如图1所示。

图 1. NSCT分解过程

Fig. 1. Decomposition process of NSCT

下载图片查看所有图片

2.2 离散小波变换

DWT在图像处理领域中起着重要的作用。在图像融合中,常使用的是离散小波二维变换。令给定的目标图像函数为 $f_{j_{1} + 1}$ (x,y)∈L²(R²),L²(R²)为由二次可积函数所组成的函数空间,这个空间是R²上所有平方可积函数的集合,R为函数的变量, $V_{j_{1}}^{2}$ (j₁∈Z)为L²(R²)的多分辨率分析,j₁表示任意尺度的维度。在实验中,设置尺度函数为ϕ(x,y)=ϕ(x)ϕ(y),对应的小波基为ψ(t),其中t为时间变量,定义“二维小波”为

\{\begin{array}{l} ψ^{H} (x, y) = ϕ (x) ψ (y) \\ ψ^{V} (x, y) = ψ (x) ϕ (y) \\ ψ^{D} (x, y) = ψ (x) ψ (y) \end{array}, (1)

分别为L²(R²)的标准正交基,则可推导得

\begin{array}{l} f_{j_{1} + 1} (x, y) = \overset{}{\sum_{k_{1}, m_{1}}} c_{j_{1}} (k_{1}, m_{1}) ϕ_{j_{1}} (k_{1}, m_{1}) + \overset{}{\sum_{k_{1}, m_{1}}} d_{j_{1}}^{(1)} (k_{1}, m_{1}) {ψ^{H}}_{j_{1}} (k_{1}, m_{1}) + \\ \overset{}{\sum_{k_{1}, m_{1}}} d_{j_{1}}^{(2)} (k_{1}, m_{1}) {ψ^{V}}_{j_{1}} (k_{1}, m_{1}) + \overset{}{\sum_{k_{1}, m_{1}}} d_{j_{1}}^{(3)} (k_{1}, m_{1}) {ψ^{D}}_{j_{1}} (k_{1}, m_{1}), (2) \end{array}

式中:d表示每一层分解的小波变换系数; k₁ 表示分解层数;m₁表示对图像沿m₁方向处理的系数。并推导出分解算法

\{\begin{array}{l} c_{j_{1}} (k_{1}, m_{1}) = \overset{}{\sum_{l_{1}, n_{1}}} h (l_{1} - 2 k_{1}) h (n_{1} - 2 m_{1}) c_{j_{1} + 1} (l_{1}, n_{1}) \\ d_{j_{1}}^{(1)} (k_{1}, m_{1}) = \overset{}{\sum_{l_{1}, n_{1}}} h (l_{1} - 2 k_{1}) g (n_{1} - 2 m_{1}) c_{j_{1} + 1} (l_{1}, n_{1}) \\ d_{j_{1}}^{(2)} (k_{1}, m_{1}) = \overset{}{\sum_{l_{1}, n_{1}}} g (l_{1} - 2 k_{1}) h (n_{1} - 2 m_{1}) c_{j_{1} + 1} (l_{1}, n_{1}) \\ d_{j_{1}}^{(3)} (k_{1}, m_{1}) = \overset{}{\sum_{l_{1}, n_{1}}} g (l_{1} - 2 k_{1}) g (n_{1} - 2 m_{1}) c_{j_{1} + 1} (l_{1}, n_{1}) \end{array}, (3)

式中:l₁表示每层分解的方向数;n₁表示对图像沿n₁方向处理的系数;h表示高频系数;g表示低频系数。则重构公式为

\begin{array}{l} c_{j_{1} + 1} (k_{1}, m_{1}) = \overset{}{\sum_{l_{1}, n_{1}}} h (k_{1} - 2 l_{1}) h (m_{1} - 2 n_{1}) c_{j_{1}} (l_{1}, n_{1}) + \overset{}{\sum_{l_{1}, n_{1}}} h (k_{1} - 2 l_{1}) g (m_{1} - 2 n_{1}) d_{j_{1}}^{(1)} (l_{1}, n_{1}) + \\ \overset{}{\sum_{l_{1}, n_{1}}} g (k_{1} - 2 l_{1}) h (m_{1} - 2 n_{1}) d_{j_{1}}^{(2)} (l_{1}, n_{1}) + \overset{}{\sum_{l_{1}, n_{1}}} g (k_{1} - 2 l_{1}) g (m_{1} - 2 n_{1}) d_{j_{1}}^{(3)} (l_{1}, n_{1}) 。 (4) \end{array}

3 图像融合算法

3.1 算法框架

所提算法流程图如图2所示,设其中一幅源图像为A,另一幅源图像为B。首先,医学源图像A和B经过NSCT变换,可得到相应的低频和高频子带。由于低频子带中包含大量信息且DWT在处理细节方面具有优势,因此对低频子带进行DWT分解可以保留容易被NSCT分解忽略掉的信息。然后,结合PCNN在图像全局特征融合方面的优势,提出对低频子带采用PCNN的融合方案。将ISML和AG作为PCNN的输入项,通过点火次数差与设定阈值的比较,来决定使用的融合规则。若点火次数差小于阈值,融合后的低频子带采用自适应加权平均,否则,说明单一图像的特征较为明显,融合后选取点火次数较大的低频子带。高频子带采用IE与匹配度相结合的融合方案,进而达到保留图像边缘细节信息的目的。最后,利用多尺度逆变换对融合后的低频子带和高频子带进行处理,使融合图像边缘细节更丰富且具有良好的视觉效果。

图 2. 所提算法流程图

Fig. 2. Flow chart of the proposed algorithm

下载图片查看所有图片

3.2 低频子带的融合

3.2.1 脉冲耦合神经网络

脉冲耦合神经网络是由多个神经元构成的反馈型网络,能较好地提取图像特征,故适用于实时图像处理。其中,单个神经元由三部分组成,分别是接收域、调制域及脉冲产生域^[21-22]。构成PCNN的单个神经元简化模型如图3所示。当神经元受到外部刺激S_ij时,得到反馈输入F_ij,并计算链接输入L_ij。然后,通过调制域对内部活动项U_ij进行调制。最后,比较U_ij与阈值的关系,得到脉冲输出Y_ij。当输出为1时,神经元点火。当输出为0时,神经元不点火。

图 3. PCNN神经元简化模型

Fig. 3. Simplified model of neuron in PCNN

下载图片查看所有图片

简化的PCNN模型表达式为

\{\begin{array}{l} F_{ij} (n) = S_{ij} \\ L_{ij} (n) = \exp (- α_{L}) L_{ij} (n - 1) + V_{L} \overset{}{\sum_{pq}} W_{ijpq} Y_{ij} (n - 1) \\ U_{ij} (n) = F_{ij} (n) [1 + β L_{ij} (n)] \\ Y_{ij} (n) = \{\begin{array}{l} 1, & U_{ij} (n) \geq θ_{ij} (n) \\ 0, & U_{ij} (n) < θ_{ij} (n) \end{array} \\ θ_{ij} (n) = \exp (- α_{θ}) θ_{ij} (n - 1) + V_{θ} Y_{ij} (n) \end{array}, (5)

式中:n为某一时刻; (i,j)为神经元位置;V_L、V_θ分别为链接域、输出阈值的幅度系数;W_ijpq为权重系数矩阵;(p,q)为区域范围;α_L和α_θ为衰减系数;β为链接强度系数;θ_ij为阈值;Y_ij为脉冲输出。通过对输入图像进行迭代,统计神经元点火次数并输出点火映射矩阵T_ij(n)

T_{ij} (n) = T_{ij} (n - 1) + Y_{ij} (n) 。 (6)

3.2.2 融合规则

结合医学图像的特点,以及人类视觉系统对高清晰度区域比高灰度值像素点更加敏感的习惯,发现图像的清晰度是以区域形式生成的并与其邻域像素具有较强的相关性。医学图像清晰度较高的区域往往具有较高的拉普拉斯能量和(SML)。传统的SML仅包含水平和垂直方向的拉普拉斯能量,没有考虑对角方向的能量信息。将SML作为PCNN的输入项时,获得的融合图像有可能丢失重要信息,故本文将包含多方向能量信息的ISML作为PCNN的一个输入项。低频子带作为源图像的平滑逼近,决定了图像的轮廓。AG可以有效反映图像微小细节变化及边缘化程度。综合以上因素,本文将ISML与AG相结合作为PCNN的输入项来获取融合图像的低频子带。

ISML的数学表达式为

I_{l, k} (i_{2}, j_{2}) = \overset{P}{\sum_{m_{2} = - P}} \overset{Q}{\sum_{n_{2} = - Q}} W (m_{2}, n_{2}) {[M_{l, k} (i_{2} + m_{2}, j_{2} + n_{2})]}^{2}, (7)

式中:

\begin{array}{l} W (m_{2}, n_{2}) = \frac{1}{15} (\begin{array}{l} 1 & 2 & 1 \\ 2 & 3 & 2 \\ 1 & 2 & 1 \end{array}); (8) \\ M_{l, k} (i_{2}, j_{2}) = {M^{H}}_{l, k} (i_{2}, j_{2}) + {M^{V}}_{l, k} (i_{2}, j_{2}) + M_{l, k}^{D, 1} (i_{2}, j_{2}) + M_{l, k}^{D, 2} (i_{2}, j_{2}), (9) \\ {M^{H}}_{l, k} (i_{2}, j_{2}) = |\begin{matrix} 2 C_{l, k} (i_{2}, j_{2}) - C_{l, k} (i_{2} - s, j_{2}) - C_{l, k} (i_{2} + s, j_{2}) \end{matrix}|, (10) \\ {M^{V}}_{l, k} (i_{2}, j_{2}) = |\begin{matrix} 2 C_{l, k} (i_{2}, j_{2}) - C_{l, k} (i_{2}, j_{2} - s) - C_{l, k} (i_{2}, j_{2} + s) \end{matrix}|, (11) \\ M_{l, k}^{D, 1} (i_{2}, j_{2}) = |\begin{matrix} 2 C_{l, k} (i_{2}, j_{2}) - C_{l, k} (i_{2} - s, j_{2} - s) - C_{l, k} (i_{2} + s, j_{2} + s) \end{matrix}| / \sqrt[]{2}, (12) \\ M_{l, k}^{D, 2} (i_{2}, j_{2}) = |\begin{matrix} 2 C_{l, k} (i_{2}, j_{2}) - C_{l, k} (i_{2} - s, j_{2} + s) - C_{l, k} (i_{2} + s, j_{2} - s) \end{matrix}| / \sqrt[]{2} 。 (13) \end{array}

AG的表达式为

δ = \frac{1}{P \times Q} \overset{P}{\sum_{m_{2} = - P}} \overset{Q}{\sum_{n_{2} = - Q}} \sqrt[]{\begin{array}{l} [C_{l, k} (i_{2} + m_{2}, j_{2} + n_{2}) - C_{l, k} (i_{2} + m_{2} + 1, j_{2} + n_{2} {)]}^{2} + \\ [C_{l, k} (i_{2} + m_{2}, j_{2} + n_{2}) - C_{l, k} (i_{2} + m_{2} + 1, j_{2} + n_{2} {+ 1)]}^{2} \end{array}} 。 (14)

在(7)~(14)式中:C_l_,_k(i₂,j₂)表示经过多尺度分解处理后得到的在(i₂,j₂)处像素点对应的低频子带系数;l表示源图像的分解层数,k表示每层所对应的方向数,因为参与运算的系数为低频分量,层数为一层且方向固定,所以l、k皆取1; ${M^{H}}_{l, k}$ (i₂,j₂)、 ${M^{V}}_{l, k}$ (i₂,j₂)、 $M_{l, k}^{D, 1}$ (i₂,j₂)和 $M_{l, k}^{D, 2}$ (i₂,j₂)分别表示在水平、垂直、两个对角方向的能量;s为步长。

基于PCNN的低频子带分量融合框架如图4所示。

图 4. 低频子带分量融合框架图

Fig. 4. Framework chart of low frequency subband component fusion

下载图片查看所有图片

在所提算法中,综合考虑ISML与模型点火次数的关系以决定低频子带的融合规则,融合后的低频子带系数为 $C_{l, k}^{F}$ (i₂,j₂)。融合规则如下。

若 $|{T^{A}}_{l, k}_{(} i_{2}, j_{2}) - {T^{B}}_{l, k} (i_{2}, j_{2})|$ >λ,其中 ${T^{A}}_{l, k}$ (i₂,j₂)和 ${T^{B}}_{l, k}$ (i₂,j₂)分别表示图像A和图像B的点火次数,则

{C^{F}}_{l, k} (i_{2}, j_{2}) = \{\begin{array}{l} {C^{A}}_{l, k} (i_{2}, j_{2}), & {T^{A}}_{l, k} (i_{2}, j_{2}) > {T^{B}}_{l, k} (i_{2}, j_{2}) \\ {C^{B}}_{l, k} (i_{2}, j_{2}), & {T^{A}}_{l, k} (i_{2}, j_{2}) < {T^{B}}_{l, k} (i_{2}, j_{2}) \end{array} 。 (15)

若 $|T_{l, k}^{A} (i_{2}, j_{2}) - T_{l, k}^{B} (i_{2}, j_{2})|$ ≤λ,则

{C^{F}}_{l, k} (i_{2}, j_{2}) = μ_{1} \times {C^{A}}_{l, k} (i_{2}, j_{2}) + μ_{2} \times {C^{B}}_{l, k} (i_{2}, j_{2}), (16)

式中:λ为点火次数差的阈值;μ₁与μ₂为ISML自适应权重系数,其计算公式为

\{\begin{array}{l} μ_{1} = \frac{{I^{A}}_{l, k} (i_{2}, j_{2})}{{I^{A}}_{l, k} (i_{2}, j_{2}) + {I^{B}}_{l, k} (i_{2}, j_{2})} \\ μ_{2} = \frac{{I^{B}}_{l, k} (i_{2}, j_{2})}{{I^{A}}_{l, k} (i_{2}, j_{2}) + {I^{B}}_{l, k} (i_{2}, j_{2})} \end{array} 。 (17)

当同一神经元的点火次数相差较大时,表明某个图像的特征较为突出,直接将点火次数较大的低频子带系数作为融合结果。当点火次数相差不大时,表明两者均具有突出的特征,此时采用自适应加权平均得到融合子带系数。

3.3 高频子带融合

经多尺度分解后的源图像可得到高频分量,本文采用IE与匹配度相结合的融合方案处理高频分量,以增强融合图像的细节特征。

IE可体现图像信息量是否丰富,首先,分别计算高频子带图像的IE,其表达式为

E_{h} (i_{2}, j_{2}) = \overset{S}{\sum_{m_{3} = 1}} \overset{T}{\sum_{n_{3} = 1}} d_{h} (i_{2} + m_{3}, j_{2} + n_{3}) \ln d_{h} (i_{2} + m_{3}, j_{2} + n_{3}), (18)

式中:S×T为区域窗口大小;d_h(i₂,j₂)为高频子带在点(i₂,j₂)处的系数。

然后,计算高频子带系数 $d_{h}^{A}$ (i₂,j₂)和 $d_{h}^{B}$ (i₂,j₂)所对应区域的匹配度

ξ = \frac{\overset{S}{\sum_{m_{3} = 1}} \overset{T}{\sum_{n_{3} = 1}} d_{h}^{A} (i_{2} + m_{3}, j_{2} + n_{3}) d_{h}^{B} (i_{2} + m_{3}, j_{2} + n_{3})}{E_{h}^{A} (i_{2}, j_{2}) + E_{h}^{B} (i_{2}, j_{2})} 。 (19)

ξ的值反映了高频子带图像A和B的相关性。若对应区域内 $d_{h}^{A}$ (i₂,j₂)= $d_{h}^{B}$ (i₂,j₂),则ξ=1,说明该区域内有最高的信息匹配度。

设σ为匹配度的阈值,当ξ<σ时,表明对应区域内匹配度相差较大,则融合后的子带系数选择IE较大者,计算公式为

d_{h}^{F} (i_{2}, j_{2}) = \{\begin{array}{l} d_{h}^{A} (i_{2}, j_{2}), & E_{h}^{A} (i_{2}, j_{2}) > E_{h}^{B} (i_{2}, j_{2}) \\ d_{h}^{B} (i_{2}, j_{2}), & E_{h}^{A} (i_{2}, j_{2}) < E_{h}^{B} (i_{2}, j_{2}) \end{array} 。 (20)

当ξ>σ时,表明二者相差较小,此时采用自适应加权平均得到融合子带系数,计算公式为

d_{h}^{F} (i_{2}, j_{2}) = \{\begin{array}{l} w_{1} d_{h}^{A} (i_{2}, j_{2}) + w_{2} d_{h}^{B} (i_{2}, j_{2}), & E_{h}^{A} (i_{2}, j_{2}) > E_{h}^{B} (i_{2}, j_{2}) \\ w_{2} d_{h}^{A} (i_{2}, j_{2}) + w_{1} d_{h}^{B} (i_{2}, j_{2}), & E_{h}^{A} (i_{2}, j_{2}) < E_{h}^{B} (i_{2}, j_{2}) \end{array}, (21)

式中:w₁和w₂分别表示较大权重和较小权重,计算公式为

\{\begin{array}{l} w_{1} = \frac{1}{2} + \frac{1}{2} (\frac{1 - ξ}{1 - σ}) \\ w_{2} = 1 - w_{1} \end{array}, (22)

4 实验结果与分析

4.1 实验设置

为验证所提算法的可行性与有效性,现从哈弗医学院全脑图集(The whole Brain)中分别选取两种类型六组不同的人脑组织作为源图像:1) CT/MRI灰度图像融合;2) MRI/PET彩色图像融合。实验所用医学图像的尺寸均为256 pixel×256 pixel且已精确配准。本文实验是在Intel酷睿I5-9400F CPU、64位Win7的操作系统环境下进行仿真的,编程环境为MATLAB 2016b。

所提算法中使用的NSCT可分解为3层,分解的方向数为{4 8 8},滤波器参数为“maxflat”,引导滤波的局部窗口大小为3×3。简化PCNN的内部活动项、输出脉冲及点火映射矩阵参数按照原始模型设定,其初始值均为0。链接输入L_ij[n]根据模型的输入进行计算,权重系数参照常见PCNN算法中的设置W_ijpq= $[\begin{array}{l} 0.707 & 1 & 0.707 \\ 1 & 0 & 1 \\ 0.707 & 1 & 0.707 \end{array}]$ 。实验中主要依据经验和多次调试,手动获取简化模型中的衰减系数、链接强度及幅度系数,分别为α_L=0.07、α_θ=0.2、V_L=1、V_θ=20、β=0.2。在其他参数确定的情况下,利用控制变量实验确定迭代次数为200。

4.2 灰度图像融合

对所提算法和近年来提出的其他图像融合算法分别进行仿真实验,并通过对比分析从主客观两方面展开评估。实验中采用三种对比算法,分别为:1)基于NSCT变换的医学图像融合算法(算法一),在该算法中 ,选用局部拉普拉斯能量对低频子带进行融合,选用方向对比度对高频子带进行融合^[23];2)基于NSST变换的医学图像融合算法(算法二),该算法将区域最大值比较法用于低频子带融合,将改进边缘强度法和边缘能量法用于高频子带融合^[24];3)基于DWT变换的医学图像融合算法(算法三),该算法将局部区域能量取大的融合规则用于低频自带融合,将系数比较法用于对高频子带融合^[25]。所提算法为:基于NSCT与DWT的PCNN医学图像融合算法,提出在低频子带融合中,采用PCNN的融合方案,并将ISML和AG作为PCNN的输入项。在高频子带融合中,采用IE与匹配度相结合的融合方案。

实验中选取了三组不同的CT/MRI源图像,分别应用前述三种算法及所提算法进行融合,融合结果如图5所示。从主观方面对融合图像质量进行了评价。图5(a3)~(c3)是利用算法一实现的效果图像,该融合图像整体较为清晰。但是,目标边缘处较为模糊,放大图像后通过人眼可看出有吉布斯失真,进而无法正确显示病灶部位的细节信息。图5(a4)~(c4)是利用算法二实现的效果图像,可以看出,融合结果中骨骼区域亮度较低,即融合图像对比度低,进而无法真实反映源图像的整体信息。图5(a5)~(c5)是利用算法三实现的融合图像,从融合结果中可看出,该方法融合的图像质量略低于前两种方法。与原始CT图像相比,融合结果中骨骼的部分比较模糊且融合图像边缘处出现失真,人眼视觉效果较差,进而容易影响医生对病情的判断。图5(a6)~(c6)是利用所提算法实现的融合图像,可以看出,该算法能有效地提取源图像中的纹理及边缘细节信息,能全面综合CT图像与MRI图像的内容,进而视觉效果较好。

图 5. CT/MRI源图像及不同算法的图像融合结果

Fig. 5. CT/MRI source images and image fusion results by different algorithms

下载图片查看所有图片

在主观评价中,主观性强,视觉敏感度因人而异,虽然能直接判断融合结果,但是评价结果存在片面性。因此,需综合客观评价指标来进行判断,将IE、AG、SF和标准差(SD)作为评价指标,且四者均为正向指标^[26-27]。上述三组融合图像在客观评价指标上的表现情况如表1、表2、表3所示。

表 1. 第一组图像的评价指标

Table 1. Evaluation indicators for the first group of images

Method	IE	AG	SF	SD
Algorithm 1	6.5498	6.8525	16.5593	58.6421
Algorithm 2	6.3269	6.4023	16.8470	50.7436
Algorithm 3	5.8516	4.7560	9.4149	43.6581
Proposed algorithm	6.8415	7.2316	17.1296	57.6361

查看所有表

表 2. 第二组图像的评价指标

Table 2. Evaluation indicators for the second group of images

Method	IE	AG	SF	SD
Algorithm 1	4.7202	9.9061	30.8452	84.4055
Algorithm 2	4.6470	9.3234	32.1094	85.0626
Algorithm 3	4.3131	7.2921	27.3694	63.1978
Proposed algorithm	5.0302	10.1685	31.4722	87.0621

查看所有表

表 3. 第三组图像的评价指标

Table 3. Evaluation indicators for the third group of images

Method	IE	AG	SF	SD
Algorithm 1	4.9044	7.5525	27.5704	82.8691
Algorithm 2	4.5208	8.2945	27.8275	80.7933
Algorithm 3	4.0943	5.2739	25.4892	77.2424
Proposed algorithm	5.1142	9.4119	30.4588	85.5517

查看所有表

从表1~3中,可以看出,采用所提算法的融合结果的IE、AG指标均高于其他三种算法,其SF和SD指标总体上也高于其他三种算法。与其他算法相比,所提算法的融合图像不仅细节信息更丰富,还具有更好的视觉效果。客观评价结果与主观评价结果均表明所提算法具有明显的优越性。

4.3 彩色图像融合

将所提算法用于灰度与彩色图像的融合。在实验中,选用8位灰度图像,24位彩色图像,融合流程图如图6所示。

图 6. MRI/PET图像融合流程图

Fig. 6. Flow chart of MRI/PET image fusion

下载图片查看所有图片

对于医学图像中的PET功能图像,在融合过程中使用IHS色彩空间解决图像融合问题是可行的^[28]。IHS空间将彩色图像编码为强度、色度和饱和度分量,这充分考虑了人类的视觉感知^[29]。在该融合算法中,首先将RGB彩色图像转换到IHS彩色空间中,包含I、H、S分量。然后,利用所提算法将灰度图像和I通道分量融合。最后,利用IHS逆变换将融合后的I通道分量、原H通道分量和S通道分量转换为RGB彩色图像。

三组不同的MRI/PET源图像及不同方法的图像融合结果如图7所示。从主观方面对融合图像进行了质量评价。图7(a3)~(c3)是利用4.2节中算法一实现的效果图像,该融合图像整体比较清晰。但是,该算法得到的结果具有很高的透明度,缺少MRI和PET的纹理细节信息。图7(a4)~(c4)是利用4.2节中算法二实现的效果图像,该图像中存在颜色失真,会显示出不正确的功能信息或在某些区域产生错误的融合。图7(a5)~(c5)是利用4.2节中算法三实现的效果图像,整体效果不佳,无法真实反映软组织的细节信息,且图像比较模糊,色调偏暗,进而无法给医生提供准确的信息。图7(a6)~(c6)是利用所提算法实现的融合图像,该图像在色彩表达和细节信息上均显示出良好的效果,较好地包含了MRI图像与PET图像的信息。

图 7. MRI/PET源图像及不同算法的图像融合结果

Fig. 7. MRI/PET source images and image fusion results by different algorithms

下载图片查看所有图片

采用4.2节中所述的四种客观评价指标对融合图像进行全面评估。上述三组融合图像在客观评价指标上的表现情况如表4、表5、表6所示。

从表4~6中,可以看出,利用所提算法获得的融合图像的四种指标均较高,这表明所提算法不仅可从源图像中提取较多的信息,还具有较高的清晰度和对比度,即所提算法具有明显的优越性。

表 4. 第四组图像评价指标

Table 4. Evaluation indicators for the fourth group of images

Method	IE	AG	SF	SD
Algorithm 1	4.5860	10.3529	30.2666	81.3725
Algorithm 2	4.5837	7.8718	26.1864	85.1571
Algorithm 3	4.4134	6.4476	17.8729	69.2850
Proposed algorithm	4.8187	10.3768	31.3671	87.9695

查看所有表

表 5. 第五组图像评价指标

Table 5. Evaluation indicators for the fifth group of images

Method	IE	AG	SF	SD
Algorithm 1	4.8232	7.4481	24.3951	78.2887
Algorithm 2	4.6965	6.6857	22.8195	68.1525
Algorithm 3	4.5910	4.8094	18.8472	73.4640
Proposed algorithm	5.3986	8.1815	21.1684	79.0407

查看所有表

表 6. 第六组图像评价指标

Table 6. Evaluation indicators for the sixth group of images

Method	IE	AG	SF	SD
Algorithm 1	4.2714	8.9279	28.3091	68.3905
Algorithm 3	4.2399	6.3729	22.7939	71.8809
Algorithm 3	4.0271	5.5916	16.2866	53.8390
Proposed algorithm	4.4342	9.0242	26.7969	75.2246

查看所有表

5 结论

提出了一种基于NSCT与DWT的PCNN医学图像融合算法。利用PCNN的方法融合低频子带,能够提高融合图像的整体视觉效果。在高频子带融合中,利用IE与匹配度相结合的融合方法,可以增强融合图像的细节特征。实验结果表明,所提方法在IE、AG、 SF、SD客观评价指标上均有一定的优势,并且视觉效果较好,是一种有效的医学图像融合方法,可为临床诊断提供充分、可靠的信息。

参考文献

[1] Manchanda M, Sharma R. A novel method of multimodal medical image fusion using fuzzy transform[J]. Journal of Visual Communication and Image Representation, 2016, 40: 197-217.

[2] 王洁. 基于稀疏模型与随机游走算法的肺部大肿瘤分割[D]. 保定: 河北大学, 2019: 10- 19.

WangJ. Large lung tumor segmentation based on sparse model and random walk algorithm[D]. Baoding: Hebei University, 2019: 10- 19.

[3] 李思彤. 利用直觉模糊推理的医学图像融合算法研究[D]. 西安: 西安电子科技大学, 2013: 21- 28.

Li ST. Research on intuition fuzzy reasoning based medical images fusion algorithm[D]. Xi’an: Xidian University, 2013: 21- 28.

[4] 杨艳春, 党建武, 王阳萍. 基于提升小波变换与自适应PCNN的医学图像融合方法[J]. 计算机辅助设计与图形学学报, 2012, 24(4): 494-499.

Yang Y C, Dang J W, Wang Y P. A medical image fusion method based on lifting wavelet transform and adaptive PCNN[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(4): 494-499.

[5] 刘进, 亢艳芹, 顾云波, 等. 稀疏张量约束的低剂量CT图像重建[J]. 光学学报, 2019, 39(8): 0811004.

Liu J, Kang Y Q, Gu Y B, et al. Low dose computed tomography image reconstruction based on sparse tensor constraint[J]. Acta Optica Sinica, 2019, 39(8): 0811004.

[6] Zhu Z Q, Yin H P, Chai Y, et al. A novel multi-modality image fusion method based on image decomposition and sparse representation[J]. Information Sciences, 2018, 432: 516-529.

[7] Li Y Y, Sun Y J, Huang X H, et al. An image fusion method based on sparse representation and sum modified-Laplacian in NSCT domain[J]. Entropy, 2018, 20(7): 522-540.

[8] 王艳, 杨艳春, 党建武, 等. 非下采样Contourlet变换域内结合模糊逻辑和自适应脉冲耦合神经网络的图像融合[J]. 激光与光电子学进展, 2019, 56(10): 101006.

Wang Y, Yang Y C, Dang J W, et al. Image fusion based on fuzzy logic combined with adaptive pulse coupled neural network in nonsubsampled Contourlet transform domain[J]. Laser & Optoelectronics Progress, 2019, 56(10): 101006.

[9] 董侠. 基于稀疏表示的脑部多模态图像融合方法研究[D]. 太原: 中北大学, 2018: 15- 28.

DongX. Research on brain multimodal image fusion method based on sparse representation[D]. Taiyuan: North University of China, 2018: 15- 28.

[10] Yin M, Liu X N, Liu Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(1): 49-64.

[11] Manchanda M, Sharma R. An improved multimodal medical image fusion algorithm based on fuzzy transform[J]. Journal of Visual Communication and Image Representation, 2018, 51: 76-94.

[12] Baghaie A, Schnell S, Bakhshinejad A, et al. Curvelet transform-based volume fusion for correcting signal loss artifacts in time-of-flight magnetic resonance angiography data[J]. Computers in Biology and Medicine, 2018, 99: 142-153.

[13] Liu X, Zhou Y, Wang J J. Image fusion based on shearlet transform and regional features[J]. AEÜ-International Journal of Electronics and Communications, 2014, 68(6): 471-477.

[14] Liu Y, Liu S P, Wang Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164.

[15] ShabanzadeF, GhassemianH. Multimodal image fusion via sparse representation and clustering-based dictionary learning algorithm in nonsubsampled contourlet domain[C] //2016 8th International Symposium on Telecommunications (IST), September 27-28, 2016, Tehran, Iran.New York: IEEE Press, 2016: 472- 477.

[16] GoelS, BudhirajaS, DhindsaA, et al.CT and MRI image fusion using wiener filter in dual tree framework[C] //2017 2nd International Conference on Telecommunication and Networks (TEL-NET), August 10-11, 2017, Noida, India.New York: IEEE Press, 2017: 1- 7.

[17] Broussard R P, Rogers S K, Oxley M E, et al. Physiologically motivated image fusion for object detection using a pulse coupled neural network[J]. IEEE Transactions on Neural Networks, 1999, 10(3): 554-563.

[18] Qu X B, Yan J W, Xiao H Z, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]. Acta Automatica Sinica, 2008, 34(12): 1508-1514.

[19] 戴文战, 姜晓丽, 李俊峰. 基于人眼视觉特性的NSCT医学图像自适应融合[J]. 电子学报, 2016, 44(8): 1932-1939.

Dai W Z, Jiang X L, Li J F. Adaptive medical image fusion based on human visual features[J]. Acta Electronica Sinica, 2016, 44(8): 1932-1939.

[20] 肖中杰. 基于NSCT红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130.

Xiao Z J. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130.

[21] 张宝华, 吕晓琪, 张传亭. 基于复合激励模型的Surfacelet域多聚焦图像融合方法[J]. 光电工程, 2013, 40(5): 88-96.

Zhang B H, Lü X Q, Zhang C T. Multi-focus image fusion algorithm based on composite incentive model in Surfacelet domain[J]. Opto-Electronic Engineering, 2013, 40(5): 88-96.

[22] 王建, 吴锡生. 基于改进的引导滤波和双通道脉冲耦合神经网络的医学图像融合[J]. 激光与光电子学进展, 2019, 56(15): 151004.

Wang J, Wu X S. Medical image fusion based on improved guided filtering and dual-channel pulse coupled neural networks[J]. Laser & Optoelectronics Progress, 2019, 56(15): 151004.

[23] Bhatnagar G, Wu Q M J, Liu Z. Directive contrast based multimodal medical image fusion in NSCT domain[J]. IEEE Transactions on Multimedia, 2013, 15(5): 1014-1024.

[24] 李晓军, 戴文战, 李俊峰. 基于非下采样剪切波变换的医学图像边缘融合算法研究[J]. 光电子·激光, 2018, 29(9): 1021-1030.

Li X J, Dai W Z, Li J F. Research on medical image edge fusion algorithm based on non-subsampled shearlet transform[J]. Journal of Optoelectronics·Laser, 2018, 29(9): 1021-1030.

[25] 胡俊峰, 唐鹤云, 钱建生. 基于小波变换医学图像融合算法的对比分析[J]. 中国生物医学工程学报, 2011, 30(2): 196-205.

Hu J F, Tang H Y, Qian J S. Comparison and analysis of medical image fusion algorithms based on wavelet transform[J]. Chinese Journal of Biomedical Engineering, 2011, 30(2): 196-205.

[26] 孔韦韦, 雷英杰, 雷阳, 等. 基于NSCT域感受野模型的图像融合方法[J]. 控制与决策, 2011, 26(10): 1493-1498, 1503.

Kong W W, Lei Y J, Lei Y, et al. Technique for image fusion based on non-subsampled contourlet transform domain receptive field model[J]. Control and Decision, 2011, 26(10): 1493-1498, 1503.

[27] 王奎, 李卫华, 李小春. 基于模糊逻辑与NSCT的彩色图像融合[J]. 电子科技, 2016, 29(4): 107-110.

Wang K, Li W H, Li X C. Color image fusion algorithm based on NSCT and fuzzy logic[J]. Electronic Science and Technology, 2016, 29(4): 107-110.

[28] LiuY, ChenX, ChengJ, et al.A medical image fusion method based on convolutional neural networks[C] //2017 20th International Conference on Information Fusion (Fusion), July 10-13, 2017, Xi’an, China.New York: IEEE Press, 2017: 1- 7.

[29] Yang Y, Que Y, Huang S Y, et al. Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain[J]. IEEE Sensors Journal, 2016, 16(10): 3735-3745.

赵贺, 张金秀, 张正刚. 基于NSCT与DWT的PCNN医学图像融合[J]. 激光与光电子学进展, 2021, 58(20): 2017002. He Zhao, Jinxiu Zhang, Zhenggang Zhang. PCNN Medical Image Fusion Based on NSCT and DWT[J]. Laser & Optoelectronics Progress, 2021, 58(20): 2017002.

基于NSCT与DWT的PCNN医学图像融合 下载： 712次

1 引言

2 相关方法

2.1 非下采样轮廓波变换

图 1. NSCT分解过程

Fig. 1. Decomposition process of NSCT

2.2 离散小波变换

3 图像融合算法

3.1 算法框架

图 2. 所提算法流程图

Fig. 2. Flow chart of the proposed algorithm

3.2 低频子带的融合

图 3. PCNN神经元简化模型

Fig. 3. Simplified model of neuron in PCNN

图 4. 低频子带分量融合框架图

Fig. 4. Framework chart of low frequency subband component fusion

3.3 高频子带融合

4 实验结果与分析

4.1 实验设置

4.2 灰度图像融合

图 5. CT/MRI源图像及不同算法的图像融合结果

Fig. 5. CT/MRI source images and image fusion results by different algorithms

表 1. 第一组图像的评价指标

Table 1. Evaluation indicators for the first group of images

表 2. 第二组图像的评价指标

Table 2. Evaluation indicators for the second group of images

表 3. 第三组图像的评价指标

Table 3. Evaluation indicators for the third group of images

4.3 彩色图像融合

图 6. MRI/PET图像融合流程图

Fig. 6. Flow chart of MRI/PET image fusion

图 7. MRI/PET源图像及不同算法的图像融合结果

Fig. 7. MRI/PET source images and image fusion results by different algorithms

表 4. 第四组图像评价指标

Table 4. Evaluation indicators for the fourth group of images

表 5. 第五组图像评价指标

Table 5. Evaluation indicators for the fifth group of images

表 6. 第六组图像评价指标

Table 6. Evaluation indicators for the sixth group of images

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于NSCT与DWT的PCNN医学图像融合下载： 712次