基于反向传播神经网络的自适应双边滤波的超声图像降噪 下载: 1052次
1 引言
随着计算机技术的快速发展,医学超声成像技术也得到空前的发展。凭借其成本较低、实时性好、方便等优点,医学超声成像技术被广泛应用于医学检查和临床诊断中[1]。超声B模式成像是医学超声成像模式中最基本的一种成像模式,发射的超声波要经过探头、波束形成器、回波信号处理器、数字扫描变换器以及图像的后续处理等环节才能形成超声图像。在临床诊断的过程中,相较于其他的成像模式,超声B模式成像不仅可以显示组织或器官的解剖信息,也能实时地显示当前探头扫描位置处的动态图像。其中,B模式指的是灰度调制模式,也是目前医学上最常用的一种临床诊断模式。该模式是通过灰度光点的明暗来表示界面回声信号的强弱,当回声较强时光点的亮度会较亮,当回声较弱时光点的亮度会较暗,在光点的亮度不相同时就形成了灰度图像。在医学超声成像的过程中,超声成像系统的相干特性、检测组织不均匀等因素会使得超声图像中存在斑点噪声,这些斑点噪声会对医生的诊断以及后续的图像处理造成严重的影响,因此抑制超声图像中的斑点噪声具有重要的意义,目前超声图像的降噪已成为医学图像处理领域中的重要问题之一[2]。研究者们针对超声图像斑点噪声提出了许多抑制图像中斑点的算法,这些算法分为复合方法与滤波方法。相较于复合方法,滤波方法近年来发展迅速,这是由于在对超声仪的输出图像进行降噪时,滤波方法只用到了后处理算法而不需要改变系统的硬件。常见的滤波方法按照滤波方式的不同可以分为基于空间滤波的方法、基于小波的滤波方法和基于扩散理论的滤波方法。基于空间滤波的方法主要包括改进的Lee滤波器、Kuan滤波器[3]和Frost滤波器[4]等, 虽然这些方法在平滑图像时也考虑到了边缘特征的保留,但却存在对窗函数的大小要求高、控制滤波器的阈值难以确定等缺陷。基于小波的滤波方法主要是基于小波变换的小波去噪方法[5],该方法虽然在一定程度上改善了传统的滤波方法所造成的边缘模糊现象,但小波去噪本身就容易造成图像的边缘模糊,另外小波去噪方法在对变换域上表征斑点噪声的参数的估计方面也存在问题。随着偏微分方程在图像处理领域中的广泛应用,基于扩散理论的滤波方法也逐渐成熟[6-7],基于扩散理论的滤波方法主要有传统各向异性扩散法(P-M模型)和去除斑点噪声的各向异性扩散去噪(SRAD)法[8],这两种方法的优点是滤波处理的效果不受滤波器窗函数大小和形状的影响,但控制平滑程度的扩散系数依然需要通过经验函数来确定,扩散结束的条件也需要人工设定而无法做到自适应。为此,Shao等[9]进一步提出了一种基于特征匹配的自适应快速双边滤波算法,该方法虽然能够对图像中的斑点噪声进行较好的自适应双边滤波处理,但在处理每幅图像的过程中不仅需要人工选定特征区域,而且需要统计斑点噪声的分布特性,这些繁杂的步骤和运算都给实际应用和操作带来了不便。近年来,人工神经网络(ANN)发展迅速,其具有非线性映射、联想记忆、分类与识别等功能[10]。其中,反向传播(BP)神经网络是人工神经网络中最具有代表性的前项网络[11]。相较于传统的滤波方法,BP神经网络有较好的容错能力、并行处理能力、分类能力和自学习能力,能够避免很多传统滤波方法存在的问题。
本文利用了BP神经网络具有可调整的高非线性的特点,将 BP神经网络与双边滤波相结合,提出了一种基于BP神经网络的自适应双边滤波的超声图像降噪方法。该方法通过BP神经网络直接预测图像局部区域和参考噪声区域之间的相似度值,并根据预测值来调整双边滤波器的标准差,实现了对于超声图像的噪声区域和组织区域的自适应区别处理,即自适应双边滤波。相较于传统的滤波方法,本文方法避免了人工提取对比区域、利用传统的统计学方法计算相似度值等这些较为繁琐的步骤,实现了更有效率的滤波,也能够对超声图像中的斑点噪声进行最大程度的平滑,从而更好地保护图像的边缘信息。
2 斑点噪声
2.1 斑点噪声的产生机理
医学超声图像是通过利用发射的超声波扫描人体组织器官、接收相应的反射声波、对信号进行处理得到的。其具体的成像过程是:成像系统首先会依据当前的检查参数设置好参数和控制数据,之后这些数据信息会变成一种可以驱动探头的激励信号。当有高压信号的作用时,探头晶体产生机械振动,并且人体的组织器官内产生相应规格的超声波[12]。在进行超声检测的过程中,超声波在人体内产生很多分布随机的散射粒子,它们间发生的相互干涉会形成回波信号,超声波产生的散射也会加在回波信号上一起返回到探头,形成振幅不稳定的信号。该信号在图像上会显示为亮度不定的颗粒状斑点,即超声图像的斑点噪声,斑点噪声是一种具有乘法性质的粒状噪声[13]。
2.2 斑点噪声模型
医学超声图像受噪声污染比较严重,这给临床诊断和图像处理都带来了极大的不便。医学超声图像中的噪声主要是加性的热噪声和乘性的斑点噪声这两种[14]。热噪声是由于检测设备自身的发热产生的,热噪声的值非常小,可以通过冷却系统等物理手段避免热噪声的产生。斑点噪声是超声波在传播的过程中遇到组织中的散射体发生散射产生的,因此斑点噪声是不可避免的。在超声图像的噪声研究领域中,斑点噪声的分布规律是学者们的研究重点。当人体组织中散射粒子足够多且均匀分布时,此时超声图像中的斑点噪声满足瑞利分布,且符合下面的乘性模型[15]:
式中:n为噪声;f为受到噪声n污染后的含噪声图像;u为未被噪声污染的图像。瑞利分布的密度函数为
式中:x为输入信号; σ为标准差。当遇到特定的目标或组织时,则在反射信号中会出现很强的连续信号部分,回波信号的分布也会发生偏移,此时能够用Rician分布(莱斯分布)和K分布来描述超声图像中的斑点分布[16]。但在实际应用中,超声图像的斑点噪声并不完全符合前面提到的这几种分布[17]。基于超声图像斑点噪声的统计模型的特点,Shao等[9]进一步提出并验证了一种新的独立信号噪声模型,该模型更符合超声图像中斑点噪声的分布,并且能够更好地统计和描述斑点噪声的方差和分布。输出信号可表示为
式中:n表示噪声,且x与n是相互独立的。
2.3 斑点噪声相似度值的计算
斑点噪声相似度值是以图像中参考噪声区域的特征作为参考标准,通过计算得到的超声图像的局部区域和参考噪声区域间的相似度。相似度值能作为一个区分斑点噪声区域和细节信息区域的判断因子[9]。相似度值越大,说明图像的局部区域与参考噪声区域之间的相似度越高,在之后的滤波处理中就需要对该局部区域进行平滑程度较高的滤波;相似度值越小,说明图像的局部区域与参考噪声区域之间的相似度越低,在之后的滤波处理中就需要对该局部区域进行平滑程度较低的滤波。相似度可定义为
其中
式中:Xref表示选定的参考斑点噪声区域;Xij表示以像素(i,j)为中心的局部区域;α和β为可以调节的系数,本文方法在计算相似度值时,将这两个系数分别设置为1和2;Sij的值介于0和1之间,根据不同的Sij可以将图像中的局部区域进行分类。
3 BP神经网络
BP神经网络是人工神经网络中最具代表性的网络模型,也是一种多层感知器模型[18],由于其结构简单、可塑性强,已被广泛应用于图像处理、信息处理等领域。BP神经网络模仿了人类大脑中的神经元对外界事物学习的过程,通过对输入信号的正向传播和反向传播以及多次迭代的学习构建了一个完整的具有学习能力和预测功能的网络模型。BP神经网络的主要构成部分是输入层、隐含层和输出层,该网络通过反向传播算法进行反复调整以确定结构权值和选取阈值。BP神经网络具有强大的非线性映射能力,与传统的图像滤波方法相比,在滤波的过程中引入BP神经网络的方法具有更大优势。BP神经网络拓扑结构图如
4 基于BP神经网络的自适应双边滤波
传统的双边滤波器[19]是一种考虑了亮度(范围)和几何空间距离的非线性技术,可以对图像进行平滑并保留尖锐或明显的边缘,其标准差σ是一个固定的值,能够表示传统的双边滤波器对于图像的平滑程度。当双边滤波器的标准差为一个固定值时,传统的双边滤波器对超声图像斑点噪声的滤波效果很差。
针对这一问题,本文在对超声图像进行双边滤波时引入了BP神经网络,通过将BP神经网络与双边滤波器结合,提出了一种新的基于BP神经网络的自适应双边滤波方法。该方法是在传统的双边滤波器和BP神经网络的基础上提出来的,根据BP神经网络预测的图像局部区域与参考噪声区域的相似度值Sij调整双边滤波器的标准差σ,因此标准差σ不再是一个固定值。在超声图像中,不同的局部区域与参考噪声区域的相似度值是不同的,那么对每个局部区域进行双边滤波处理时所需的标准差就不同,而超声图像中不同的局部区域对应的双边滤波的强度不同,即双边滤波器自适应地过滤图像,这样能够保证双边滤波器有区别地平滑超声图像的斑点区域和组织区域。本文提出的自适应双边滤波方法中,双边滤波器的输入为超声图像,输出为降噪后的超声图像,双边滤波器的输入与输出的关系为
式中:BF(Ip)表示双边滤波后p点的灰度值;S为以p为中心的局部像素集;q为S中的一个像素点;‖p-q‖为局部像素点q与中心像素点p之间的几何空间距离;Iq为局部像素点q的灰度值(亮度值);Ip为中心像素点p的灰色值(亮度值);
式中:Sij表示以
式中:n为迭代次数。此外,还可以根据不同的实际应用来调整平滑窗口的大小以及高斯函数的参数等。
本文方法的具体实现过程是:首先训练出一个可以预测超声图像的局部区域与参考噪声区域间相似度值的BP神经网络,用于BP神经网络训练的输入是由利用9×9窗口扫描整幅超声图像得到的局部图像构成的数据集,训练时的标签是该数据集对应的相似度值,然后利用训练好的BP神经网络来预测超声图像中的局部区域与参考噪声区域间的相似度值,最后根据预测出的相似度值来计算该局部区域进行双边滤波时所需的标准差,实现超声图像的自适应双边滤波。基于BP神经网络的自适应双边滤波的模型图如
图 2. 基于BP神经网络的自适应双边滤波模型图
Fig. 2. BP neural network based adaptive bilateral filtering model
5 实验结果与分析
5.1 BP神经网络训练的数据采集及处理
选取若干张超声图像(包含肝脏超声图像、肾脏超声图像和物理体模超声图像)作为BP神经网络训练的数据,网络训练中所用的图像都来自于超声仪器设备,是利用超声系统对人体及其体模模型进行扫描得到。由于BP神经网络在训练时的输入数据是图像块而不是整幅图像,因此采用了9×9的窗口扫描整幅图像,将得到的局部图像构成的数据集作为网络训练时的输入,并将该数据集对应的相似度值作为网络训练时的标签,相似度值可以表征处理窗口的局部区域和参考噪声区域之间的相似度。
为了构建出一个具有分类预测能力的BP神经网络,且为使该网络能够预测图像的局部区域与参考噪声区域之间的相似度值,本文通过BP神经网络工具箱构建了一个4层(含有2个隐含层)的BP神经网络,输入层的节点数(神经元)设置为81,这样设置是因为采用9×9的窗口扫描图像得到的图像块中包含了81个像素值,输出层的节点数(神经元)设置为1,输出值即为BP神经网络预测的相似度值。其中,第1个隐含层的节点数(神经元数)设置为10,第2个隐含层的节点数设置为20,迭代次数设置为300,收敛误差设置为10-6,学习率设置为0.05。该BP神经网络能够预测出输入图像的局部区域与参考噪声区域之间的相似度值,当预测的相似度值很大(接近1),表示该局部区域和参考噪声区域是非常相似的,当预测的相似度值很小(接近0)则表示该局部区域很可能是组织区域。在后续的滤波处理的过程中,可以利用该BP神经网络预测的相似度值来调节滤波器对于图像的平滑程度。
选取4幅超声图像(物理体膜超声图像、肝脏超声图像1、肝脏超声图像2和肾脏超声图像)作为本文方法的测试数据,进行了4组超声图像降噪的实验。其中,4幅超声图像的像素大小依次为507 pixel×243 pixel、512 pixel×741 pixel、715 pixel×901 pixel和446 pixel×519 pixel。本文中对于实验结果的分析采用了主观评价和客观评价两种方式。主观评价主要是观察降噪后超声图像的视觉效果和边缘特征的保留程度,当降噪后超声图像的视觉效果较好且边缘特征的保留程度较高时,表明该方法对于超声图像的降噪有较好的主观评价指标。客观评价采用了信噪比(SNR)、对比度信噪比(CNR)、信噪比增长度(upSNR)和对比度信噪比增长度(upCNR)4种评价指标。当降噪后超声图像的这4种评价指标的值较大时,表明该方法对于超声图像的降噪有较好的效果。对于降噪后超声图像质量的评价,需要综合主观评价指标和客观评价指标两个方面进行分析,当主观评价指标和客观评价指标都较好时,表明该方法对于超声图像的降噪有较好的效果。
5.2 超声图像的评价指标
通常采用SNR[20]和CNR[21]这两个指标来评价超声图像的质量。一般通过SNR和CNR这两个评价指标能够看出图像质量,它们的值越大,说明图像处理后的失真越小,即图像的质量越高。SNR和CNR这两个指标的定义分别为
式中:μ是均值;μt与μb分别是组织区域与噪声区域的均值;σb是噪声区域的方差。
为了能够更好地衡量本文方法对于超声图像的滤波效果,本文中除了用到SNR和CNR这两个指标外,还使用了另外的两个评价指标:upSNR和upCNR。通过upSNR和 upCNR这两个指标能够看出图像滤波前后的质量的提高程度,它们分别表示滤波前后的信噪比的变化量和对比度信噪比的变化量。upSNR和upCNR这两个指标的定义分别为
式中:RCNR,result为去噪处理后的超声图像的CNR值;RSNR,result为去噪处理后的超声图像的SNR值;RSNR,original为原始超声图像(即去噪处理之前的超声图像)的SNR值;RCNR,original为原始超声图像(即去噪处理之前的超声图像)的CNR值。
5.3 实验结果与分析
为了验证本文提出的超声图像降噪方法的有效性,本文对4幅超声图像(物理体膜超声图像、肝脏超声图像1、肝脏超声图像2和肾脏超声图像)进行了实验。分别利用P-M模型、边缘保持的各向异性扩散(DPAD)算法、DnCNN网络模型和本文方法对这4幅超声图像进行降噪处理,并对比分析了4种方法的去噪处理结果。实验中,P-M模型的实验参数设置为:平滑时间步长是0.8,迭代的次数为100,平滑窗口大小为3×3。DPAD算法的实验参数设置为:平滑时间步长是0.5,迭代的次数设置为100,平滑窗口大小为 3×3。DnCNN网络模型的实验参数设置为: 网络中每个卷积层的初始权重均设置为均值和标准差分别是0和0.05的正态分布,初始偏置均设置为0,batch size设置为64,通过 Adam算法来优化损失函数,初始的学习率设置为10-3,伴随着训练的进行最后慢慢衰减到10-5。本文方法的实验参数设置为:窗口大小为9×9,迭代次数设为10次,双边滤波器实现自适应滤波时的标准差是根据BP神经网络预测的相似度值计算得到的。4幅超声图像的降噪效果对比图如
图 3. 物理体膜超声图像降噪效果对比图。(a)原图;(b) P-M模型;(c) DPAD算法;(d) DnCNN模型;(e)本文方法
Fig. 3. Denoising results of physical phantom ultrasonic image. (a) Original image; (b) P-M model; (c) DPAD method; (d) DnCNN model ; (e) our method
表 1. 物理体膜超声图像降噪结果的客观分析
Table 1. Objective analysis of denoising results of physical phantom ultrasonic image
|
图 4. 肝脏超声图像1降噪效果对比图。(a)原图;(b) P-M模型;(c) DPAD算法;(d) DnCNN模型;(e)本文方法
Fig. 4. Denoising results of liver ultrasonic image 1. (a) Original image; (b) P-M model; (c) DPAD method; (d) DnCNN model; (e) our method
表 2. 肝脏超声图像1降噪结果的客观分析
Table 2. Objective analysis of denoising results of liver ultrasonic image 1
|
图 5. 肝脏超声图像2降噪效果对比图。(a)原图;(b) P-M模型;(c) DPAD算法;(d) DnCNN模型;(e)本文方法
Fig. 5. Denoising results of liver ultrasonic image 2. (a) Original image; (b) P-M model; (c) DPAD method; (d) DnCNN model; (e) our method
表 3. 肝脏超声图像2降噪结果的客观分析
Table 3. Objective analysis of denoising results of liver ultrasonic image 2
|
图 6. 肾脏超声图像降噪效果对比图。(a)原图;(b) P-M模型;(c) DPAD算法;(d) DnCNN模型;(e)本文方法
Fig. 6. Denoising results of kidney ultrasonic image. (a) Original image; (b) P-M model; (c) DPAD method; (d) DnCNN model; (e) our method
表 4. 肾脏超声图像降噪结果的客观分析
Table 4. Objective analysis of denoising results of kidney ultrasonic image
|
在
4组超声图像降噪实验的评价指标(SNR、CNR、upSNR、upCNR)如
通过视觉效果和评价指标两方面的分析和比较,发现本文的基于BP神经网络的自适应双边滤波方法的视觉效果和评价指标都优于P-M模型和DPAD算法,就评价指标而言,虽然DnCNN模型的评价指标要比本文算法略好一些,但DnCNN模型是一种深度学习模型,网络的层数较深,因此训练所需的时间相较于本文算法会更长,并且DnCNN模型对于边缘信息的保护程度也不如本文方法。对4组超声图像降噪实验的分析表明本文方法能对超声图像的噪声区域进行最大程度的平滑,较好地抑制了超声图像斑点噪声并保护了边缘信息。
6 结论
超声图像中的斑点噪声会降低超声图像的质量,进而会影响后续临床中的诊断和图像处理。为了有效地抑制超声图像斑点噪声,提出了一种基于BP神经网络的自适应双边滤波的超声图像降噪方法,该方法利用了BP神经网络较强的学习能力与较好的容错能力,通过将BP神经网络预测的相似度值与双边滤波器的标准差建立联系,实现了超声图像的自适应双边滤波,即实现了超声图像中的噪声区域和组织区域的区分。4组超声图像降噪的实验都表明,相较于P-M模型和DPAD算法,本文方法能有效地抑制超声图像中存在的斑点噪声,并较好地保留超声图像中组织区域的边缘特征,使得滤波后的超声图像有更好的视觉效果,为后续的图像处理提供良好的基础。
但本文方法也可能会影响超声图像中的一些细节信息,这也是本文方法待改进的地方,是本课题组下一步研究的重点。在下一步的研究中,本课题组将会使用更多的超声图像作为数据集去训练本文中的网络,也会对该网络的结构和参数进行优化,以进一步地提高超声图像降噪的效率。针对超声图像的降噪,本课题组还会尝试将BP神经网络换成其他的机器学习方法或深度学习的方法(如借鉴残差网络的思想来对超声图像进行去噪),将超声图像的降噪过程对其细节信息的影响降到最小,进一步地改善超声图像降噪的效果,从而为超声医学图像的临床诊断和后续处理提供更多便利。
[1] 王艳丹, 高上凯. 超声成像新技术及其临床应用[J]. 北京生物医学工程, 2006, 25(5): 553-555, 560.
[2] 陈韬亦. 医学超声图像去噪方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2008.
Chen TY. Research on methods of medical ultrasound image denoising[D]. Harbin: Harbin Institute of Technology, 2008.
[3] Pizurica A, Philips W, Lemahieu I, et al. A versatile wavelet domain noise filtration technique for medical imaging[J]. IEEE Transactions on Medical Imaging, 2003, 22(3): 323-331.
[7] 陈婷婷, 沈民奋, 杨金耀. 一种复合各向异性扩散的图像去噪算法[J]. 数据采集与处理, 2014, 29(5): 757-763.
Chen T T, Shen M F, Yang J Y. Algorithm based on compound anisotropic diffusion for image denoising[J]. Journal of Data Acquisition and Processing, 2014, 29(5): 757-763.
[8] Yu Y J, Acton S T. Speckle reducing anisotropic diffusion[J]. IEEE Transactions on Image Processing, 2002, 11(11): 1260-1270.
[10] 冯佩, 李俣. 基于人工神经网络和粒子群优化的半导体激光器参数反向设计方法[J]. 中国激光, 2019, 46(7): 0701001.
[11] 陈丹, 王晨昊, 姚伯羽. 基于模糊聚类与BP神经网络的无线光副载波调制识别[J]. 激光与光电子学进展, 2018, 55(6): 060602.
[12] 张琼, 李斌. 超声斑点噪声的形成原理及模型[J]. 电子技术与软件工程, 2014( 14): 118- 120.
ZhangQ, LiB. The formation principle and model of ultrasound speckle[J]. Electronic Technology & Software Engineering, 2014( 14): 118- 120.
[13] SinghP, Mukundan R, de Ryke R. Synthetic models of ultrasound image formation for speckle noise simulation and analysis[C]//2017 International Conference on Signals and Systems (ICSigSys), May 16-18, 2017, Sanur, Indonesia.New York: IEEE Press, 2017: 278- 284.
[14] 王晓婧. 散斑跟踪技术在超声心动图图像分析处理中的应用研究[D]. 济南: 山东大学, 2007.
Wang XJ. The application research of speckle tracking in echocardiography processing and analysis[D]. Jinan: Shandong University, 2007.
[15] Tuthill T A, Sperry R H, Parker K J. Deviations from Rayleigh statistics in ultrasonic speckle[J]. Ultrasonic Imaging, 1988, 10(2): 81-89.
[16] Mohana Shankar P. A general statistical model for ultrasonic backscattering from tissues[J]. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 2000, 47(3): 727-736.
[17] 张宏群, 陈小晴, 陶兴龙. 基于混合阶偏微分方程的超声图像降噪[J]. 信息技术, 2013, 37(1): 77-80, 84.
Zhang H Q, Chen X Q, Tao X L. Method of ultrasound image denoising based on hybrid-order PDE[J]. Information Technology, 2013, 37(1): 77-80, 84.
[18] 宓保宏, 洪文学, 宋佳霖, 等. 基于红外热成像技术与BP神经网络的心肌缺血预诊断方法研究[J]. 激光与光电子学进展, 2019, 56(1): 011101.
[19] based on infrared thermal imaging and BP neural
ParisS, KornprobstP, TumblinJ, et al. Bilateral filtering: Theory and applications[M]. Hanover: Now Publishers Inc., 2008.
[21] Chen Y, Yin R M, Flynn P, et al. Aggressive region growing for speckle reduction in ultrasound images[J]. Pattern Recognition Letters, 2003, 24(4/5): 677-691.
Article Outline
朱小方, 净亮, 邵党国. 基于反向传播神经网络的自适应双边滤波的超声图像降噪[J]. 激光与光电子学进展, 2020, 57(24): 241014. Xiaofang Zhu, Liang Jing, Dangguo Shao. Ultrasonic Image Denoising Using Adaptive Bilateral Filtering Based on Back Propagation Neural Network[J]. Laser & Optoelectronics Progress, 2020, 57(24): 241014.