基于深度残差学习的乘性噪声去噪方法 
下载： 2140次
1 引言
噪声可以分为乘性噪声和加性噪声两大类,去噪过程即从带噪声的图像中恢复出最初的图像。乘性噪声广泛存在于医学、遥感等成像领域,乘性噪声的存在会影响图像的质量,从而严重影响后续图像的分割、配准、分类与识别等[1]。因此,研究去除乘性噪声的方法具有重要的意义。在激光图像、超声波图像、显微图像、核磁共振图像及合成孔径雷达(SAR)图像中均存在乘性噪声,所以有效去除这些图像中的乘性噪声是图像处理领域的重要问题之一[2-4]。在过去的几十年里,用于去除乘性噪声的模型包括非局部自相似性(NSS)模型[5]、稀疏模型[6]、梯度模型[7]和马尔可夫随机场(MRF)模型[8-10]。张彤等[11]针对存在于大气激光通信系统中的乘性噪声提出一种频域反卷积方法,该方法能够降低大气激光通信系统的误码率,是一种抑制大气信道乘性噪声的有效方法;霍雷刚等[1]针对自然图像提出一种能够同时利用光滑性、稀疏性和自相似性的高阶奇异值分解(HOSVD)和全变正则的乘性噪声去除模型;Dong等[12]提出一种基于加强正则化稀疏分析模型来去除乘性噪声;Li等[13]提出利用自适应字典学习法来去除乘性噪声。尽管通过这些模型去噪后的图像质量很高,但通常存在两个缺点:1) 这些方法通常包括一个比较复杂的优化问题,使去噪过程较为耗时,因此,大多数方法很难在保证计算效率的情况下实现高性能;2) 这些模型在去噪过程中需要人工调整参数,不能完全实现智能化[14]。为了克服上述缺点,Zhang等[8]提出一种针对高斯噪声的深度残差学习模型,该模型利用深度卷积神经网络(CNN)不断学习每层网络的残差,将高斯噪声从噪声图像中分离出来,进而实现图像去噪。该模型对高斯噪声具有很好的去除效果,但是由于其全卷积的网络结构,训练时间较长。因此,本文对该模型进行改进,在网络结构上加入池化层,对数据进行了降维处理,从而缩短了训练时间。在训练数据集选取方面,选用伯克利分割数据集(BSD)作为训练数据。在训练过程中,针对乘性噪声的特性,不断调整网络参数,得到去除乘性噪声的模型。然后对不同类型的图像(包括遥感图像)进行测试,结果表明改进后的模型不仅对含有乘性噪声的图像具有良好的去噪效果,而且在效率上得到了提高。
2 去噪模型
CNN是图像处理领域一个重要的应用,主要包括卷积(Conv)层、池化(Pool)层、全连接层。本文涉及到卷积层和池化层,卷积层主要考虑卷积核尺寸、卷积核数目以及学习率对模型效果和速度的影响。引用池化层之后能够减少卷积层输出的特征向量,降低维度,提高训练速度,并且不容易出现过拟合现象,改善图像处理效果[15]。随着深度学习网络不断发展,增加网络深度能够提升结果的准确度,但是随着深度的不断加深,会出现一个不可避免的问题,即在层数较少时,增加网络深度可以获得更好的表达效果,但是当层数足够多(比如超过30层)时,增加深度反而会降低识别率。这是因为当层数加深时,梯度在传播过程中逐渐消失,导致无法对前面几层的权重进行调整。近年来众多学者致力于解决梯度消失问题,利用规范初始化和引入中值规范化层的方式,采用随机梯度下降(SGD)方法使得反馈网络的求解得以收敛。针对准确度下降问题,文献[
16]提出残差学习框架,如
假设潜在映射为
图像去噪的目的是从被噪声腐蚀的图像中恢复图像的原始信息。传统的去噪算法是将原始图像人为地添加不同类型的噪声,退化为含噪图像,处理后获得原始图像的一个估计图,并使其尽可能接近原始图像。本文在设计CNN结构过程中,通过引入残差优化,不断加深网络深度,不断优化噪声图,最终找到最优的恒等映射。
设计了一个34层的网络模型。在模型中有4种类型的层,网络涉及到的卷积核是一个权值矩阵,大小均设置为3×3,网络每层的特征映射图均为64。
1) Conv+ReLU层:该层设置在网络的第一层,随机选取原始输入图像一小块区域作为训练样本,从该小块样本中学习到一些特征,然后将这些特征作为滤波器,与整个原始图像作卷积运算,从而得到原始图像中任意位置上的不同特征的激活值。然后将该局部加权和传递给一个非线性函数线性整流函数(ReLU)函数,即可获得该层中每个神经元的输出值。
2) Pool层:由于采用的训练图像维度较大,为了减少运算量和数据维度,在第二层引用池化层。池化层旨在通过降低特征面的分辨率来获得空间不变性的特征。设置池化核为2×2,池化步长默认为1。
3) Conv+批正则化(BN)+ReLU层:将该层设置在3~33层,和第1层不同的是在训练过程中引入BN。在训练过程中,每层网络中的输入分布会受上一层网络参数的影响,这会增加网络训练的复杂度,为保证梯度下降法更新参数时收敛,在训练更新网络参数时需要设置一个很小的初始学习率,且须慎重选取初始学习参数,这将导致训练时间增加。为解决上述问题,采取BN处理神经网络每层的输入,即对每个训练样本输入提取“小批”样本进行正则化处理。
4) Conv层:在最后一层设置单独的卷积层,作为网络最后的输出层。
在训练过程中,利用残差学习策略不断地学习
3 实验与分析
3.1 训练数据及实验环境
选取伯克利大学计算机视觉组提供的主要用于图像分割和检测的伯克利分割数据集(BSD) [17]。为避免其他因素的影响,首先对数据进行处理,使得每幅图像大小都为256 pixel×256 pixel。在数据量选取方面,由于使用更大的训练数据集只能带来小幅性能提升,所以随机选取400幅图像作为训练样本。为验证算法对不同噪声水平的有效性,对数据添加方差分别为0.02,0.04,0.06,0.08,0.1的乘性噪声,然后对每一种噪声水平分别进行训练,得到相应的网络模型。最后使用了经典图像进行测试,如
3.2 实验结果分析
在相同计算机环境下对6幅图像进行了仿真实验。采用峰值信噪比(PSNR)和结构相似性(SSIM)两个指标对去噪结果进行客观评价,其定义分别如下:
式中
式中
为了验证本文算法的有效性,将其分别与Lee滤波、Frost滤波、传统非局部平均(NL)方法[18]和三维块匹配(BM3D)算法进行对比。其中Lee滤波是利用图像局部统计特性进行图像斑点滤波的典型方法之一;Frost滤波器是特定大小窗口的像素值和指数脉冲响应卷积的Wiener自适应滤波器;NL去噪算法是通过对自相似结构块作加权平均来估计参考块的中心点,从而降低噪声,尽管NL方法取得了很好的去噪效果,但对原图像的结构信息保护不够。文献[ 19]根据图像块之间的相似性提出了三维块匹配(BM3D)算法。
对受乘性噪声污染的6幅图像(Lena,Baboon,Barbara,Boats,Peppers,Satellite)分别进行两组实验。
1) 实验一
为验证算法对不同图像的有效性,在噪声水平确定的情况下(均值为0、方差为0.04),采用5种方法分别对6幅测试图像进行去噪处理,其主观视觉结果如
图 4. 相同噪声水平条件下不同去噪方法的去噪结果。(a)含噪图像;(b) Lee方法;(c) Frost方法;(d) BM3D方法;(e) NL方法;(f) CNN方法
Fig. 4. Results of different methods for test images under the same noise level. (a) Noise images; (b) Lee method; (c) Frost method; (d) BM3D method; (e) NL method; (f) CNN method
另外,
2) 实验二
为了验证方法对不同噪声水平的有效性,分别对Lena图像添加均值为0、方差分别为0.02、0.04、0.06、0.08和0.1的乘性噪声,然后分别采用5种方法对所选图像进行去噪处理。
图 5. 不同去噪方法去噪细节对比图。(a) Lee方法;(b) Frost方法;(c) BM3D方法;(d) NL方法;(e) CNN方法
Fig. 5. Detail comparison of different denoising methods.(a) Lee method; (b) Frost method; (c) BM3D method; (d) NL method; (e) CNN method
表 1. 相同噪声水平条件下不同方法对测试图像的PSNR
Table 1. PSNR of different methods for test images under the same noise leveldB
|
表 2. 相同噪声水平下不同方法对测试图像的SSIM
Table 2. SSIM of different methods for test images under the same noise level
|
图 6. 不同噪声水平条件下CNN方法的去噪结果。(a) σ2=0.02;(b) σ2=0.04;(c) σ2=0.06;(d) σ2=0.08;(e) σ2=0.1
Fig. 6. Denoising results of CNN method under different noise levels. (a) σ2=0.02; (b) σ2=0.04;(c) σ2=0.06; (d) σ2=0.08; (e) σ2=0.1
表 3. 不同噪声水平下不同方法的PSNR
Table 3. PSNR of different methods under different noise levelsdB
|
表 4. 不同噪声水平下不同方法的SSIM
Table 4. SSIM of different methods under different noise levels
|
图 7. 不同噪声水平下去噪变化曲线。(a) PSNR;(b) SSIM
Fig. 7. (a) PSNR and (b) SSIM of different denoising methods versus noise level
综上所述,CNN方法不仅可以有效去除噪声,而且能更好地保留原始图像的重要信息,同时具有较好的视觉效果。
4 结论
结合CNN和深度残差学习方法,提出了一种乘性噪声去除方法。为验证该方法的有效性,对测试图像进行了仿真实验,并与几种经典方法进行了比较。实验结果表明,在去噪对象方面,本文方法在不同噪声水平条件下,对不同图像的去噪能力均较好,且效果明显优于其他几种经典算法。在去噪效果方面,本文方法不但能在平滑区域将乘性噪声去除,而且可以很好地保持图像的结构信息,使得图像在边缘处的能量几乎没有损失。通过以上分析可以得出,不管是视觉上的主观评价,还是定量的客观评价,本文方法都具有一定优势,这为后续SAR图像相干斑噪声处理、目标识别的研究奠定了基础。但是,本文方法在某些局部区域还存在噪声,这与训练数据的选取和数量有一定关系,后续将会进一步完善。
[1] 霍雷刚, 冯象初, 王旭东, 等. 高阶SVD和全变差正则的乘性噪声去除模型[J]. 西安电子科技大学学报, 2016, 43(3): 78-84.
Huo L G, Feng X C, Wang X D, et al. Higherorder singular value decomposition-and total variation-regularized multiplicative noise removal model[J]. Journal of Xidian University, 2016, 43(3): 78-84.
[2] 任少美, 张化朋. 基于自适应全变差的乘性噪声去噪算法[J]. 南京邮电大学学报(自然科学版), 2016, 36(3): 74-78.
Ren S M, Zhang H P. Multiplicative denoising algorithm based on adaptive total variation[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2016, 36(3): 74-78.
[3] 张宝华, 刘鹤. 采用子带分量阈值估计的红外图像去噪方法[J]. 中国激光, 2014, 41(8): 0809002.
[4] 谭志国, 欧建平, 张军, 等. 一种层析深度图像去噪算法[J]. 光学学报, 2017, 37(5): 0510002.
[5] XuJ, ZhangL, ZuoW, et al. Patch group based nonlocal self-similarity prior learning for Image denoising[C]. IEEE International Conference on Computer Vision, IEEE Computer Society, 2015: 244- 252.
[9] Li SZ. Markov random field modeling in image analysis[M]. Berlin: Springer Science & Business Media, 2009.
[10] Burger HC, Schuler CJ, HarmelingS. Image denoising: Can plain neural networks compete with BM3D?[C]. Computer Vision and Pattern Recognition, 2012: 2392- 2399.
[11] 张彤, 范研, 赵谦. 大气激光通信系统中频域反卷积抑制乘性噪声的研究[J]. 中国激光, 2015, 42(5): 0513002.
[15] 肖进胜, 刘恩雨, 朱力, 等. 改进的基于卷积神经网络的图像超分辨率算法[J]. 光学学报, 2017, 37(3): 0318011.
[16] HeK, ZhangX, RenS, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770- 778.
[17] SchmidtU, RothS. Shrinkage fields for effective image restoration[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 2774- 2781.
Article Outline
张明, 吕晓琪, 吴凉, 喻大华. 基于深度残差学习的乘性噪声去噪方法[J]. 激光与光电子学进展, 2018, 55(3): 031004. Ming Zhang, Xiaoqi Lü, Liang Wu, Dahua Yu. Multiplicative Denoising Method Based on Deep Residual Learning[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031004.
PDF全文
