基于非对称卷积神经网络的图像去噪

甘建旺; 沙芸; 张国英

doi:doi:10.3788/LOP57.221018

激光与光电子学进展, 2020, 57 (22): 221018, 网络出版: 2020-11-05

基于非对称卷积神经网络的图像去噪下载： 670次

Image Denoising Based on Asymmetric Convolutional Neural Networks

论文大纲

甘建旺 ¹沙芸 ^1,*张国英 ²

作者单位

¹ 北京石油化工学院信息工程学院, 北京 102617

² 中国矿业大学(北京)机电与信息工程学院, 北京 100083

图像处理非对称卷积神经网络去噪跳跃连接光子噪声 image processing asymmetric convolutional neural network denoising skip connection photon noise

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

由于图像的像素越来越小,数字成像传感器输出的信号对光子噪声的敏感性越来越强,使光子噪声成为数字图像传感器噪声的主要来源。鉴于此,提出一种基于非对称卷积神经网络的图像去噪算法。为了提高模型的泛化能力,将网络框架分为噪声评估网络和去噪网络两部分。为了减少编码器与解码器中网络特征映射之间的语义差距,对去噪网络中的跳跃连接进行改进,使特征在语义上更相似,以便于任务的优化处理。从定性和定量方面进行对比实验,实验结果表明,改进后的网络模型的去噪性能更佳。

Abstract

Owing to the continuing decrement in the pixels of the images, the signal output of the digital imaging sensor is increasingly sensitive to photon noise, making the photon noise the main source of noise in the digital image sensor. To address this issue, an image denoising algorithm based on asymmetric convolutional neural networks is proposed herein. To enhance the generalization ability of the model, the network framework is divided into two parts: noise evaluation network and denoising network. To reduce the semantic gap between the network feature mapping in the encoder and the decoder, the skip connection in the denoising network is improved to make the features more similar in semantics to facilitate task optimization. From the qualitative and quantitative aspects of comparative experiments, the experimental results show that the proposed network model exhibits better denoising performance.

1 引言

图像去噪是计算机视觉领域中非常经典的问题之一,其是从包含噪声的图像中还原潜在的且相对干净的图像。虽然传感器的电和热特性已有显著改善^[1],但目前每个像素的尺寸越来越小。数字图像传感器输出的信号对光子噪声的敏感性越来越强,因此光子噪声是数字图像传感器中噪声的主要来源^[2]。图像中多余噪声的去除可以带来更佳的视觉效果,提高图像质量,处理后的图像会影响后续图像的分类、分割和识别等^[3]。

图像去噪的方法分为基于传统算法的图像去噪和基于深度学习的图像去噪两类。基于传统算法的图像去噪的处理方法:一类是专注于噪声图像的局部平滑,在去噪的基础上尽可能地保留图像边缘细节,使用的滤波方法有双边滤波^[4]和高斯滤波^[5]等;另一类是利用图像先验模型对图像进行去噪,使用的算法有非局部算法^[6]和BM3D(Block-Matching and 3D filtering)算法^[7]等。其中BM3D算法是传统算法中经典的去噪算法之一,采用该算法将图像分为一定大小的块,将具有相似特征的块合并成三维数组,采用联合滤波的方法对其进行处理,之后通过逆变换获得去噪后的图像。基于深度学习的图像去噪方法主要分为基于多层感知器(MLP)^[8]和全卷积网络(FCN)^[9]。基于MLP的图像去噪方法的处理过程:首先将原始图像拆分为大小相同的图像块,然后对每个图像块进行去噪,最后对去噪后的图像块进行拼接,对重叠部分的图像块进行聚合,从而得到去噪后的图像^[8]。采用该方法处理图像耗时较长且容易造成网络模型的过拟合。基于FCN的去噪方法有去噪卷积神经网络(DnCNN)^[10]和卷积盲去噪网络(CBDNet)^[11]。DnCNN为FCN^[10],其噪声类型为加性高斯白噪声,而数据集中的噪声具有单一性,则训练的模型对于数字成像传感器产生的噪声,去噪效果较差。CBDNet模型^[11]分为噪声评估模型和去噪模型两部分,其训练数据集使用泊松高斯(Poissonian-Gaussian)模型^[2]的模拟数据集和真实噪声数据集,该模型对相机内部噪声的去噪效果较好。

FCN去噪的成功依赖于训练数据集与真实噪声之间是否匹配,因此本文采用Poissonian-Gaussian模型模拟真实噪声的形成过程,同时使用公共数据集RENOIR^[12]作为模型的训练数据集,此外为了提高模型的泛化能力,将模型分为噪声评估网络模型和U型去噪网络模型两部分。

2 所提方法

2.1 图像噪声模型

实验使用的训练数据集可分为模拟数据集和公共数据集RENOIR^[12]两部分。其中模拟数据集是使用Poissonian-Gaussian模型^[2]来模拟图像噪声以及光子传感器产生的噪声,剩余的稳态扰动使用高斯模型来模拟,噪声模拟的具体方法如下。

与信号相关的噪声模型可以表示为

式中: $x$ 表示像素的位置; $F (x)$ 表示待观测信号; $y (x)$ 表示原始信号; $ξ (x)$ 表示期望 $E [ξ (x)] = 0,$ 方差 $Var [ξ (x)] = 1$ 的独立随机噪声; $σ [y (x)]$ 表示总体分量的标准差。

假设 $σ [y (x)] ξ (x)$ 由泊松分布 $η_{p}$ 和高斯分布 $η_{g}$ 组成,可以表示为

由分布函数可以得到

式中: $b 、 λ 表示参数, 此时 b \geq 0, λ > 0; N$ 表示正态分布。根据泊松分布的性质,可以得到 $Var \{η_{p} [y (x)]\} = ay (x),$ 其中 $a = λ^{- 1},$ 因此(1)式的 $σ [y (x)]$ 可以表示为

泊松高斯模型服从异方差高斯分布,可以表示为

图像信号传感器输出的信号经过图像处理器(ISP)处理后,使得噪声在空间与色彩上相关,因此对噪声模型进行改进,可以表示为

式中: $f (\cdot)$ 表示相机的响应函数(CRF)^[13]; $D (\cdot)$ 表示去噪函数^[14],其插值会涉及不同通道和空间位置的像素; $Z (x)$ 表示合成的噪声图像,如图1所示。其中每组图像中左侧为原始图像,右侧为合成的噪声图像。

图 1. 部分合成的噪声图像。

Fig. 1. Partially synthesized noise images.

下载图片查看所有图片

2.2 网络模型

实验将UNet++^[15]中的跳跃连接应用到CBDNet^[11]的U型去噪子网中,加入的跳跃连接旨在减少编码器和解码器中子网特征映射之间的语义差距。当特征映射在语义上相似时,优化任务将更容易被处理^[15]。

CBDNet^[11]模型如图2所示,该网络模型由噪声评估网络模型和去噪网络模型两部分组成,目的是为了提高模型的泛化能力。噪声评估网络架构中使用5个卷积层,每个卷积层中的卷积核大小为3×3,步长为1,输出通道数为32,激活函数为线性整流函数;去噪网络架构为16层U型架构,其中跳跃连接是将编码器和解码器中的特征映射进行连接。

图 2. CBDNet模型

Fig. 2. CBDNet model

下载图片查看所有图片

对图2中的U型网络架构进行简化,结果如图3所示。其中 $X_{i, j}$ 表示CBDNet去噪子网中具有相同输出通道数的特征映射层, $i$ 表示沿着编码器的索引, $j$ 表示沿着跳跃连接的索引,如X_1,0表示CBDNet去噪子网输出通道大小为64的卷积层,对X_1,0进行下采样后得到输出通道数为128的X_2,0。

图 3. CBDNet去噪子网架构

Fig. 3. CBDNet denoising subnet architecture

下载图片查看所有图片

UNet++^[15]模型如图4所示,该网络模型由编码器和解码器嵌套组成,本质上为自编码器网络,其中L表示总的损失函数。UNet++^[15]模型中,重新设计跳跃连接,减少编码器与解码器中子网特征映射之间的语义差距,使得特征映射在语义上相似,优化任务变得简单^[15]。 $X_{i, j}$ 的计算表达式为

式中: $H (\cdot)$ 表示卷积运算; $U (\cdot)$ 表示上采样。

图 4. UNet++架构

Fig. 4. UNet++ architecture

下载图片查看所有图片

将UNet++模型中重新设计的跳跃连接应用到CBDNet的去噪子网中,即可得到实验使用的模型,如图5所示。

图 5. 改进的网络模型

Fig. 5. Improved network model

下载图片查看所有图片

2.3 损失函数

损失函数采用CBDNet^[11]模型中的损失函数,其中损失函数分为噪声评估模型损失函数和去噪模型损失函数两部分。噪声评估模型损失函数可以表示为

L₁= $\sum_{x} |α - I_{e}|$ × ${[\dot{v} (o_{x}) - v (o_{x})]}^{2}$ ,(9)

式中:α表示参数,此时 $0 < α < 0.5; v (o_{x}) 和 \dot{v} (o_{x})$ 分别表示在位置 $x$ 处像素 $o_{x}$ 的真实噪声和估计噪声; $\dot{v} (o_{x}) - v (o_{x}) I_{e}$ 表示当 $e < 0 时 I_{e} = 1,$ 其他条件为零,则更大的惩罚项将作用于参数的调节。此外为了约束 $\dot{v} (o_{x})$ 过度平滑,将在 $L_{1}$ 后加上正则项,可表示为

式中: $\nabla_{h} 和 \nabla_{v}$ 分别表示沿着水平和垂直方向上的梯度算子。

去噪模型的损失函数可以表示为

式中: $\dot{x}$ 表示预测图像: $x$ 表示真实无噪图像。

总的损失函数可表示为

式中: $λ_{1} 和 λ_{r}$ 表示噪声评估模型的权衡参数。

3 实验结果与分析

3.1 数据集和评价指标

3.1.1 数据集

在经典的RENOIR数据集^[12]和VOC数据集中,使用Poissonian-Gaussian模型生成的数据作为训练数据集,将公共数据集PloyU^[16]作为测试数据集,实验从测试集中任选10张图像进行测试。

3.1.2 评价标准

评价标准有客观评价和主观评价。客观评价标准是采用峰值信噪比(PSNR)^[17]和结构相似性(SSIM)^[17]作为定量的评价标准,表达式为

式中: $E_{MSE}$ 表示原图像与去噪图像的均方误差(MSE); $ε_{1} 和 ε_{2}$ 表示两幅图像的均值; $γ_{1}^{2} 和 γ_{2}^{2}$ 表示两幅图像的方差; $γ_{12}$ 表示图像1和2的协方差; $d_{1} = {(k_{1} o_{x})}^{2}, d_{2} = {(k_{2} o_{x})}^{2}; k_{1} = 0.01, k_{2} = 0.03; n 为常数。$ 计算得到,PSNR值为0~100,SSIM值为0~1,两幅图像越相似,PSNR和SSIM值越大,即去噪效果越好。

主观评价标准是在人的主观视觉中,根据自然图像的先验知识,将图像与已有先验知识的场景进行对比。

3.2 实验环境与参数选择

网络的训练和测试都是在Pytorch工具上进行的。实验硬件设备为Intel 2.20GHz CPU,NVIDIA GeForce GTX 1080 Ti。采用Adam梯度下降算法对回归目标进行优化训练,初始化学习率为0.0001,训练201次迭代后终止训练。

3.3 结果分析

为了验证网络模型的有效性,对网络模型进行实验对比。首先从公共数据集PloyU中选取10张图像,将改进的CBDNet与标准CBDNet得到的结果进行对比,PSNR和SSIM的结果如表1和表2所示。然后将公共数据集PolyU^[16]中的40张图像作为测试数据集,分别使用BM3D、CBDNet及改进CBDNet方法得到的结果进行对比,实验结果如表3所示,从整体的测试结果来看,改进CBDNet的PSNR值和SSIM值大于BM3D^[7]和CBDNet^[11]。

表 1. 10张图像的PSNR

Table 1. PSNR of 10 images

No.	CBDNet	Improved CBDNet
1	35.769720	35.880955
2	31.461794	30.128640
3	36.202120	36.103760
4	33.205257	33.806810
5	35.034992	34.901047
6	38.669327	40.513270
7	37.770805	37.781620
8	34.800518	34.688103
9	34.610195	34.964275
10	34.232903	34.225975
Mean value	35.175762	35.299446

查看所有表

表 2. 10张图像的结构相似度

Table 2. SSIM of 10 images

No.	CBDNet	Improved CBDNet
1	0.94174070	0.94231653
2	0.96375257	0.96220344
3	0.97295123	0.97360283
4	0.97548705	0.97699260
5	0.97754630	0.97723440
6	0.97962856	0.97987250
7	0.98251104	0.98210240
8	0.98582670	0.98583820
9	0.96994860	0.97106440
10	0.97935563	0.97972226
Mean value	0.97287480	0.97309494

查看所有表

表 3. PSNR与SSIM的均值

Table 3. Mean of PSNR and SSIM

Type	BM3D	CBDNet	Improved CBDNet
PSNR	35.00	35.200	35.400
SSIM	0.86	0.972	0.973

查看所有表

从PolyU数据集^[16]中随机选取三张样本图像,去噪结果如图6~8所示,其中图中数据为算法处理后的PSNR值。从图6~8可以看到,改进的CBDNet方法的视觉效果更好。

图 6. 图像 1的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 6. Denoising results of image 1. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

下载图片查看所有图片

图 7. 图像 2的去噪结果。(a)原始图像;(b)噪声图像; (c) CBDNet;(d)改进的CBDNet

Fig. 7. Denoising results of image 2. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

下载图片查看所有图片

图 8. 图像 3的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 8. Denoising results of image 3. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

下载图片查看所有图片

4 结论

基于CBDNet架构^[11]对其去噪部分的U型网络架构进行改进,将UNet++^[15]中的跳跃连接应用到CBDNet中,旨在减少编码器和解码器中子网特征映射之间的语义差距;去噪后的图像可以解决边缘细节的损失、边界伪影和清晰度变差的问题。实验结果表明,对CBDNet模型的改进能够提高PNSR和SSIM,这为后续的目标检测、识别和跟踪等应用提供很好的图像样本数据集,并具有很好的实用性。

参考文献

[1] RhodesH, AgranovG, HongC, et al. CMOS imager technology shrinks and image performance[C]//2004 IEEE Workshop on Microelectronics and Electron Devices, April 16-16, 2004, Boise, ID, USA. New York: IEEE, 2004: 7- 18.

[2] Foi A, Trimeche M, Katkovnik V, et al. Practical Poissonian-Gaussian noise modeling and fitting for single-image raw-data[J]. IEEE Transactions on Image Processing, 2008, 17(10): 1737-1754.

[3] 陈曦. 基于深度卷积神经网络的图像去噪[D]. 合肥: 合肥工业大学, 2019.

ChenX. Image denoising based on deep convolutional neural networks[D]. Hefei: Hefei University of Technology, 2019.

[4] Zhang B Y, Allebach J P. Adaptive bilateral filter for sharpness enhancement and noise removal[J]. IEEE Transactions on Image Processing, 2008, 17(5): 664-678.

[5] Weiss B. Fast median and bilateral filtering[J]. ACM Transactions on Graphics, 2006, 25(3): 519-526.

[6] Buades A, Coll B, Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.

[7] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[8] Burger HC, Schuler CJ, Harmeling S. Image denoising with multi-layer perceptrons, part 1: comparison with existing algorithms and withbounds[EB/OL]. ( 2012-11-09)[2020-04-01]. org/abs/1211. 1544. https://arxiv.

[9] LongJ, ShelhamerE, DarrellT. Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 3431- 3440.

[10] Zhang K, Zuo W M, Chen Y J, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.

[11] GuoS, Yan ZF, ZhangK, et al. Toward convolutional blind denoising of real photographs[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 1712- 1722.

[12] Anaya J, Barbu A. RENOIR - A dataset for real low-light image noise reduction[J]. Journal of Visual Communication and Image Representation, 2018, 51: 144-154.

[13] Grossberg M D, Nayar S K. Modeling the space of camera response functions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(10): 1272-1282.

[14] Malvar HS, He LW, CutlerR. High-quality linear interpolation for demosaicing of Bayer-patterned color images[C]//2004 IEEE International Conference on Acoustics, Speech, and Signal Processing, May 17-21, 2004, Montreal, Que., Canada. New York: IEEE, 2004: 8038960.

[15] Zhou ZW, Rahman Siddiquee M M, Tajbakhsh N, et al. UNet++: a nested U-Net architecture for medical image segmentation[M] //Stoyanov D, Taylor Z, Carneiro G, et al. Deep learning in medical image analysis and multimodal learning for clinical decision support. Lecture notes in computer science. Cham: Springer, 2018, 11045: 3- 11.

[16] XuJ, LiH, Liang ZT, et al. ( 2018-04-07)[2020-04-01]. org/abs/1804. 02603. https://arxiv.

[17] 佟雨兵, 张其善, 祁云平. 基于PSNR与SSIM联合的图像质量评价模型[J]. 中国图象图形学报, 2006, 11(12): 1758-1763.

Tong Y B, Zhang Q S, Qi Y P. Image quality assessing by combining PSNR with SSIM[J]. Journal of Image and Graphics, 2006, 11(12): 1758-1763.

甘建旺, 沙芸, 张国英. 基于非对称卷积神经网络的图像去噪[J]. 激光与光电子学进展, 2020, 57(22): 221018. Jianwang Gan, Yun Sha, Guoying Zhang. Image Denoising Based on Asymmetric Convolutional Neural Networks[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221018.

基于非对称卷积神经网络的图像去噪下载： 670次

1 引言

2 所提方法

2.1 图像噪声模型

图 1. 部分合成的噪声图像。

Fig. 1. Partially synthesized noise images.

2.2 网络模型

图 2. CBDNet模型

Fig. 2. CBDNet model

图 3. CBDNet去噪子网架构

Fig. 3. CBDNet denoising subnet architecture

图 4. UNet++架构

Fig. 4. UNet++ architecture

图 5. 改进的网络模型

Fig. 5. Improved network model

2.3 损失函数

3 实验结果与分析

3.1 数据集和评价指标

3.2 实验环境与参数选择

3.3 结果分析

表 1. 10张图像的PSNR

Table 1. PSNR of 10 images

表 2. 10张图像的结构相似度

Table 2. SSIM of 10 images

表 3. PSNR与SSIM的均值

Table 3. Mean of PSNR and SSIM

图 6. 图像 1的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 6. Denoising results of image 1. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

图 7. 图像 2的去噪结果。(a)原始图像;(b)噪声图像; (c) CBDNet;(d)改进的CBDNet

Fig. 7. Denoising results of image 2. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

图 8. 图像 3的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 8. Denoising results of image 3. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于非对称卷积神经网络的图像去噪 下载： 670次

1 引言

2 所提方法

2.1 图像噪声模型

图 1. 部分合成的噪声图像。

Fig. 1. Partially synthesized noise images.

2.2 网络模型

图 2. CBDNet模型

Fig. 2. CBDNet model

图 3. CBDNet去噪子网架构

Fig. 3. CBDNet denoising subnet architecture

图 4. UNet++架构

Fig. 4. UNet++ architecture

图 5. 改进的网络模型

Fig. 5. Improved network model

2.3 损失函数

3 实验结果与分析

3.1 数据集和评价指标

3.2 实验环境与参数选择

3.3 结果分析

表 1. 10张图像的PSNR

Table 1. PSNR of 10 images

表 2. 10张图像的结构相似度

Table 2. SSIM of 10 images

表 3. PSNR与SSIM的均值

Table 3. Mean of PSNR and SSIM

图 6. 图像 1的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 6. Denoising results of image 1. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

图 7. 图像 2的去噪结果。(a)原始图像;(b)噪声图像; (c) CBDNet;(d)改进的CBDNet

Fig. 7. Denoising results of image 2. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

图 8. 图像 3的去噪结果。(a)原始图像;(b)噪声图像;(c) CBDNet;(d)改进的CBDNet

Fig. 8. Denoising results of image 3. (a) Original image; (b) noise image; (c) CBDNet; (d) improved CBDNet

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于非对称卷积神经网络的图像去噪下载： 670次