基于卷积神经网络的单幅图像超分辨

史紫腾; 王知人; 王瑞; 任福全

doi:doi:10.3788/LOP55.121001

激光与光电子学进展, 2018, 55 (12): 121001, 网络出版: 2019-08-01

基于卷积神经网络的单幅图像超分辨下载： 1323次

Single Image Super-Resolution Based on Convolutional Neural Network

论文大纲

史紫腾王知人王瑞任福全 ^*

作者单位

燕山大学理学院, 河北秦皇岛 066004

图像处理深度学习卷积神经网络超分辨率反卷积 image processing deep learning convolutional neural networks super-resolution deconvolution

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

与传统的超分辨算法相比,基于卷积神经网络的超分辨算法具有较大优势,但仍存在训练时间较长、重建图像纹理不够清晰等问题。基于此,在原有的卷积神经网络超分辨重建算法基础上进行了以下优化:放弃原有的修正线性单元函数,改用新的激活函数;改变网络结构,图像重建由最后的反卷积上采样来实现;采用自适应矩估计优化算法替换原本的随机梯度下降优化算法。分别在Set5和Set14测试集上进行对比实验,实验结果表明,改进算法在较少的训练时间下,峰值信噪比最大提高了2.33 dB,纹理更加清晰,边缘更加完整,重建效果更好。

Abstract

The super-resolution algorithm based on the convolutional neural network has great advantages compared with the traditional super-resolution algorithms. But there are still some problems to be improved, such as long training time, lacking of image texture reconstruction and so on. Owing to this, on the basis of the original convolutional neural network super-resolution reconstruction algorithm, the following optimizations are carried out. The original rectified linear unit function is discarded and the new activation function is used instead. The network structure is changed and image reconstruction is achieved by the final deconvolution upsampling. The original stochastic gradient descent optimization algorithm is replaced by adaptive moment estimation algorithm whose optimizes performance is faster and better. Comparative experiments are carried out on Set5 and Set14 test sets, respectively. The experimental results show that the reconstruction effects of the improved method with less training time are greatly improved on the objective evaluation index, for example, the power signal-to-noise ratio increases up to 2.33 dB, and the texture is clearer, the edges are more complete and the reconstruction effect is better on the subjective visual effects.

1 引言

分辨率是判定图像质量的重要指标,高分辨率(HR)的图像能够提供更多的图像细节信息,这些细节信息可以在监控设备、医学影像和卫星图像等实际应用中起到重要的作用。图像超分辨率(SR)是一种由低分辨率(LR)图像重建出HR图像的重建技术^[1],分为基于模型的超分辨算法^[2-4]和基于学习的超分辨算法^[5-15]两种类型。其中,基于学习的超分辨算法比前者具有很大的优势,相关研究也更加具有实用意义,该方法直接学习LR-HR之间的映射关系,当向网络中输入LR图像时,可以直接预测出对应的HR图像。

基于学习的超分辨算法最早由Freeman等^[5]提出,他们首先发现了LR和HR图像之间的关系可以通过学习来获得,正是这种通过学习获得的关系可以用来完成图像的重建。因此,通过构建马尔可夫(MRF)网络^[6]成功学习到LR与HR图像块之间的映射关系,但是这种学习消耗了大量的样本时间和测试搜索时间。随后Chang等^[7]提出将局部线性嵌入(LLE)加入到SR的研究中,这样需要的样本数量较少,但是容易产生拟合使重建图像不清晰。Yang等^[8]认为图像具有稀疏性,因此将稀疏表示应用到SR中,为了保证LR和HR图像稀疏系数的一致性,他们联合训练LR和HR图像块字典,先计算出LR图像块的稀疏表示矩阵,再利用LR图像块的稀疏系数来完成HR图像的重构。该算法可以自适应地选取邻域,避免发生欠拟合或者过拟合, 但是训练库完成稀疏编码的过程会消耗大量时间。Dong等^[9] 提出了卷积神经网络超分辨(SRCNN)算法,通过构建 3 层卷积神经网络来学习LR到HR图像块之间的非线性映射关系,然后直接由LR图像预测出对应的HR图像,完成图像重建。SRCNN构造简单、易于收敛、计算复杂度较低,相较之前算法速度更快且重建图像质量更好,但是其本身存在一些问题,例如训练所需时间较长、重建图像纹理不清晰等,本文旨在对这两个问题进行改善。

本文在原有的SRCNN基础上,对网络进行了优化,在客观指标和主观视觉上均优于其他算法。实验过程中,通过加深网络来更好地实现重建,但是在4层网络时优化速度和效果下降,在5层网络时难以收敛,因此采用简单高效的3层网络。本文研究了带参数的线性修正单元(PReLU)和线性修正单元(ReLU)函数的优点并加以改进,构造了一种新的激活函数^[16],称其为e-ReLU函数,用来提高重建质量,并且不再将双三次插值上采样后的图像当作输入图像,而是直接输入LR图像,然后通过反卷积^[10]放大来加快训练速度。另外本文选择自适应矩估计优化(Adam)算法^[17]代替随机梯度下降优化(SGD) 算法,可以同时提高重建质量和加快训练速度。实验结果表明,本文算法的重建效果不仅在客观指标上优于其他算法,而且在直接视觉效果上图像纹理更加清晰,重建效果更好,训练时间更短。

2 SRCNN

SRCNN算法由图像块特征提取和表示、非线性映射和重构高分辨率图像的三层卷积神经网络组成。该算法的结构如图1所示。

图 1. SRCNN算法框架

Fig. 1. SRCNN algorithm framework

下载图片查看所有图片

第一层卷积网络的作用为图像块的特征提取和表示,可表示为

\begin{matrix} F_{1} (Y) = \max (0, W_{1}^{*} Y + B_{1}), (1) \end{matrix}

式中W₁为卷积核,B₁为n₁维的偏差,*表示卷积运算,W₁表达式为c×f₁×f₁×n₁,代表n₁个c×f₁×f₁ 的卷积核,其中c为图像的通道数(本文只研究单通道,即Y通道重建,因此c=1)。以ReLU函数max (0,x)作为激活函数。

第一层通过卷积操作得到了图像块的n₁维特征。在第二层中,将n₁维特征向量映射到n₂维特征向量,可表示为

\begin{matrix} F_{2} (Y) = \max [0, W_{2}^{*} F_{1} (Y) + B_{2}], (2) \end{matrix}

式中B₂为n₂维的偏差,W₂表达式为n₁×f₂×f₂×n₂,代表n₂个n₁×f₂×f₂的卷积核。

通过前面两层学习获得了LR-HR图像的非线性映射关系,最后一层卷积网络需要利用前面所学习到的非线性映射关系来完成高分辨率图像的重构,可表示为

\begin{matrix} F (Y) = W_{3}^{*} F_{2} (Y) + B_{3}, (3) \end{matrix}

式中B₃为c维的偏差,W₃表达式为n₂×f₃×f₃×c,代表c个n₂×f₃×f₃的卷积核。

均方误差(MSE)作为SRCNN的损失函数来学习获得卷积网络的参数θ=(W₁,W₂,W₃,B₁,B₂,B₃),训练的本质就是对这些参数进行优化。均方误差 L(θ)可以表示为

\begin{matrix} L (θ) = \frac{1}{n} \overset{n}{\sum_{i = 1}} ‖ F (Y_{i}; θ) - X_{i} ‖^{2}, (4) \end{matrix}

式中F(Y_i;θ)为重建图像,X_i为原始高分辨率图像,通过最小化L(θ)然后经过反向传播优化每一层参数θ=(W₁,W₂,W₃,B₁,B₂,B₃),得到参数的最优解,n为训练样本的数量。

值得注意的是,SRCNN中没有引入池化层。池化层通常应用于图像分类中, 通过下采样卷积, 在保留主要特征的同时减少参数(降维),达到平移、旋转等不变性。但是SR算法的目的是提高图像分辨率,获取更多的图像细节信息,与池化层的作用相反,因此,本文算法和SRCNN算法中都没有引入池化层。

3 本文算法

考虑到原卷积神经网络迭代速度慢、训练所需时间长、图像不够清晰等问题,本文在SRCNN上对激活函数、上采样方法和优化方法加以改进,对卷积核的尺寸加以调整,并对训练数据进行增强。在保证迭代速度快、训练时间短的同时,达到更好的超分辨效果。本文算法的结构如图2所示。

图 2. 本文算法框架图

Fig. 2. Proposed algorithm framework

下载图片查看所有图片

本文算法的具体步骤可以表示如下:

1) 直接输入LR图像Y,通过滤波器对LR图像进行卷积操作(Conv1层),得到LR图像的特征向量,该层输出的特征向量经过e-ReLU激活函数处理输出得到F₁(Y)。

2) 输入F₁(Y),通过滤波器对其进行卷积操作(Conv2层),得到LR-HR图像之间的映射关系,并经过e-ReLU激活函数处理得到F₂(Y)。

3) 输入F₂(Y),并对其进行反卷积操作,反卷积操作与卷积操作是相反的,它可以看作是卷积的逆转过程。在运算过程中,先将核转置后再进行卷积运算,最后进行整合得到了输出的HR图像。

每层需要设置的参数有卷积核的大小、卷积核的数目、卷积时的步长以及零填充大小,详细数据记录如表1所示。

表 1. 各个层的参数设置

Table 1. Parameter settings for each layer

Name	Size	Number	Stride	Padding
Conv1	5×5	64	1	0
Conv2	3×3	32	1	0
Deconv	9×9	1	3	4

查看所有表

3.1 卷积层

SRCNN中引用的是ReLU函数。 ReLU函数虽然在反向传播求误差梯度时收敛速度快,具有较大优势,但存在一个缺点,即“Dead ReLU Problem”,因此,在训练过程中可能出现神经元死亡,导致权重无法进行正常更新。为此,本文在ReLU函数的基础上加以改进,根据PReLU函数的优点,构造了一个新的函数(即e-ReLU函数),可表示为

\begin{matrix} f (x) = \{\begin{matrix} x, x \geq 0 \\ \exp (ax) - 1, x < 0 \end{matrix} 。 (5) \end{matrix}

e-ReLU函数图像如图3所示。由图2和图3可知,在x>0的区域,e-ReLU与ReLU相同, e-ReLU函数继承了ReLU函数的优点。而在x<0的区域,e-ReLU函数采用较平滑的指数函数来克服ReLU函数的缺点,即选取合理的初始值a(本文取值a=1),有选择地对负值进行激活,使得在此区域内保留有用的信息而忽略冗余信息从而达到提高超分辨质量的目的。

因此,特征提取操作(第一层)可以表示为

\begin{matrix} F_{1} (Y) = \max (0, W_{1}^{*} Y + B_{1}) + \min (0, W_{1}^{*} Y + B_{1}) 。 (6) \end{matrix}

非线性映射操作(第二层)可以表示为

\begin{matrix} F_{2} (Y) = \max [0, W_{2}^{*} F_{1} (Y) + B_{2}] + \min [0, W_{2}^{*} F_{1} (Y) + B_{2}] 。 (7) \end{matrix}

由于SRCNN中输入的是三次插值上采样后的图像,所以第一层卷积核的尺寸为9×9。如果直接输入LR图像,则卷积核的尺寸有所减小,本文中第一层的卷积核由9×9减小为5×5,既可以加快训练速度,也不影响重建效果。由文献[ 18]可知,第二层卷积核越大,超分辨重建效果则越好,但是第二卷积核尺寸增加会大幅度增加训练时间。因此,从训练速度和重建质量两方面考虑,卷积核的尺寸由1×1增大为3×3,滤波器的数量与文献[ 9]保持一致,即n₁=64,n₂=32。

图 3. 函数示意图。 (a) ReLU;(b) e-ReLU

Fig. 3. Function schematic. (a) ReLU; (b) e-ReLU

下载图片查看所有图片

3.2 反卷积层

反卷积操作可以看作是卷积的逆操作,其作用是对图像进行上采样操作。当步长s=k时,卷积操作会将输入图像缩小1/k,而s=k的反卷积操作则会将输入图像放大k倍,并且当k>1时,整个网络的复杂度会降为1/k²,从而缩短训练时间。本文采用反卷积操作来完成重建,通过调整步长来调整采样因子,文献[ 18]提出适当增加反卷积核的大小可以取得更好的重建质量,因此本文采用相对较大的卷积核来提升重建质量(卷积核由5×5增加为9×9)。该过程可以表示为

\begin{matrix} F (Y) = σ [W^{*} F_{2} (Y) + B], (8) \end{matrix}

式中W表示的是反卷积层的权重参数,F₂(Y)为第二个卷积层的输出,F(Y)是反卷积层的输出。步长可以根据网络采样因子的大小调整(步长必须大于1)。另外最后一层的输出图像块的大小可以表示为

\begin{matrix} a = s (I - 1) + R - 2 p, (9) \end{matrix}

式中I为输入的反卷积层图像的大小,R为反卷积核的大小,s为步长,p为零填充大小。

3.3 训练与优化

同样使用MSE作为损失函数,SRCNN中采用SGD算法来最小化损失函数,以及更新权重,但是SGD算法优化速度低,并且对超参数的变化非常敏感,导致SRCNN很难训练出最优结果。而Adam优化算法会根据梯度的一阶矩估计和二阶矩估计来动态调整每个参数的学习率,从而保证每一次迭代的学习率都在确定范围内,优化速度和质量均得到提高,因此采用Adam算法来替代SGD算法。

本文中Adam的参数配置为控制权重更新速度的学习率μ(本文取值为0.001)。学习率的选取非常重要,较大的学习率能够获得更快的学习速度,而较小的学习率可以获得更好的收敛结果,因此选取合适的学习率可以保证学习速度和收敛结果。一阶和二阶矩估计的指数衰减率β₁取值为0.9,β₂取值为0.999。为了防止出现分母为零的情况,引入一个非常小的参数ε(本文为10^-8)。图4为采用Adam优化器的rainLos训练误差值变化图 ,可以看出,本文算法不仅优化速度快,优化质量也较好。

图 4. 训练过程中本文算法训练误差值随着迭代次数增加的变化图

Fig. 4. Graph of train loss in the proposed method with the increase of iterations in the training process

下载图片查看所有图片

4 实验结果和分析

4.1 网络初始化

本文算法的实验环境为Inter Core i5-3230M CPU @2.6 GHz,内存为8 GB,操作系统为64位Win7系统、Matlab R2016a以及深度学习框架Caffe^[19]。

为了提高超分辨的效果,在标准的91幅图像^[8]训练集上进行了扩充。对原始的91幅训练样本进行了旋转(90°、180°和270°)和缩小(0.5~0.9)处理,经过多角度转换增强了样本的多样性。实验结果表明,本文算法不仅可以加快网络的收敛速度,还可以获取更多的特征信息,使得最终的重建质量更好。

选择双三次插值超分辨(BI)算法、基于稀疏表示的超分辨(ScSR)算法^[8]、SRCNN算法^[9](9-1-5)和SRCNN-Ex算法^[10](9-5-5)作为实验对比。实验过程中涉及的缩放因子都取为3。为了使对比合理有效,选取相同的迭代次数10⁵的重建结果进行比较。

4.2 综合量化评价

本文选用峰值信噪比(PSNR)和结构相似度(SSIM)^[20] 作为衡量图像质量的重要指标。重建后的图像和原图之间会存在误差,PSNR对其误差进行定量计算,PSNR值越高,两者之间失真越小,即重建质量越好;SSIM表示重建后的图像和原图的结构相似程度,SSIM越接近1,两者结构越相似,即重建结果越好。在Set 5^[21]和Set 14^[22]测试集上分别进行了测试,结果如表2和3所示。

表 2. 在Set 5测试集上的PSNR和SSIM值

Table 2. PSNR and SSIM values on Set 5 test set

Image	BI		ScSR		SRCNN		SRCNN-Ex		Proposed method
Image	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM
Baby	33.91	0.90	34.29	0.92	34.83	0.92	34.91	0.92	35.04	0.92
Bird	32.57	0.93	34.11	0.92	33.77	0.94	34.03	0.94	35.46	0.95
Butterfly	24.04	0.82	25.58	0.82	25.00	0.83	25.58	0.84	27.91	0.91
Head	32.88	0.80	33.17	0.80	33.42	0.82	33.42	0.82	33.67	0.83
Women	28.56	0.89	29.94	0.91	29.60	0.91	29.91	0.91	31.22	0.93
Average	30.39	0.87	31.42	0.87	31.32	0.88	31.57	0.89	32.66	0.91

查看所有表

表 3. 在Set 14测试集上的PSNR和SSIM值

Table 3. PSNR and SSIM values on Set 14 test set

Image	BI		ScSR		SRCNN		SRCNN-Ex		Proposed method
Image	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM
Baboon	23.21	0.54	23.50	0.59	23.52	0.60	23.54	0.60	23.62	0.61
Barbara	26.25	0.75	26.39	0.75	26.76	0.78	26.84	0.78	26.57	0.78
Bridge	24.40	0.65	24.80	0.70	24.89	0.70	24.95	0.70	25.14	0.71
Coastguard	26.55	0.61	27.00	0.65	27.00	0.66	27.08	0.66	27.12	0.66
Comic	23.12	0.70	23.90	0.76	23.77	0.75	23.87	0.75	24.53	0.79
Face	32.82	0.80	33.10	0.81	33.38	0.82	33.40	0.82	33.71	0.83
Flowers	27.23	0.80	28.25	0.83	28.06	0.83	28.27	0.83	29.22	0.85
Foreman	31.16	0.91	32.04	0.91	32.09	0.91	32.01	0.91	33.65	0.94
Lenna	31.68	0.86	32.64	0.87	32.53	0.87	32.78	0.88	33.57	0.88
Man	27.01	0.75	27.76	0.78	27.56	0.78	27.72	0.78	28.33	0.80
Monarch	29.43	0.92	30.71	0.93	30.40	0.93	30.87	0.93	32.78	0.95
Pepper	32.38	0.87	33.32	0.87	32.08	0.88	33.30	0.88	34.57	0.89
Ppt3	23.71	0.87	24.98	0.87	24.34	0.88	25.02	0.89	26.24	0.92
Zebra	26.63	0.80	27.95	0.82	27.74	0.84	28.37	0.84	29.11	0.85

查看所有表

由表2和表3可知,改进算法无论在PSNR还是SSIM指标上,整体结果都优于BI、ScSR、SRCNN和SRCNN-Ex算法。在Set 5测试集上,平均PSNR值比双三次插值、ScSR、SRCNN和SRCNN-Ex算法的结果分别提高了2.27、1.24、1.34和1.09,最少提升了1.09,最多达到了2.27,尤其在Butterfly上更是提高了2.33,提升效果非常明显。在Set 14测试集上,Monarch超分辨效果也提高了1.91。因此,本文算法可以明显提高图像的超分辨重建效果。

4.3 主观效果

图4~7所示为部分测试图像的结果图。由主观效果来看,本文方法产生的图像更清晰。由图5的局部放大图可以看到,本文算法的重建图眼部更清晰,噪声更少,更接近原图。由图6和图7的局部放大图可以看到,本文算法的重建图纹理更清晰,边缘更完整,锐度更强,细节更完善。由图7的局部放大图可以看到,本文算法的重建图更清晰,细节重建更好,放大效果更好。由图5~8可知,本文算法的重建图细节更完善,纹理更清晰,更逼近原图。

4.4 效率对比

由于硬件设备的限制,上述测试时本文算法采取的迭代次数为10⁵,此时在Set 5测试集上的PSNR为32.66 dB,但是值得注意的是,由文献[ 10]可知,SRCNN算法和SRCNN-Ex算法在8×10⁸次迭代时在Set 5测试集上的PSNR分别为32.39 dB和32.75 dB,此时本文算法在PSNR值上已经高于SRCNN算法0.27 dB,仅比SRCNN-Ex算法低0.09 dB。为了使本文算法更加具有信服力,将迭代次数增加到2×10⁵,此时在Set 5测试集上的PSNR为32.77 dB,PSNR值已经超过SRCNN-Ex算法在8×10⁸次迭代时候的结果(SRCNN算法的最佳结果),但是在训练时间上却小了几个数量级,各个算法具体的消耗时间如表4所示。

图 5. Set 5 中的baby_GT重建结果比较。(a)原图;(b) BI/33.91 dB;(c) ScSR/34.29 dB; (d) SRCNN/34.83 dB;(e) SRCNN-Ex/34.91 dB;(f)本文方法/35.04 dB

Fig. 5. Comparison of the reconstruction of the baby_GT in Set 5. (a) Original image; (b) BI/33.91 dB; (c) ScSR/34.29 dB; (d) SRCNN/34.83 dB; (e) SRCNN-Ex/34.91dB; (f) proposed method/35.04 dB

下载图片查看所有图片

图 6. Set 5 中的butterfly_GT重建结果比较。(a)原图;(b) BI/24.04 dB;(c) ScSR/25.58 dB; (d) SRCNN/25.00 dB;(e) SRCNN-Ex/25.58 dB;(f)本文方法/27.91 dB

Fig. 6. Comparison of the reconstruction of the butterfly_GT in Set 5. (a) Original image; (b) BI/24.04 dB; (c) ScSR/25.58 dB; (d) SRCNN/25.00 dB; (e) SRCNN-Ex/25.58 dB; (f) proposed method/27.91 dB

下载图片查看所有图片

图 7. Set 14 中的lenna重建结果比较。(a)原图;(b) BI/31.68 dB;(c) ScSR/32.64 dB; (d) SRCNN/32.53 dB;(e) SRCNN-Ex/32.78 dB;(f)本文方法/33.57 dB

Fig. 7. Comparison of the reconstruction of the lenna in Set 14. (a) Original image; (b) BI/31.68 dB; (c) ScSR/32.64 dB; (d) SRCNN/32.53 dB; (e) SRCNN-Ex/32.78 dB; (f) proposed method/33.57 dB

下载图片查看所有图片

图 8. Set 14中的pepper重建结果比较。(a)原图;(b) BI /32.38 dB;(c) ScSR/33.32 dB; (d) SRCNN/32.08 dB;(e) SRCNN-Ex/33.30 dB;(f)本文方法/34.57 dB

Fig. 8. Comparison of the reconstruction of the pepper in Set 14. (a) Original image; (b) BI/32.38 dB; (c) ScSR/33.32 dB; (d) SRCNN/32.08 dB; (e) SRCNN-Ex/33.30 dB; (f) proposed method/34.57 dB

下载图片查看所有图片

表 4. 训练时间对比

Table 4. Comparison of training times

Method	1000 times iteration	10⁵ times iteration	2×10⁵ times iteration	8×10⁸ times iteration
SRCNN	477			381600000
SRCNN-Ex	1392			1113600000
Proposed method	141	14100	28200

查看所有表

由表4可知,当本文算法迭代10⁵时,其重建效果已经超SRCNN的最佳结果,训练时间缩短了1/27064,本文算法迭代2×10⁵时,其重建效果已经超过SRCNN-Ex算法的最佳结果,即超过SRCNN算法各种模型的最佳结果,此时训练时间缩短了1/39489。并且由图9可以看到,本文算法在迭代次数达到2×10⁵时,PSNR值的上升趋势仍然明显,可以预测随着迭代次数的继续增加,本文算法可以取得更好的重建质量。由此可知,本文算法不仅在重建质量上优于SRCNN和SRCNN-Ex算法,而且在训练时间上具有较大优势。

图 9. 随着迭代次数的增加,本文算法在Set 5测试集上平均PSNR值变化图

Fig. 9. Change graph of the average PSNR value for proposed algorithm in the Set 5 test set, with the number of iterations

下载图片查看所有图片

5 结论

对原有的卷积神经网络超分辨算法存在的重建纹理不清晰、训练时间过长等问题进行了改进,提出了一种重建效果更好、训练时间更短的超分辨算法,并将重建结果与传统的BI、ScSR、SRCNN和SRCNN-Ex算法进行比较。实验结果表明,本文算法的超分辨重建效果更好,不仅在客观指标上具有很大的提高,而且在视觉上具有更加清晰的边缘和纹理,整体重建效果更好。

对本文算法与SRCNN和SRCNN-Ex算法进行效率对比,可以看出本文算法大幅度减少了训练时间,更加适合于实际应用。今后的研究方向应该重点考虑在保证训练时间的前提下加深网络的深度,使特征提取更加精确,或者采取其他更有效的网络模型,以获得更好的重建效果。

参考文献

[1] 陈健, 高慧斌, 王伟国, 等. 图像超分辨率复原方法及应用[J]. 激光与光电子学进展, 2015, 52(2): 020004.

Chen J, Gao H B, Wang W G, et al. Methods and applications of image super-resolution restoration[J]. Laser & Optoelectronics Progress, 2015, 52(2): 020004.

[2] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences[J]. IEEE Transactions on Image Processing, 1996, 5(6): 996-1011.

[3] Hardie R C, Barnard K J, Armstrong E E. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images[J]. IEEE Transactions on Image Processing, 1997, 6(12): 1621-1633.

[4] Patti A J, Altunbasak Y. Artifact reduction for set theoretic super resolution image reconstruction with edge adaptive constraints and higher-order interpolants[J]. IEEE Transactions on Image Processing, 2001, 10(1): 179-186.

[5] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[6] 郑丽贤, 何小海, 吴炜, 等. 基于学习的超分辨率技术[J]. 计算机工程, 2008, 34(5): 193-195.

Zheng L X, He X H, Wu W, et al. Learning-based super-resolution technique[J]. Computer Engineering, 2008, 34(5): 193-195.

[7] Chang S G, Cvetkovic Z, Vetterli M. Locally adaptive wavelet-based image interpolation[J]. IEEE Transactions on Image Processing, 2006, 15(6): 1471-1485.

[8] Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[9] Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[10] DongC, Loy CC, Tang XO. Accelerating the super-resolution convolutional neural network[C]∥European Conference on Computer Vision, 2016: 391- 407.

[11] 李素梅, 雷国庆, 范如. 基于卷积神经网络的深度图超分辨率重建[J]. 光学学报, 2017, 37(12): 1210002.

Li S M, Lei G Q, Fan R. Depth map super-resolution reconstruction based on convolutional neural networks[J]. Acta Optica Sinica, 2017, 37(12): 1210002.

[12] 孙超, 吕俊伟, 李健伟, 等. 基于去卷积的快速图像超分辨率方法[J]. 光学学报, 2017, 37(12): 1210004.

Sun C, Lü J W, Li J W, et al. Method of rapid image super-resolution based on deconvolution[J]. Acta Optica Sinica, 2017, 37(12): 1210004.

[13] Lai WS, Huang JB, AhujaN, et al. Deep Laplacian pyramid networks for fast and accurate super-resolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 5835- 5843.

[14] LedigC, TheisL, HuszárF, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 105- 114.

[15] LimB, SonS, KimH, et al. Enhanced deep residual networks for single image super-resolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 1132- 1140.

[16] He KM, Zhang XY, Ren SQ, et al. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification[C]∥IEEE International Conference on Computer Vision, 2015: 1026- 1034.

[17] Kingma DP, BaJ. Adam: a method for stochastic optimization[C]∥International Conference for Learning Representations, 2015.

[18] DongC, Deng YB, Loy CC, et al. Compression artifacts reduction by a deep convolutional network[C]∥IEEE International Conference on Computer Vision, 2015: 576- 584.

[19] Jia YQ, ShelhamerE, DonahueJ, et al. Caffe: Convolutional architecture for fast feature embedding[C]∥ACM International Conference on Multimedia, 2014: 675- 678.

[20] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[21] BevilacquaM, RoumyA, GuillemotC, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]∥British Machine Vision Conference, 2012: 1- 10.

[22] ZeydeR, EladM, ProtterM. On single image scale-up using sparse-representations[C]∥International Conference on Curves and Surfaces, 2010: 711- 730.

史紫腾, 王知人, 王瑞, 任福全. 基于卷积神经网络的单幅图像超分辨[J]. 激光与光电子学进展, 2018, 55(12): 121001. Ziteng Shi, Zhiren Wang, Rui Wang, Fuquan Ren. Single Image Super-Resolution Based on Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121001.

基于卷积神经网络的单幅图像超分辨 下载： 1323次

1 引言

2 SRCNN

图 1. SRCNN算法框架

Fig. 1. SRCNN algorithm framework

3 本文算法

图 2. 本文算法框架图

Fig. 2. Proposed algorithm framework

表 1. 各个层的参数设置

Table 1. Parameter settings for each layer

3.1 卷积层

图 3. 函数示意图。 (a) ReLU;(b) e-ReLU

Fig. 3. Function schematic. (a) ReLU; (b) e-ReLU

3.2 反卷积层

3.3 训练与优化

图 4. 训练过程中本文算法训练误差值随着迭代次数增加的变化图

Fig. 4. Graph of train loss in the proposed method with the increase of iterations in the training process

4 实验结果和分析

4.1 网络初始化

4.2 综合量化评价

表 2. 在Set 5测试集上的PSNR和SSIM值

Table 2. PSNR and SSIM values on Set 5 test set

表 3. 在Set 14测试集上的PSNR和SSIM值

Table 3. PSNR and SSIM values on Set 14 test set

4.3 主观效果

4.4 效率对比

图 5. Set 5 中的baby_GT重建结果比较。(a)原图;(b) BI/33.91 dB;(c) ScSR/34.29 dB; (d) SRCNN/34.83 dB;(e) SRCNN-Ex/34.91 dB;(f)本文方法/35.04 dB

Fig. 5. Comparison of the reconstruction of the baby_GT in Set 5. (a) Original image; (b) BI/33.91 dB; (c) ScSR/34.29 dB; (d) SRCNN/34.83 dB; (e) SRCNN-Ex/34.91dB; (f) proposed method/35.04 dB

图 6. Set 5 中的butterfly_GT重建结果比较。(a)原图;(b) BI/24.04 dB;(c) ScSR/25.58 dB; (d) SRCNN/25.00 dB;(e) SRCNN-Ex/25.58 dB;(f)本文方法/27.91 dB

Fig. 6. Comparison of the reconstruction of the butterfly_GT in Set 5. (a) Original image; (b) BI/24.04 dB; (c) ScSR/25.58 dB; (d) SRCNN/25.00 dB; (e) SRCNN-Ex/25.58 dB; (f) proposed method/27.91 dB

图 7. Set 14 中的lenna重建结果比较。(a)原图;(b) BI/31.68 dB;(c) ScSR/32.64 dB; (d) SRCNN/32.53 dB;(e) SRCNN-Ex/32.78 dB;(f)本文方法/33.57 dB

Fig. 7. Comparison of the reconstruction of the lenna in Set 14. (a) Original image; (b) BI/31.68 dB; (c) ScSR/32.64 dB; (d) SRCNN/32.53 dB; (e) SRCNN-Ex/32.78 dB; (f) proposed method/33.57 dB

图 8. Set 14中的pepper重建结果比较。(a)原图;(b) BI /32.38 dB;(c) ScSR/33.32 dB; (d) SRCNN/32.08 dB;(e) SRCNN-Ex/33.30 dB;(f)本文方法/34.57 dB

Fig. 8. Comparison of the reconstruction of the pepper in Set 14. (a) Original image; (b) BI/32.38 dB; (c) ScSR/33.32 dB; (d) SRCNN/32.08 dB; (e) SRCNN-Ex/33.30 dB; (f) proposed method/34.57 dB

表 4. 训练时间对比

Table 4. Comparison of training times

图 9. 随着迭代次数的增加,本文算法在Set 5测试集上平均PSNR值变化图

Fig. 9. Change graph of the average PSNR value for proposed algorithm in the Set 5 test set, with the number of iterations

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于卷积神经网络的单幅图像超分辨下载： 1323次