基于卷积神经网络的单幅图像超分辨

史紫腾; 王知人; 王瑞; 任福全

doi:doi:10.3788/LOP55.121001

激光与光电子学进展, 2018, 55 (12): 121001, 网络出版: 2019-08-01

基于卷积神经网络的单幅图像超分辨下载： 1324次

Single Image Super-Resolution Based on Convolutional Neural Network

史紫腾王知人王瑞任福全 ^*

作者单位

燕山大学理学院, 河北秦皇岛 066004

图 & 表

图 1. SRCNN算法框架

Fig. 1. SRCNN algorithm framework

下载图片查看原文

图 2. 本文算法框架图

Fig. 2. Proposed algorithm framework

下载图片查看原文

图 3. 函数示意图。 (a) ReLU;(b) e-ReLU

Fig. 3. Function schematic. (a) ReLU; (b) e-ReLU

下载图片查看原文

图 4. 训练过程中本文算法训练误差值随着迭代次数增加的变化图

Fig. 4. Graph of train loss in the proposed method with the increase of iterations in the training process

下载图片查看原文

图 5. Set 5 中的baby_GT重建结果比较。(a)原图;(b) BI/33.91 dB;(c) ScSR/34.29 dB; (d) SRCNN/34.83 dB;(e) SRCNN-Ex/34.91 dB;(f)本文方法/35.04 dB

Fig. 5. Comparison of the reconstruction of the baby_GT in Set 5. (a) Original image; (b) BI/33.91 dB; (c) ScSR/34.29 dB; (d) SRCNN/34.83 dB; (e) SRCNN-Ex/34.91dB; (f) proposed method/35.04 dB

下载图片查看原文

图 6. Set 5 中的butterfly_GT重建结果比较。(a)原图;(b) BI/24.04 dB;(c) ScSR/25.58 dB; (d) SRCNN/25.00 dB;(e) SRCNN-Ex/25.58 dB;(f)本文方法/27.91 dB

Fig. 6. Comparison of the reconstruction of the butterfly_GT in Set 5. (a) Original image; (b) BI/24.04 dB; (c) ScSR/25.58 dB; (d) SRCNN/25.00 dB; (e) SRCNN-Ex/25.58 dB; (f) proposed method/27.91 dB

下载图片查看原文

图 7. Set 14 中的lenna重建结果比较。(a)原图;(b) BI/31.68 dB;(c) ScSR/32.64 dB; (d) SRCNN/32.53 dB;(e) SRCNN-Ex/32.78 dB;(f)本文方法/33.57 dB

Fig. 7. Comparison of the reconstruction of the lenna in Set 14. (a) Original image; (b) BI/31.68 dB; (c) ScSR/32.64 dB; (d) SRCNN/32.53 dB; (e) SRCNN-Ex/32.78 dB; (f) proposed method/33.57 dB

下载图片查看原文

图 8. Set 14中的pepper重建结果比较。(a)原图;(b) BI /32.38 dB;(c) ScSR/33.32 dB; (d) SRCNN/32.08 dB;(e) SRCNN-Ex/33.30 dB;(f)本文方法/34.57 dB

Fig. 8. Comparison of the reconstruction of the pepper in Set 14. (a) Original image; (b) BI/32.38 dB; (c) ScSR/33.32 dB; (d) SRCNN/32.08 dB; (e) SRCNN-Ex/33.30 dB; (f) proposed method/34.57 dB

下载图片查看原文

图 9. 随着迭代次数的增加,本文算法在Set 5测试集上平均PSNR值变化图

Fig. 9. Change graph of the average PSNR value for proposed algorithm in the Set 5 test set, with the number of iterations

下载图片查看原文

表 1各个层的参数设置

Table1. Parameter settings for each layer

Name	Size	Number	Stride	Padding
Conv1	5×5	64	1	0
Conv2	3×3	32	1	0
Deconv	9×9	1	3	4

查看原文

表 2在Set 5测试集上的PSNR和SSIM值

Table2. PSNR and SSIM values on Set 5 test set

Image	BI		ScSR		SRCNN		SRCNN-Ex		Proposed method
Image	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM
Baby	33.91	0.90	34.29	0.92	34.83	0.92	34.91	0.92	35.04	0.92
Bird	32.57	0.93	34.11	0.92	33.77	0.94	34.03	0.94	35.46	0.95
Butterfly	24.04	0.82	25.58	0.82	25.00	0.83	25.58	0.84	27.91	0.91
Head	32.88	0.80	33.17	0.80	33.42	0.82	33.42	0.82	33.67	0.83
Women	28.56	0.89	29.94	0.91	29.60	0.91	29.91	0.91	31.22	0.93
Average	30.39	0.87	31.42	0.87	31.32	0.88	31.57	0.89	32.66	0.91

查看原文

表 3在Set 14测试集上的PSNR和SSIM值

Table3. PSNR and SSIM values on Set 14 test set

Image	BI		ScSR		SRCNN		SRCNN-Ex		Proposed method
Image	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM	PSNR /dB	SSIM
Baboon	23.21	0.54	23.50	0.59	23.52	0.60	23.54	0.60	23.62	0.61
Barbara	26.25	0.75	26.39	0.75	26.76	0.78	26.84	0.78	26.57	0.78
Bridge	24.40	0.65	24.80	0.70	24.89	0.70	24.95	0.70	25.14	0.71
Coastguard	26.55	0.61	27.00	0.65	27.00	0.66	27.08	0.66	27.12	0.66
Comic	23.12	0.70	23.90	0.76	23.77	0.75	23.87	0.75	24.53	0.79
Face	32.82	0.80	33.10	0.81	33.38	0.82	33.40	0.82	33.71	0.83
Flowers	27.23	0.80	28.25	0.83	28.06	0.83	28.27	0.83	29.22	0.85
Foreman	31.16	0.91	32.04	0.91	32.09	0.91	32.01	0.91	33.65	0.94
Lenna	31.68	0.86	32.64	0.87	32.53	0.87	32.78	0.88	33.57	0.88
Man	27.01	0.75	27.76	0.78	27.56	0.78	27.72	0.78	28.33	0.80
Monarch	29.43	0.92	30.71	0.93	30.40	0.93	30.87	0.93	32.78	0.95
Pepper	32.38	0.87	33.32	0.87	32.08	0.88	33.30	0.88	34.57	0.89
Ppt3	23.71	0.87	24.98	0.87	24.34	0.88	25.02	0.89	26.24	0.92
Zebra	26.63	0.80	27.95	0.82	27.74	0.84	28.37	0.84	29.11	0.85

查看原文

表 4训练时间对比

Table4. Comparison of training times

Method	1000 times iteration	10⁵ times iteration	2×10⁵ times iteration	8×10⁸ times iteration
SRCNN	477			381600000
SRCNN-Ex	1392			1113600000
Proposed method	141	14100	28200

查看原文

史紫腾, 王知人, 王瑞, 任福全. 基于卷积神经网络的单幅图像超分辨[J]. 激光与光电子学进展, 2018, 55(12): 121001. Ziteng Shi, Zhiren Wang, Rui Wang, Fuquan Ren. Single Image Super-Resolution Based on Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121001.

基于卷积神经网络的单幅图像超分辨下载： 1324次

图 1. SRCNN算法框架

Fig. 1. SRCNN algorithm framework

图 2. 本文算法框架图

Fig. 2. Proposed algorithm framework

图 3. 函数示意图。 (a) ReLU;(b) e-ReLU

Fig. 3. Function schematic. (a) ReLU; (b) e-ReLU

图 4. 训练过程中本文算法训练误差值随着迭代次数增加的变化图

Fig. 4. Graph of train loss in the proposed method with the increase of iterations in the training process

图 5. Set 5 中的baby_GT重建结果比较。(a)原图;(b) BI/33.91 dB;(c) ScSR/34.29 dB; (d) SRCNN/34.83 dB;(e) SRCNN-Ex/34.91 dB;(f)本文方法/35.04 dB

Fig. 5. Comparison of the reconstruction of the baby_GT in Set 5. (a) Original image; (b) BI/33.91 dB; (c) ScSR/34.29 dB; (d) SRCNN/34.83 dB; (e) SRCNN-Ex/34.91dB; (f) proposed method/35.04 dB

图 6. Set 5 中的butterfly_GT重建结果比较。(a)原图;(b) BI/24.04 dB;(c) ScSR/25.58 dB; (d) SRCNN/25.00 dB;(e) SRCNN-Ex/25.58 dB;(f)本文方法/27.91 dB

Fig. 6. Comparison of the reconstruction of the butterfly_GT in Set 5. (a) Original image; (b) BI/24.04 dB; (c) ScSR/25.58 dB; (d) SRCNN/25.00 dB; (e) SRCNN-Ex/25.58 dB; (f) proposed method/27.91 dB

图 7. Set 14 中的lenna重建结果比较。(a)原图;(b) BI/31.68 dB;(c) ScSR/32.64 dB; (d) SRCNN/32.53 dB;(e) SRCNN-Ex/32.78 dB;(f)本文方法/33.57 dB

Fig. 7. Comparison of the reconstruction of the lenna in Set 14. (a) Original image; (b) BI/31.68 dB; (c) ScSR/32.64 dB; (d) SRCNN/32.53 dB; (e) SRCNN-Ex/32.78 dB; (f) proposed method/33.57 dB

图 8. Set 14中的pepper重建结果比较。(a)原图;(b) BI /32.38 dB;(c) ScSR/33.32 dB; (d) SRCNN/32.08 dB;(e) SRCNN-Ex/33.30 dB;(f)本文方法/34.57 dB

Fig. 8. Comparison of the reconstruction of the pepper in Set 14. (a) Original image; (b) BI/32.38 dB; (c) ScSR/33.32 dB; (d) SRCNN/32.08 dB; (e) SRCNN-Ex/33.30 dB; (f) proposed method/34.57 dB

图 9. 随着迭代次数的增加,本文算法在Set 5测试集上平均PSNR值变化图

Fig. 9. Change graph of the average PSNR value for proposed algorithm in the Set 5 test set, with the number of iterations

表 1各个层的参数设置

Table1. Parameter settings for each layer

表 2在Set 5测试集上的PSNR和SSIM值

Table2. PSNR and SSIM values on Set 5 test set

表 3在Set 14测试集上的PSNR和SSIM值

Table3. PSNR and SSIM values on Set 14 test set

表 4训练时间对比

Table4. Comparison of training times

关于本站 Cookie 的使用提示

全站搜索

基于卷积神经网络的单幅图像超分辨 下载： 1324次

图 1. SRCNN算法框架

Fig. 1. SRCNN algorithm framework

图 2. 本文算法框架图

Fig. 2. Proposed algorithm framework

图 3. 函数示意图。 (a) ReLU;(b) e-ReLU

Fig. 3. Function schematic. (a) ReLU; (b) e-ReLU

图 4. 训练过程中本文算法训练误差值随着迭代次数增加的变化图

Fig. 4. Graph of train loss in the proposed method with the increase of iterations in the training process

图 5. Set 5 中的baby_GT重建结果比较。(a)原图;(b) BI/33.91 dB;(c) ScSR/34.29 dB; (d) SRCNN/34.83 dB;(e) SRCNN-Ex/34.91 dB;(f)本文方法/35.04 dB

Fig. 5. Comparison of the reconstruction of the baby_GT in Set 5. (a) Original image; (b) BI/33.91 dB; (c) ScSR/34.29 dB; (d) SRCNN/34.83 dB; (e) SRCNN-Ex/34.91dB; (f) proposed method/35.04 dB

图 6. Set 5 中的butterfly_GT重建结果比较。(a)原图;(b) BI/24.04 dB;(c) ScSR/25.58 dB; (d) SRCNN/25.00 dB;(e) SRCNN-Ex/25.58 dB;(f)本文方法/27.91 dB

Fig. 6. Comparison of the reconstruction of the butterfly_GT in Set 5. (a) Original image; (b) BI/24.04 dB; (c) ScSR/25.58 dB; (d) SRCNN/25.00 dB; (e) SRCNN-Ex/25.58 dB; (f) proposed method/27.91 dB

图 7. Set 14 中的lenna重建结果比较。(a)原图;(b) BI/31.68 dB;(c) ScSR/32.64 dB; (d) SRCNN/32.53 dB;(e) SRCNN-Ex/32.78 dB;(f)本文方法/33.57 dB

Fig. 7. Comparison of the reconstruction of the lenna in Set 14. (a) Original image; (b) BI/31.68 dB; (c) ScSR/32.64 dB; (d) SRCNN/32.53 dB; (e) SRCNN-Ex/32.78 dB; (f) proposed method/33.57 dB

图 8. Set 14中的pepper重建结果比较。(a)原图;(b) BI /32.38 dB;(c) ScSR/33.32 dB; (d) SRCNN/32.08 dB;(e) SRCNN-Ex/33.30 dB;(f)本文方法/34.57 dB

Fig. 8. Comparison of the reconstruction of the pepper in Set 14. (a) Original image; (b) BI/32.38 dB; (c) ScSR/33.32 dB; (d) SRCNN/32.08 dB; (e) SRCNN-Ex/33.30 dB; (f) proposed method/34.57 dB

图 9. 随着迭代次数的增加,本文算法在Set 5测试集上平均PSNR值变化图

Fig. 9. Change graph of the average PSNR value for proposed algorithm in the Set 5 test set, with the number of iterations

表 1各个层的参数设置

Table1. Parameter settings for each layer

表 2在Set 5测试集上的PSNR和SSIM值

Table2. PSNR and SSIM values on Set 5 test set

表 3在Set 14测试集上的PSNR和SSIM值

Table3. PSNR and SSIM values on Set 14 test set

表 4训练时间对比

Table4. Comparison of training times

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于卷积神经网络的单幅图像超分辨下载： 1324次