多尺度分块的自适应采样率压缩感知算法 下载: 1251次
1 引言
随着数字图像处理技术的发展,图像超分辨率重建得到了广泛应用,其重建算法[1-3]被不断提出。其中,压缩感知算法[4-5]首先在理论上克服了奈奎斯特采样定理二倍采样的局限;其次,在编码端同步进行观测和压缩,有效降低了传感器的观测时间和运行时间。压缩感知的应用领域非常广泛,本文主要研究其在自然图像超分辨率重建[6]方面的应用。压缩感知理论处理包含较大规模信号的图像时,实时采样和重构都需较大的计算规模,针对该点不足,Gan[7]依据分块离散余弦变换理论基础,将分块处理方法应用到图像处理领域,提出分块压缩感知(BCS)算法。但是,分块压缩感知算法对各个图像块采用相同的采样率,造成了资源的不合理分配,并在重建过程中会产生块效应。Li等[8-9]提出了多尺度分块压缩感知(MS-BCS-SPL)算法,该算法首先对原始图像进行多层小波分解,并对每一层小波分解系数采用不同的采样率,有效改善了分块重建产生的块效应,提高了重建质量,但在处理复杂图像时仍存在粗糙的块边缘。针对上述问题,高东红[10]提出基于纹理和方向的自适应多尺度分块压缩感知(TD-MS-BCS-SPL)算法,在MS-BCS-SPL算法的基础上,充分利用图像自身的纹理特征和方向特征,对每个子块进行自适应采样,重建速度及效果明显提高,然而基于边缘和纹理的方法都没有将高频系数纳入图像重建范畴,因而对于边缘丰富的图像超分辨率重建速率[11]得不到明显提高,反而影响重建质量。
针对上述各种算法中图像分块的大小都是提前设定的某个值,并且纹理复杂的图像子块重建效果不理想的问题,本文提出了一种改进的多尺度分块的自适应采样率压缩感知算法。该算法首先利用三层小波变换将代表边缘纹理的高频信息提取出来,并利用信息熵对图像的信息量进行度量以实现样本块尺寸的自动划分,在总采样率不变的情况下,实现了资源的最高效利用;其次,对包含图像基本信息的低频信号利用二维邻块边缘自适应加权滤波算法重构低频信号包含的所有细节,并通过滤波算法有效地消除了块效应。实验结果表明,针对具有复杂细节和边缘的图像,本文方法获得了较好的重建效果。
2 多尺度分块压缩感知
MS-BCS-SPL算法[9]是在BCS算法对图像进行分块的基础上,对每个图像子块利用不同的观测矩阵进行采样。该算法首先要将原始图像的观测矩阵
原始输入图像经过小波分解后得到一个低频信号和水平、垂直、对角方向的高频信号[12]。经过三层小波分解以后,原始图像尺寸
对多尺度变换矩阵
式中
原始图像经小波分解后,每一层的分解块对图像重建的影响不同,因此,为了提高重建质量,有必要对每一层小波分解设定相对应的采样率。设小波分解的基带采样率为1,即
式中
则对于整幅图像,采样率可表示为
如果整幅图像的采样率
由(7)式重新计算
3 多尺度分块的自适应采样率压缩感知算法
3.1 算法原理
图像信号经过小波变换后生成一个低分辨率图像的近似信号和一系列边缘纹理信号,这些边缘纹理信号是小波分解后的高频信号,低分辨的近似信号是分解后的低频信号。图像经过三层小波分解得到的小波域高频信号和低频信号被分别提取出来,经过小波逆变换,将低频部分直接视为图像的平坦块,利用二维邻块边缘自适应加权滤波对图像细节进行充分重建;对高频部分利用多尺度分块的纹理重建方法有效重建图像边缘。
3.2 低频信号重建
图像经过小波变换后,得到一个低频信号和9个高频信号,由于低频信号表示的是图像的基本信息,包含图像中的大部分细节,因此将低频信号经过小波逆变换后得到图像的平坦部分,并进行分块,将平坦块进行二维邻块边缘的自适应加权滤波算法[13],以充分消除边缘的块效应。首先对图像进行边缘扩充,即在图像相邻的上下左右4个方向分别扩
在组建的
式中
3.3 高频信号重建
基于小波域的自适应多尺度分块压缩感知算法在重建过程中直接将高频置为零,忽略了高频信号对重建效果的影响,导致重建图像的边缘与细节不清晰。基于上述问题,本文将高频信号引入重建算法,充分利用了图像的高频与低频信息,随着图像纹理复杂度提高,重建图像的分辨率得以提升。但是在自适应多尺度分块算法运行过程中,图像的分块是固定尺寸大小,同时需要反复试验确定最佳分块尺寸;并且针对固定块自适应采样率,包含信息量较多的子块的有效信息得不到充分重建。为此,本文对分块方法进行改进,仍然依据图像的灰度熵度量图像的信息量,对于包含信息量较多的子块采用较小的分块大小,并且依据最终分块大小自适应采样率,以达到自适应块大小的自适应分配采样率的超分辨率重建算法。
在本文算法中利用图像的二维灰度熵度量图像的纹理信息来进行分块和采样,具体过程表述如下。
1) 将图像初次分块成32×32大小,利用下式计算每个图像子块的一维灰度熵,即
式中
2) 计算图像的纹理复杂度
设定纹理复杂度的初始阈值
3) 对
4) 对
通过上述过程可确定每个图像子块的大小和采样率,然后同时进行采样。根据每个子块的采样率
4 算法实现过程
结合图像的高频信号和低频信号进行超分辨率重建的具体步骤如下:
1) 图像经过三层小波分解,将高频置为零,将低频信号进行小波逆变换后得到预估计的图像近似信号,即设定的平坦图像
2) 利用二维邻块边缘自适应加权滤波的方法对平坦块进行平滑滤波。
3) 对经过三层小波分解的图像低频信号置零,将高频信号进行小波逆变换得到预估计的纹理图像
4) 利用平滑投影Landweber (SPL)重建算法对纹理图像进行重构后,与加权滤波之后的平坦图像进行叠加归一化,即可得到高分辨率的重建图像。
算法的流程图如
5 重建结果
本文算法的实验过程是在MATLAB2014系统环境下,由于计算机系统为32位,因此本文的分块实验没有考虑64×64的分块,即初次分块大小是32×32,直至分块到4×4为止。为了减小运行时间,本文对比实验的采样率设定为0.3。针对纹理复杂度不同的Lena、Barbara、Mandrill和Goldhill图像进行测试,分别采用BCS算法、MS-BCS-SPL算法、TD-MS-BCS算法以及本文算法进行实验,对比各种算法的重建效果与重建效率。
5.1 重构图像效果直观对比
为了直观地比较图像的重建效果,
图 5. 不同算法重构效果图。(a) BCS-SPL;(b) MS-BCS-SPL;(c) TD-MS-BCS-SPL;(d)本文算法
Fig. 5. Reconstruction effects by different algorithms. (a) BCS-SPL; (b) MS-BCS-SPL; (c) TD-MS-BCS-SPL; (d) proposed method
图 6. Lena图像重构效果图。(a)原图;(b) BCS-SPL;(c) MS-BCS-SPL;(d) TD-BCS-SPL;(e)本文算法
Fig. 6. Reconstruction effect of Lena image. (a) Original picture; (b) BCS-SPL; (c) MS-BCS-SPL; (d) TD-BCS-SPL; (e) proposed method
图 7. Goldhill图像重构效果图。(a)原图;(b) BCS-SPL;(c) MS-BCS-SPL;(d) TD-BCS-SPL;(e)本文算法
Fig. 7. Reconstruction effect of Goldhill image. (a) Original image; (b) BCS-SPL; (c) MS-BCS-SPL; (d) TD-BCS-SPL; (e) proposed method
图 8. Mandrill图像重构效果图。(a)原图;(b) BCS-SPL;(c) MS-BCS-SPL;(d) TD-BCS-SPL;(e)本文算法
Fig. 8. Reconstruction effect of Mandrill image. (a) Original image; (b) BCS-SPL; (c) MS-BCS-SPL; (d) TD-BCS-SPL; (e) proposed method
在多尺度分块压缩感知算法中,对图像低频信号采用不同的分块大小对于重建效果具有一定的影响。在总采样率为0.3的情况下,分别对图像按照4×4、8×8、16×16和32×32尺寸进行分块,通过实验对比,可得到结果如
图 9. Peppers在不同分块大小时的重建效果图和PSNR值。(a) 4×4;(b) 8×8;(c) 16×16;(d) 32×32
Fig. 9. Reconstruction effect and PSNR value of Peppers under different block sizes. (a) 4×4; (b) 8×8; (c) 16×16; (d) 32×32
图 10. Barbara在不同分块大小时的重建效果图和PSNR值。(a) 4×4;(b) 8×8;(c) 16×16;(d) 32×32
Fig. 10. Reconstruction effect and PSNR value of Barbara under different block sizes. (a) 4×4; (b) 8×8; (c) 16×16; (d) 32×32
5.2 重构图像效果客观对比
为了客观地分析图像重建效果,通过实验对比重建图像的PSNR值。
表 1. 重构图像的PSNR值
Table 1. PSNR value of reconstructed image
|
表 2. 不同算法对Lena图像在0.3采样率下的算法时间
Table 2. Calculation time of Lena image at 0.3 sampling rate for different algorithms
|
由于本文算法在对高频图像进行处理时,对纹理复杂的边缘部分利用较高采样率进行采样,对纹理简单的区域则利用较低采样率采样,充分利用了图像信息的稀疏特性,在总采样率不变的情况下,实现了资源的合理分配,与已有的结合纹理块和平坦块的自适应多尺度分块压缩感知算法相比,重建图像的块效应明显改善,且具有清晰的图像边缘。从
6 结论
在深入研究了多尺度分块压缩感知算法的基础上,针对单幅低分辨率图像重建后存在块效应和边缘不清晰等问题,在原有的自适应多尺度分块压缩感知算法的基础上进行改进,提出了多尺度分块的纹理自适应采样算法。该算法在重建图像时充分结合图像的高频信号与低频信号,在对高频信号进行处理时,参照图像自身的纹理信息进行多尺度分块和自适应采样,实现边缘轮廓信息的有效重建;同时,将低频信号视为图像的平坦信号,利用二维邻块边缘自适应加权滤波算法进行平滑,有效消除了块效应,最后利用Landweber算法[14]对采样信号进行重建。本文算法在总采样率不变的情况下,实现了资源的合理分配,有效地消除了重建图像的块效应,并且重建时间得到大大缩减。
[1] 王民, 刘可心, 刘利, 等. 基于优化卷积神经网络的图像超分辨率重建[J]. 激光与光电子学进展, 2017, 54(11): 111005.
[2] 陈健, 高慧斌, 王伟国, 等. 图像超分辨率复原方法及应用[J]. 激光与光电子学进展, 2015, 52(2): 020004.
[3] 张磊, 杨建峰, 薛彬, 等. 改进的最大后验概率估计法实现单幅图像超分辨率重建[J]. 激光与光电子学进展, 2011, 48(1): 011003.
[4] 唐超影, 陈跃庭, 李奇, 等. 基于信号相关性的自适应时域视频压缩感知重建方法[J]. 光学学报, 2016, 36(10): 1010001.
[5] 翁嘉文, 杨初平, 李海. 自干涉非相干数字全息的压缩感知重建[J]. 光学学报, 2016, 36(2): 0209001.
[6] 唐佳林, 陈泽彬, 苏秉华, 等. 低质量人脸图像的超分辨率复原[J]. 激光与光电子学进展, 2018, 55(3): 031007.
[7] GanL. Blockcompressed sensing of natural images[C]∥15th International Conference on Digital Signal Processing, 2007: 403- 406.
[8] LiR, Zhu XC. A PCA-based smoothed projected Landweber algorithm for block compressed sensing image reconstruction[C]∥2012 International Conference on Image Analysis and Signal Processing, 2012: 1- 6.
[9] 蒋业文, 于昕梅. 基于DWT的多尺度分块变采样率压缩感知图像重构算法[J]. 中山大学学报(自然科学版), 2013, 52(3): 30-33.
[10] 高东红. 基于多尺度分块压缩感知的图像处理算法研究[D]. 北京: 北京理工大学, 2016.
Gao DH. The image processing algorithm research based on multiscale block compressed sensing[D]. Beijing: Beijing Institute of Technology, 2016.
[11] 李玉, 赵瑞珍, 张凤珍, 等. 边缘和方向估计的自适应多尺度分块压缩感知算法[J]. 信号处理, 2015, 31(4): 407-413.
[13] 张学全, 顾晓东, 孙辉先. 基于自适应空域滤波的图像去块效应算法[J]. 计算机工程, 2009, 35(4): 218-220.
Article Outline
程德强, 邵丽蓉, 李岩, 管增伦. 多尺度分块的自适应采样率压缩感知算法[J]. 激光与光电子学进展, 2019, 56(3): 031005. Deqiang Cheng, Lirong Shao, Yan Li, Zenglun Guan. Multi-Scale Block Adaptive Sampling Rate Compression Sensing Algorithm[J]. Laser & Optoelectronics Progress, 2019, 56(3): 031005.