协作稀疏字典学习实现单幅图像超分辨率重建

邱康; 易本顺; 向勉; 肖进胜

doi:doi:10.3788/AOS201838.0910002

光学学报, 2018, 38 (9): 0910002, 网络出版: 2019-05-09

协作稀疏字典学习实现单幅图像超分辨率重建下载： 883次

Collaborative Sparse Dictionary Learning for Reconstruction of Single Image Super Resolution

论文大纲

邱康 ^1,*易本顺 ^1,2,*向勉 ¹肖进胜 ^1,2

作者单位

¹ 武汉大学电子信息学院, 湖北武汉 430072

² 地球空间信息技术协同创新中心, 湖北武汉 430079

图像处理超分辨率协作稀疏字典学习稀疏编码 image processing super resolution collaborative sparse dictionary learning sparse coding

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

字典的选择影响基于稀疏编码的图像超分辨率重建模型的重建质量。提出了一种基于协作稀疏表达的字典学习算法。在训练阶段,通过K-Means聚类算法将样本图像块划分为不同的聚类;构建基于同时稀疏约束条件的协作稀疏字典学习模型对每个聚类训练高、低分辨率字典;应用基于L₂范数的稀疏编码模型将图像超分辨率重建过程中输入图像块由低分辨率到高分辨率的映射转变为简单的线性映射,并针对不同聚类求得相应的线性映射矩阵。在重建阶段,输入图像块通过搜索与自身结构最相似的聚类来选择相应映射矩阵获得重建后的高分辨率图像。结果表明,本文算法通过改进字典学习过程实现了更好的图像超分辨率重建质量。

Abstract

Performance of sparse coding based on image super resolution reconstruction model is influenced by dictionary selection. A dictionary learning algorithm based on collaborative sparse representation is proposed. In training stage, training image patches are grouped into different clusters by applying K-means clustering algorithm. A series of high- and low- resolution dictionaries are trained over every clusters by collaborative sparse dictionary learning model which is based on constraint of simultaneously sparse. The complex mapping relationship between low-and high-resolution image patches is transformed into a simple linear mapping by using an L2-norm based sparse coding model, and a series of mapping matrices corresponding to each different clusters are obtained. In reconstruction stage, each input image patch is mapped to a high-resolution patch by a mapping matrix which is selected by searching out the cluster with largest similarity to input patch. Experimental results show that the proposed method achieves better reconstruction quality by improving the dictionary learning process.

1 引言

图像超分辨率(SR)重建的目标是从低分辨率(LR)图像恢复出对应的高分辨率(HR)图像。成像设备由于受硬件成本、成像环境等的制约,获取图像的空间分辨率受到限制,因此对SR的研究得到了大量的关注。目前主流的SR方法主要分为:基于插值的方法、基于重建的方法和基于学习的方法。

传统基于插值的方法假设图像局部是线性光滑的,根据这一假设通过已知像素点估计待插值像素点。由于人类视觉感知系统对图像边缘信息更敏感,也有学者提出了边缘引导插值方法改善边缘信息^[1-2]。基于插值的方法算法复杂度低,执行速度快,但在恢复图像边缘以及高频细节信息方面有较大的局限。

基于重建的方法将图像先验信息,如梯度轮廓^[3]、非局部自相似性^[4]等,作为约束条件引入SR重建模型。这类方法在保留图像边缘信息和抑制伪影方面有一定的改进,但是仍然面临作为约束条件的先验信息往往难以选择、建模参数难以估计等问题。

基于学习的方法通过训练样本图像学习LR和HR间的映射关系,然后利用学习到的映射关系将LR映射到HR实现SR重建。这类方法由于可以通过训练样本引入更丰富的高频细节信息而获得更好的重建质量,因此获得越来越多的关注。文献[ 5]提出局部线性嵌入(LLE)方法,该方法基于流形假设,利用近邻图像块间的局部线性性质实现SR重建。文献[ 6-7] 假设在合适的稀疏字典下,LR/HR图像块有相同的稀疏表示系数,并利用这一性质提出基于稀疏编码的超分辨率重建(SCSR)方法。文献[ 8]提出了一种耦合特征空间下的字典学习方法,在独立学习LR/HR字典的同时学习LR到HR稀疏表示系数间的映射矩阵。文献[ 9]将层次聚类与稀疏表示相结合,实现了一种新的基于层次聚类的图像超分辨率重建算法。随着深度学习理论的发展,基于深度学习的方法也开始应用于图像SR重建。文献[ 10-12]通过样本图像训练深度卷积神经网络,利用该网络将LR的插值图像映射到HR。文献[ 13]则通过在网络中引入去卷积层实现将LR直接映射到HR,也取得不错的效果。

传统基于学习的方法往往耗时较长。为改进时间效率,文献[ 14]和[15]在SCSR基础上将L₁范数约束条件松弛为L₂范数,从而将复杂的稀疏编码求解过程简化为简单的线性映射。文献[ 16]和[17]通过聚类将具有不同结构信息的样本图像块划分到不同子空间,然后在各子空间训练LR到HR的映射矩阵。然而这些方法在训练阶段往往采用传统稀疏字典学习方法,字典中原子的选择没有针对图像块结构信息进行约束,得到的字典缺少代表性,影响重建质量。由于具有相似结构的图像块也具有相似的稀疏分解模式^[18],利用这一性质(同时稀疏)来约束稀疏字典的选择,本文提出了一种基于协作稀疏表达的LR/HR字典学习算法,通过改进稀疏字典的选择来提高SR重建质量。

2 基于稀疏编码的图像超分辨率重建原理

在给定LR/HR稀疏字典对D_l/D_h的情况下,对于输入的LR图像块,其稀疏系数可以通过如下模型求解:

\begin{matrix} \min_{α} ‖ D_{l} α - y ‖_{2}^{2} + λ ‖ α ‖_{0}, (1) \end{matrix}

式中D_l为LR字典,y为输入LR图像块,α为该图像块稀疏表示系数,λ是一个正常数,保证(1)式有稳定解。由于(1)式是一个非确定性多项式(NP-Hard)问题,因此实践中可以将L₀范数约束条件松弛为L₁范数约束条件,即

\begin{matrix} \min_{α} ‖ D_{l} α - y ‖_{2}^{2} + λ ‖ α ‖_{1} 。 (2) \end{matrix}

在求解得到LR图像块的稀疏表示系数α后,相应的HR图像块x的重建式为

\begin{matrix} x = D_{h} α 。 (3) \end{matrix}

LR/HR稀疏字典对D_l/D_h由样本训练得到。为保证LR/HR图像块有相同的稀疏表示系数,D_l/D_h由如下模型联合学习:

\begin{matrix} \begin{matrix} \min_{D h, Dl, A} \frac{1}{n_{l}} ‖ D_{l} A - Y ‖_{F}^{2} + \\ \frac{1}{n_{h}} ‖ D_{h} A - X ‖_{F}^{2} + λ (\frac{1}{n_{l}} + \frac{1}{n_{h}}) ‖A ‖_{1}, (4) \end{matrix} \end{matrix}

式中Y和X为从样本图像中提取的所有图像块向量化后构成的矩阵,A为各个图像块的稀疏表示系数向量构成的矩阵,n_l和n_h为提取的LR/HR图像块向量化后的维度。

3 本文算法的实现

3.1 基于协作稀疏的LR/HR字典学习

与文献[ 16]所述算法类似,在学习稀疏字典前,通过K-means聚类算法将样本图像块Y和X分为K个聚类 $\begin{matrix} (Y_{k} / X_{k})_{k = 1}^{K} \end{matrix}$ ,c_k $\begin{matrix} |_{k = 1}^{K} \end{matrix}$ 为Y_k的聚类中心,然后针对每个聚类学习LR到HR的映射函数。但是文献[ 16]省略了字典学习过程,直接从与聚类中心相近的聚类中选择原始样本图像块作为字典。这样虽然节省了字典训练时间,但是也会存在字典代表性不足的问题。由于每个聚类中的图像块具有相似的结构,从而具有相似的稀疏分解模式。因此与文献[ 16]不同,将这种稀疏分解模式的相似性作为约束条件应用于每个聚类(Y_k/X_k)的稀疏字典学习过程,以提高字典学习的准确性,构建字典学习模型。字典学习模型为

\begin{matrix} \begin{matrix} \min_{D h k, Dlk, Ak} \frac{1}{n_{l}} ‖ D_{lk} A_{k} - Y_{k} ‖_{F}^{2} + \\ \frac{1}{n_{h}} ‖ D_{h k} A_{k} - X_{k} ‖_{F}^{2} + λ (\frac{1}{n_{l}} + \frac{1}{n_{h}}) \overset{M}{\sum_{i = 1}} ‖ A_{ik} ‖_{2}, \\ k = 1,2, \dots, K, (5) \end{matrix} \end{matrix}

式中D_l_k、D_h_k分别表示第k个聚类(Y_k/X_k)所对应的LR/HR字典,字典大小为M,矩阵A_k的列向量为聚类中图像块的稀疏表示向量,A_ik表示A_k的第i个行向量。约束项 $\begin{matrix} \overset{M}{\sum_{i = 1}} \end{matrix} \begin{matrix} ‖ A_{ik} ‖_{2} \end{matrix}$ 被定义为L_2,1范数^[19],在聚类图像块的稀疏表示中引入同时稀疏性,即协作稀疏,其结果如图1所示。

图 1. 基于L2,1范数的协作稀疏表示结果

Fig. 1. L2,1-norm based on collaborative sparse representations

下载图片查看所有图片

通过优化目标函数(5)式可以获得与各聚类相应的HR/LR字典。而(5)式是一个半凸函数,即当分别固定D_l_k、D_h_k或A_k时,(5)式都是凸函数,因此该目标优化问题可以通过交替优化D_l_k、D_h_k和A_k达到最优解^[20]。

对于第k个聚类(Y_k/X_k),当固定D_l_k、D_h_k时,目标函数变为

\begin{matrix} \min_{A_{k}} \frac{1}{n_{l}} ‖ D_{lk} A_{k} - Y_{k} ‖_{F}^{2} + \frac{1}{n_{h}} ‖ D_{h k} A_{k} - X_{k} ‖_{F}^{2} + λ (\frac{1}{n_{l}} + \frac{1}{n_{h}}) ‖ A_{k} ‖_{2,1} 。 (6) \end{matrix}

这是一个凸优化问题,为实现快速收敛,应用交替方向乘子算法(ADMM)求解。为此,目标函数(6)式改写为如下等价形式:

\begin{matrix} \min_{A_{k}} \frac{1}{n_{l}} ‖ D_{lk} S - Y_{k} ‖_{F}^{2} + \frac{1}{n_{h}} ‖ D_{h k} S - X_{k} ‖_{F}^{2} + λ (\frac{1}{n_{l}} + \frac{1}{n_{h}}) ‖ A_{k} ‖_{2,1} s . t . A_{k} = S 。 (7) \end{matrix}

其增广拉格朗日函数形式为

\begin{matrix} \underset{A}{L_{μ} (A_{k}, S, U) =} \frac{1}{n_{l}} ‖ D_{lk} S - Y_{k} ‖_{F}^{2} + \frac{1}{n_{h}} ‖ D_{h k} S - X_{k} ‖_{F}^{2} + λ (\frac{1}{n_{l}} + \frac{1}{n_{h}}) ‖ A_{k} ‖_{2,1} + μ ‖ S - A_{k} + \frac{U}{2 μ} ‖_{F}^{2}, (8) \end{matrix}

式中:U为拉格朗日乘子;μ为一个正常数,用来控制算法收敛速度,一般设为0.1。通过ADMM将(8)式转换为如下交替迭代过程:

S^{(j + 1)} = \min_{S} \frac{1}{n_{l}} ‖ D_{lk} S - Y_{k} ‖_{F}^{2} + \frac{1}{n_{h}} ‖ D_{hk} S - X_{k} ‖_{F}^{2} + μ ‖ S - {K_{k}}^{(j)} + \frac{U^{(j)}}{2 μ} ‖_{F}^{2}, (9)

A_{k}^{(j + 1)} = \min_{Ak} ‖ S^{(j + 1)} + \frac{U^{(j)}}{2 μ} - A_{k} ‖_{F}^{2} + \frac{λ}{μ} (\frac{1}{n_{l}} + \frac{1}{n_{h}}) ‖ A_{k} ‖_{2,1}, (10)

式中j表示迭代次数。目标函数(9)式的解析解为

\begin{matrix} S^{(j + 1)} = {(\frac{1}{n_{l}} {D_{lk}}^{T} D_{lk} + \frac{1}{n_{h}} {D_{h k}}^{T} D_{h k} + μI)}^{- 1} [\frac{1}{n_{l}} {D_{lk}}^{T} Y_{k} + \frac{1}{n_{h}} {D_{h k}}^{T} X_{k} + μ A_{k}^{(j)} - \frac{1}{2} U^{(j)}], (11) \end{matrix}

式中I表示单位矩阵。目标函数(10)式可以通过向量软阈值函数对构成A_k的每个行向量A_ik逐个求解^[21],解为

\begin{matrix} A_{ik}^{(j + 1)} = vect - soft (V_{i}, η) = V_{i} \frac{\max {‖ V_{i} ‖_{2} - η, 0}}{\max {‖ V_{i} ‖_{2} - η, 0} + η}, (12) \end{matrix}

式中V=S⁽^j+¹⁾+ $\begin{matrix} \frac{U^{(j)}}{2 μ} \end{matrix}$ ,V_i为V的第i个行向量,η= $\begin{matrix} \frac{λ}{2 μ} \end{matrix} \begin{matrix} (\frac{1}{n_{l}} + \frac{1}{n_{h}}) \end{matrix}$ 。拉格朗日乘子通过下式更新:

\begin{matrix} U^{(j + 1)} = U^{(j)} + μ (S^{(j + 1)} - A_{k}^{(j + 1)}] 。 (13) \end{matrix}

当固定A_k时,稀疏字典对D_l_k/D_h_k通过优化如下目标函数更新:

\begin{matrix} \min_{Dlk, D h k} \frac{1}{n_{l}} ‖ D_{lk} A_{k} - Y_{k} ‖_{F}^{2} + \frac{1}{n_{h}} ‖ D_{h k} A_{k} - X_{k} ‖_{F}^{2} 。 (14) \end{matrix}

进一步通过下式得到最优解:

\begin{matrix} \begin{matrix} D_{lk} = Y_{k} {A^{T}}_{k} (A_{k} {A^{T}}_{k})^{- 1}, \\ D_{h k} = X_{k} {A^{T}}_{k} (A_{k} {A^{T}}_{k})^{- 1} 。 (15) \end{matrix} \end{matrix}

通过以上方法,可得到与K个聚类中心c_k $\begin{matrix} |_{k = 1}^{K} \end{matrix}$ 相对应的K个字典对 $\begin{matrix} (D_{lk} / D_{h k})_{k = 1}^{K} \end{matrix}$ 。

3.2 基于稀疏编码的超分辨率图像重建

对于任意LR图像块y,通过比较其与各聚类中心c_k $\begin{matrix} |_{k = 1}^{K} \end{matrix}$ 的欧氏距离找到与其最相似的聚类,并应用该聚类对应的稀疏字典D_l_k/D_h_k构建稀疏编码模型。由于L₁范数约束下的稀疏编码模型(1)式求解困难,导致SR算法复杂度高、重建耗时长等问题。为降低SR算法复杂度,提高算法效率,采用与文献[ 14]相同的方法,将稀疏编码模型(2)式的L₁范数约束条件松弛为L₂范数约束条件,得到如下稀疏编码模型:

\begin{matrix} \min_{α} ‖ D_{lk} α - y ‖_{2}^{2} + λ ‖ α ‖_{2}, (16) \end{matrix}

该模型有解析解:

\begin{matrix} \hat{α} = ({D^{T}}_{lk} D_{lk} {+ λI)}^{- 1} {D^{T}}_{lk} y, (17) \end{matrix}

待重建的HR图像块为

\begin{matrix} \hat{x} = D_{h k} \hat{α} = D_{h k} ({D^{T}}_{lk} D_{lk} {+ λI)}^{- 1} {D^{T}}_{lk} y 。 (18) \end{matrix}

由于稀疏字典对 $\begin{matrix} (D_{lk} / D_{h k})_{k = 1}^{K} \end{matrix}$ 通过线下学习,由(18)式可看出,LR图像块SR重建过程被变成了简单的线性映射问题。通过训练阶段获得的稀疏字典对可以得到K个映射矩阵:

\begin{matrix} P_{k} = D_{h k} ({D^{T}}_{lk} D_{lk} {+ λI)}^{- 1} {D^{T}}_{lk}, k = 1,2, \dots, K 。 (19) \end{matrix}

LR图像SR重建详细流程如下:

1) 分割LR图像得到一组图像块Y=(y₁,y₂,…,y_L),为保证SR重建时相邻图像块边缘间的连续性,分割图像块时相邻图像块间包含一定的重叠区域。

2) 对每个图像块y_i∈Y通过计算欧氏距离找到与其最相似的聚类中心c_k。

3) 通过x_i=P_ky_i映射得到对应的HR图像块。

4) 将映射得到的所有HR图像块(x₁,x₂,…,x_L)按与(y₁,y₂,…,y_L)对应的位置重组为HR图像。

4 实验结果

4.1 算法参数性能影响分析

为验证本文算法,采用文献[ 6]提供的91幅图像作为样本图像进行训练。测试图像如图2所示,按从左至右的次序依次编号为1~8。采用峰值信噪比(PSNR)和结构相似度(SSIM)作为客观评价指标。

图 2. 测试图像

Fig. 2. Test images

下载图片查看所有图片

在字典学习阶段,为设置合适的迭代次数,分别测试了字典大小M为512、1024、1536和2048时,稀疏字典学习模型(5)式的目标函数值随迭代次数收敛情况,结果如图3(a)所示。由图3可知,算法在迭代次数为15~20时已能快速收敛,且随着M的增加,目标函数将收敛到更小的值。

聚类数K对重建质量有着重要影响,当K值较小时,每个聚类中图像块间的相似性会减弱,当K值较大时,训练得到的稀疏字典代表性会减弱,这些都会降低图像重建质量。为验证K值对图像重建质量的影响,在20~600之间以20的间隔取30个值作为聚类数K的值进行图像重建实验,结果如图3(b)所示。由图可知,当K值在200~350之间时,重建效果最好。

为测试不同字典大小M对重建质量的影响,在256~2048之间按256的间隔取8个值分别作为字典大小进行图像重建实验,结果如图3(c)所示。由图可知,图像重建质量随着字典大小增加而改善,当字典大小大于1024时,重建图像的PSNR值基本不变。

测试了参数λ在不同取值情况下的算法重建性能,结果如图3(d)所示。结果显示λ在0.0075~0.015区间取值时,算法性能最优且结果基本稳定。

图 3. (a)目标函数(5)式随迭代次数增加而收敛的情况;(b)聚类数K取不同值时的平均PSNR;(c)字典大小M取不同值时的平均PSNR;(d)参数λ取不同值时的平均PSNR

Fig. 3. (a) Convergence of objective function Eq. (5) along with the increasing of iteration number; (b) average PSNR with different clustering number K; (c) average PSNR with different dictionary size M; (d) average PSNR with different λ

下载图片查看所有图片

4.2 实验结果与性能比较

为评价本文算法性能,用本文算法对测试图片进行3倍超分辨率重建实验,并将测试结果与双三次方插值算法、局部线性邻域嵌入(NE+LLE)算法^[5]、基于稀疏编码(SCSR)算法^[6]、Zeyde算法^[7]、锚定邻域回归(ANR)^[14]及其改进的方法(A+)^[15]和基于卷积神经网络(SRCNN)^[10]等SR重建算法进行比较。待比较的基于学习的算法与本文算法一样,均采用文献[ 6]提供的91幅图像作为样本图像进行训练。

在训练阶段,HR图像块从样本图像中提取,图像块大小为9×9。LR图像块由对应的HR图像块经高斯模糊后下采样得到,采样因子为3。聚类因子设置为K=300,字典大小设置为M=1024,字典学习算法迭代次数设置为20。在重建阶段,从待重建图像中提取LR图像块,图像块大小为3×3,相邻图像块间重叠部分大小为2。参数λ设为0.01。

实验结果如表1所示,可以看出本文算法在PSNR和SSIM等客观指标上都取得了明显的改进。平均PSNR较其他算法提高了0.24 dB,平均SSIM提高了0.013。图4和图5为测试图片超分辨率重建的实际效果。

表 1. PSNR (dB)与SSIM性能比较

Table 1. Performance of magnification in PSNR (dB) and SSIM

No.	PSNR/SSIM
No.	Bicubic	NE+LLE	SCSR	Zeyde	ANR	A+	SRCNN	Proposed
1	21.59/0.681	22.36/0.738	22.31/0.737	22.34/0.736	22.43/0.742	22.81/0.763	22.75/0.761	22.97/0.776
2	28.43/0.885	29.44/0.905	29.10/0.894	29.43/0.905	29.52/0.907	29.91/0.914	29.93/0.912	30.08/0.923
3	33.91/0.905	35.06/0.922	34.29/0.905	35.08/0.922	35.13/0.923	35.21/0.924	35.31/0.917	35.46/0.936
4	29.67/0.905	31.51/0.928	31.06/0.914	31.61/0.930	31.56/0.929	32.08/0.940	31.97/0.941	32.33/0.953
5	27.84/0.850	29.09/0.881	28.90/0.872	29.07/0.880	29.16/0.882	29.28/0.891	29.18/0.890	29.45/0.904
6	23.71/0.879	24.94/0.904	24.98/0.895	25.23/0.915	25.03/0.906	26.09/0.916	25.48/0.897	26.27/0.927
7	27.90/0.847	28.48/0.866	28.35/0.857	28.48/0.867	28.49/0.867	28.60/0.873	28.71/0.875	28.93/0.886
8	23.42/0.799	24.77/0.842	24.66/0.827	25.17/0.855	24.77/0.842	25.21/0.875	25.34/0.879	25.58/0.891
Mean	27.06/0.844	28.21/0.873	27.96/0.863	28.30/0.876	28.26/0.875	28.65/0.887	28.58/0.884	28.89/0.900

查看所有表

图 4. 不同方法实现第1幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 4. Visual comparisons of different SR results on No. 1 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm; (f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

下载图片查看所有图片

图 5. 不同方法实现第3幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 5. Visual comparisons of different SR results on No. 3 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm;(f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

下载图片查看所有图片

本文算法与其他基于学习的算法的平均重建耗时对比如表2所示。ANR算法与A+算法利用L₂范数作为稀疏约束项,从而将重建阶段复杂的稀疏编码过程简化为线性映射。由表2可知,本文算法

执行效率比其他算法有了显著提高;平均重建耗时与ANR算法和A+算法相当。可见,由于改进了稀疏字典学习算法,因此在图像重建质量上取得了更好的结果。

表 2. 不同算法的平均重建耗时

Table 2. Average running time of different methods

Item	Method
Item	NE+LLE	SCSR	Zeyde	ANR	A+	SRCNN	Proposed
Average running time /s	21.10	86.22	5.13	0.77	0.87	9.62	0.81

查看所有表

5 结论

提出了一种基于协作稀疏的LR/HR字典联合学习算法用于实现单帧图像SR重建。算法以图像的稀疏性作为先验约束条件,在训练阶段通过K-Means聚类算法将样本图像块划分为不同的类,并对不同的聚类训练相应的LR/HR字典。在训练字典时通过基于L_2,1范数的协作稀疏模型引入同时稀疏性作为约束条件,以利用聚类中图像块的稀疏分解相似性获得更准确的字典。在重建阶段以L₂范数作为稀疏约束条件来提高算法重建效率。通过实验验证,本文算法与其他典型SR重建算法相比实现了更好的重建质量,在PSNR和SSIM等客观指标上分别提高了0.24 dB和0.013。

参考文献

[1] Chen Q B, Sun H B, Zhang X C, et al. Algorithm and VLSI architecture of edge-directed image upscaling for 4k display system[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(9): 1758-1771.

[2] Hung K W, Siu W C. Robust soft-decision interpolation using weighted least squares[J]. IEEE Transactions on Image Processing, 2012, 21(3): 1061-1069.

[3] Yan Q, Xu Y, Yang X K, et al. Single image superresolution based on gradient profile sharpness[J]. IEEE Transactions on Image Processing, 2015, 24(10): 3187-3202.

[4] Ren C, He X H, Teng Q Z, et al. Single image super-resolution using local geometric duality and non-local similarity[J]. IEEE Transactions on Image Processing, 2016, 25(5): 2168-2183.

[5] ChangH, Yeung DY, XiongY. Super-resolution through neighbor embedding[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2004, 1: 275- 282.

[6] Yang J, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[7] ZeydeR, EladM, ProtterM. On single image scale-up using sparse-representations[C]∥International Conference on Curves and Surfaces, 2010, 6920: 711- 730.

[8] 詹曙, 方琪, 杨福猛, 等. 基于耦合特征空间下改进字典学习的图像超分辨率重建[J]. 电子学报, 2016, 44(5): 1189-1195.

Zhan S, Fang Q, Yang F M, et al. Image super-resolution reconstruction via improved dictionary learning based on coupled feature space[J]. Acta Electronica Sinica, 2016, 44(5): 1189-1195.

[9] 曾台英, 杜菲. 基于层次聚类的图像超分辨率重建[J]. 光学学报, 2018, 38(4): 0410004.

Zeng T Y, Du F. Image super-resolution reconstruction based on hierarchical clustering[J]. Acta Optica Sinica, 2018, 38(4): 0410004.

[10] Dong C, Loy C C, He K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[11] 肖进胜, 刘恩雨, 朱力, 等. 改进的基于卷积神经网络的图像超分辨率算法[J]. 光学学报, 2017, 37(3): 0318011.

Xiao J S, Liu E Y, Zhu L, et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3): 0318011.

[12] 郑向涛, 袁媛, 卢孝强. 自外而内的单幅图像超分辨率复原算法[J]. 光学学报, 2017, 37(3): 0318006.

Zhen g X T, Yuan Y, Lu X Q. Single image super-resolution restoration algorithm from external example to internal self-similarity[J]. Acta Optica Sinica, 2017, 37(3): 0318006.

[13] 孙超, 吕俊伟, 李健伟, 等. 基于去卷积的快速图像超分辨率方法[J]. 光学学报, 2017, 37(12): 1210004.

Sun C, Lü J W, Li J W, et al. Method of rapid image super-resolution based on deconvolution[J]. Acta Optica Sinica, 2017, 37(12): 1210004.

[14] TimofteR, DeV, Gool LV. Anchored neighborhood regression for fast example-based super-resolution[C]∥IEEE International Conference on Computer Vision, 2013: 1920- 1927

[15] TimofteR, Smet VD, Gool LV. A+: Adjusted anchored neighborhood regression for fast super-resolution[C]∥Asian Conference on Computer Vision, 2014, 9006: 111- 126.

[16] Zhang Y B, Zhang Y L, Zhang J, et al. CCR: clustering and collaborative representation for fast single image super-resolution[J]. IEEE Transactions on Multimedia, 2016, 18(3): 405-417.

[17] Zhang K B, Tao D C, Gao X B, et al. Learning multiple linear mappings for efficient single image super-resolution[J]. IEEE Transactions on Image Processing, 2015, 24(3): 846-861.

[18] MairalJ, BachF, PonceJ, et al. Non-local sparse models for image restoration[C]∥IEEE International Conference on Computer Vision, 2010: 2272- 2279.

[19] NieF, HuangH, CaiX, et al. Efficient and robust feature selection via joint l2,1-norms minimization[C]∥International Conference on Neural Information Processing Systems, 2010: 1813- 1821.

[20] Gorski J, Pfeuffer F, Klamroth K. Biconvex sets and optimization with biconvex functions: a survey and extensions[J]. Mathematical Methods of Operations Research, 2007, 66(3): 373-407.

[21] Wright S J, Nowak R D. Figueiredo M A T. Sparse reconstruction by separable approximation[J]. IEEE Transactions on Signal Processing, 2009, 57(7): 2479-2493.

邱康, 易本顺, 向勉, 肖进胜. 协作稀疏字典学习实现单幅图像超分辨率重建[J]. 光学学报, 2018, 38(9): 0910002. Kang Qiu, Benshun Yi, Mian Xiang, Jinsheng Xiao. Collaborative Sparse Dictionary Learning for Reconstruction of Single Image Super Resolution[J]. Acta Optica Sinica, 2018, 38(9): 0910002.

协作稀疏字典学习实现单幅图像超分辨率重建下载： 883次

1 引言

2 基于稀疏编码的图像超分辨率重建原理

3 本文算法的实现

3.1 基于协作稀疏的LR/HR字典学习

图 1. 基于L2,1范数的协作稀疏表示结果

Fig. 1. L2,1-norm based on collaborative sparse representations

3.2 基于稀疏编码的超分辨率图像重建

4 实验结果

4.1 算法参数性能影响分析

图 2. 测试图像

Fig. 2. Test images

图 3. (a)目标函数(5)式随迭代次数增加而收敛的情况;(b)聚类数K取不同值时的平均PSNR;(c)字典大小M取不同值时的平均PSNR;(d)参数λ取不同值时的平均PSNR

Fig. 3. (a) Convergence of objective function Eq. (5) along with the increasing of iteration number; (b) average PSNR with different clustering number K; (c) average PSNR with different dictionary size M; (d) average PSNR with different λ

4.2 实验结果与性能比较

表 1. PSNR (dB)与SSIM性能比较

Table 1. Performance of magnification in PSNR (dB) and SSIM

图 4. 不同方法实现第1幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 4. Visual comparisons of different SR results on No. 1 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm; (f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

图 5. 不同方法实现第3幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 5. Visual comparisons of different SR results on No. 3 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm;(f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

表 2. 不同算法的平均重建耗时

Table 2. Average running time of different methods

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

协作稀疏字典学习实现单幅图像超分辨率重建 下载： 883次

1 引言

2 基于稀疏编码的图像超分辨率重建原理

3 本文算法的实现

3.1 基于协作稀疏的LR/HR字典学习

图 1. 基于L2,1范数的协作稀疏表示结果

Fig. 1. L2,1-norm based on collaborative sparse representations

3.2 基于稀疏编码的超分辨率图像重建

4 实验结果

4.1 算法参数性能影响分析

图 2. 测试图像

Fig. 2. Test images

图 3. (a)目标函数(5)式随迭代次数增加而收敛的情况;(b)聚类数K取不同值时的平均PSNR;(c)字典大小M取不同值时的平均PSNR;(d)参数λ取不同值时的平均PSNR

Fig. 3. (a) Convergence of objective function Eq. (5) along with the increasing of iteration number; (b) average PSNR with different clustering number K; (c) average PSNR with different dictionary size M; (d) average PSNR with different λ

4.2 实验结果与性能比较

表 1. PSNR (dB)与SSIM性能比较

Table 1. Performance of magnification in PSNR (dB) and SSIM

图 4. 不同方法实现第1幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 4. Visual comparisons of different SR results on No. 1 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm; (f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

图 5. 不同方法实现第3幅图像超分辨率重建的视觉结果比较。(a)原始HR图像;(b) Bicubic算法;(c) NE+LLE算法;(d) SCSR算法;(e) Zeyde算法;(f) ANR算法;(g) A+算法;(h) SRCNN算法;(i)本文算法

Fig. 5. Visual comparisons of different SR results on No. 3 image using different methods.(a) Original HR image; (b) Bicubic algorithm; (c) NE + LLE algorithm; (d) SCSR algorithm; (e) Zeyde algorithm;(f) ANR algorithm; (g) A+ algorithm; (h) SRCNN algorithm; (i) proposed algorithm

表 2. 不同算法的平均重建耗时

Table 2. Average running time of different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

协作稀疏字典学习实现单幅图像超分辨率重建下载： 883次