基于层次聚类的图像超分辨率重建

曾台英; 杜菲

doi:doi:10.3788/AOS201838.0410004

光学学报, 2018, 38 (4): 0410004, 网络出版: 2018-07-10

基于层次聚类的图像超分辨率重建下载： 923次

Image Super-Resolution Reconstruction Based on Hierarchical Clustering

论文大纲

曾台英杜菲 ^*

作者单位

上海理工大学出版印刷与艺术设计学院, 上海 200093

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

多字典学习的图像超分辨率重建过程中常见的K均值聚类、高斯混合模型聚类等方法会导致图像的重建质量欠佳且不稳定,针对这一问题提出一种新的基于层次聚类的图像超分辨率重建算法;首先对样本图像块提取特征并进行层次聚类,经改进的主成分分析方法训练得到K个字典,然后将测试图像裁切成若干图像块,并分别自适应匹配最合适的字典进行图像块重建,最后对整幅图像进行优化,以实现全局重建。结果表明:所提算法具有较高的可行性,能有效改善图像的重建质量;与传统算法相比,所提算法重建图像的峰值信噪比和结构相似度均有所增大。

Abstract

During image super-resolution reconstruction for multi-dictionary learning, common methods such as K-means clustering, Gauss mixed model clustering and so on can lead to poor quality and instability of image reconstruction. To solve the problem, we propose a novel image super-resolution reconstruction algorithm based on hierarchical clustering. Firstly, features are extracted from sample image blocks, and hierarchical clustering is performed, then K dictionaries are trained with improved principal component analysis method. Secondly, the test images are cut into a number of image blocks, and the most suitable dictionary is adaptively matched to reconstruct the image block. Finally, the whole image is optimized to achieve global reconstruction. The results show that the proposed algorithm in this paper has high feasibility, and can effectively improve the reconstruction quality of image. Compared with peak signal-to-noise ratio and structural similarity of the images reconstructed by the traditional algorithms, those of the images reconstructed by the proposed algorithm increase.

1 引言

图像超分辨率重建通过相应的算法对单一低分辨率图像或多幅低分辨率序列图像进行重构,以实现低分辨率图像细节和纹理的还原,同时提高图像的分辨率。由于超分辨率重建无需考虑太多的硬件限制和成本问题,因此已被广泛应用于视频监控、卫星遥感、医学图像、生物特征识别等领域^[1-3]。目前,经典的图像超分辨率重建算法可大致归为3类:基于插值的算法、基于重建模型的算法和基于学习的算法^[4-6]。基于插值的算法常用于加强单幅图像的分辨率,算法的实现具有简单、快速的特点,但因缺乏先验知识而达不到较高的重建效果。基于重建模型的算法根据特定的图像退化模型,可对输入的低分辨率图像序列重建出质量较好的高分辨率图像,但受放大倍率和图像帧之间亚像素精度位移的限制,在实际中常因放大因子过大或亚像素位移过小而达不到较佳的重建效果。基于学习的算法通过求解高、低分辨率图像之间的映射关系,充分运用先验知识来重建图像,能够较好地恢复图像的细节信息,且重建效率高,因此成为当前该领域的研究热点。

基于学习的图像超分辨率重建算法最早由Freeman等^[7]提出,通过马尔可夫随机场构建高、低分辨率图像块之间的联系。与以往的插值算法和重建模型算法相比,该算法的图像重建质量有一定改善,但构建马尔可夫随机场所需的图像块样本数量十分庞大,且训练耗时巨大。Yang等^[8]运用稀疏表示概念,设定高、低分辨率图像块的稀疏表示系数相同,并将其作为图像重建的约束条件,该方法虽然在改善图像重建质量的同时有效地缩短了运算时间,但是所需图像块样本数量仍然很庞大。Dong等^[9]先对图像块样本数据进行聚类,然后结合稀疏表示方法生成了多个稀疏字典,再根据测试图像块自适应地选择最合适的字典进行图像块重建,这种方法在改善图像重建质量的同时能有效地抑制噪声;但选用的聚类方式为K均值聚类,该聚类方法对初始中心点的选取极为敏感,易影响后续的重建效果。Peleg等^[10]将统计预测模型引入到图像超分辨率重建中,通过神经网络对高、低分辨率图像块进行深度学习,以避免不变性假设;但未对图像块样本进行聚类,在一定程度上影响了神经网络的学习效果。

层次聚类是一种对数据样本集进行层次分解的聚类方式,因其具有自主聚类、聚类效率高、效果好等优点而被广泛应用于图像分割^[11]、图像检索^[12]等领域。考虑到层次聚类无需设定初始聚类中心,且能根据相关系数进行自主聚类的优点,本文将层次聚类算法应用于Dong等^[9]的方法中,提出了一种新的基于层次聚类的多字典的图像超分辨率重建算法,从而在有效抑制噪声的基础上进一步改善了图像的重建质量。

2 基于字典学习的图像超分辨率的重建

假设低分辨率图像为Y,Y由高分辨率图像X经降采样处理S和模糊处理H后退化所得,其模型可表示为

\begin{matrix} Y = SHX 。 (1) \end{matrix}

假设x∈Rⁿ(n∈Z₊)是X按指定尺寸裁切成的高分辨率图像块向量,y∈Rⁿ是x对应的低分辨率图像块向量。现在已知y,则求解x是(1)式的逆问题,也是NP-hard(non-deterministic polynomial hard)^[13]问题。考虑到y可能有无数x能满足重建约束,因此引入稀疏表示先验模型,以得到唯一解。根据图像稀疏表示理论^[14],图像在过完备字典下可以被少数非零系数稀疏表示,其中在特定条件下求解其最稀疏表示的解是唯一的。假设过完备字典为D∈R^n×k,其原子数为k,则x的最稀疏表示为

\begin{matrix} \min {(α)}_{0} s . t . x = Dα (α \in R^{k}), (2) \end{matrix}

式中α为x的最稀疏表示;‖‖₀为α的L₀范数,即非零数的个数。

2.1 单一字典对

在单一字典对模型中,将D_sup、D_inf分别定义为高、低分辨率样本数据图像块学习所得到的过完备字典,则高、低分辨率图像块x和y可表示为

\begin{matrix} \{\begin{matrix} x = D_{\sup} α \\ y = D_{\inf} α \end{matrix}, {(α)}_{0} ≪ k 。 (3) \end{matrix}

根据Yang等^[8]的验证,高、低分辨率图像块x和y具有相同的稀疏系数α;因此,在字典学习阶段,可以通过低分辨率图像块y求解稀疏系数α和低分辨率图像过完备字典D_inf,再根据高分辨率图像块x与稀疏系数α求解高分辨率图像过完备字典D_sup。在图像重建阶段,将输入的低分辨率图像块定义为y₀,输出的高分辨率图像块定义为x₀,对y₀与D_sup和D_inf进行相关计算即可求得x₀。

2.2 多字典

不同的图像承载的纹理和细节不同,将所有图像块用单一字典进行稀疏分解是不稳定的^[15-16],因此基于多字典的图像超分辨率重建算法应运而生。Sun等^[17]将梯度先验引入到图像重建中,对样本图像块以梯度形状和角度作为分类的依据,学习多个梯度字典。Yang等^[18]将稀疏表示运用到图像超分辨率的重建中,对样本图像块进行K均值聚类后获得了多个子字典。Dong等^[9]在Yang等^[18]算法的基础上引入局部自回归模型和非局部自相似模型,并将其作为图像重建的约束条件,该方法在改善图像重建质量方面取得了显著效果,并能有效抑制噪声,是近年来图像超分辨率重建领域的代表算法之一。Dong等^[9]在聚类方式的选取时沿用了Yang等^[8]的K均值聚类,该聚类方式对初始选值极为敏感,易导致重建图像的质量不稳定。本研究对Dong等^[9]在字典学习方面的算法进行优化,将层次聚类与稀疏表示的超分辨率重建方法相结合,获得了一种新的基于层次聚类的图像超分辨率重建算法,算法流程图如图1所示。

图 1. 基于层次聚类的图像超分辨率重建算法流程图

Fig. 1. Flow chart of image super-resolution reconstruction based on hierarchical clustering

下载图片查看所有图片

3 基于层次聚类的多字典学习

基于多字典模型的图像超分辨率重建首先需要对图像块样本数据进行聚类,该领域常见的聚类方法有K均值聚类和高斯混合模型聚类^[19-21],但这些聚类方法的聚类数K需预先给定,而现实中图像块样本数据集类别的选定难以估计;初始中心点的选取往往会在较大程度上影响聚类的结果。层次聚类则无需预先设定聚类数,且容易发现类的层次关系,能够很好地处理孤立点和噪声数据,可根据设置的不同的相关参数值得到不同的多层次聚类结构,聚类效率高,质量好。本研究先将训练样本裁切为7 pixel×7 pixel的小块,对通过高通滤波筛选后获得的高频信息图像进行层次聚类,得到K个样本类(S₁,S₂,…,S_K)与聚类中心,然后分别利用多线性主成分分析(MPCA)法对这K个样本类中的样本进行字典学习,得到K个字典(D₁,D₂,…,D_K),多字典学习流程图如图2所示。

图 2. 多字典学习流程图

Fig. 2. Flow chart of multi-dictionary learning

下载图片查看所有图片

3.1 层次聚类

一般来说,层次聚类可以分为凝聚和分裂这两种聚类形式。凝聚层次聚类的聚类顺序为从下到上,先将每个数据划分成一个类,然后合并最邻近的类形成一个新类,以此类推直至所有的数据都包括在一个类中。分裂层次聚类的顺序为从上到下,先将所有的数据定义为一个类,然后逐步细分成小类,直至每个数据均为一个类。图3所示为一个简单的凝聚和分裂层次聚类方法流程图,其中a~e为聚类数据。

图 3. 凝聚和分裂层次聚类方法流程图

Fig. 3. Flow chart of hierarchical clustering of agglomerative nesting and divisive analysis

下载图片查看所有图片

在选择层次聚类的类型时,本研究采用凝聚层次聚类方法,该聚类方法可以通过相关系数判别,也可以直接输入聚类数。为清晰、直观地阐述层次聚类方法,分别选取20、5000个图像块特征向量进行说明,如图4和图5所示。由图4可知,根据结构图中的相关系数可将数据样本聚集为指定的类别。例如,如果将相关系数设置为1.05,就可将数据样本分为2类;如果将相关系数设置为0.9,就可将数据样本分为5类。相关系数越小,分类就越细致。由图5可知,随着样本数增加,聚类数也相应增加,根据结构图中的相关系数并不能很好地区别类。这时可以通过设置需要聚类的大致数目进行层次聚类,其优点是可以根据相关系数进行适当、合理的聚类,且聚类层次清晰,效果良好。本研究中的图像样本数据较多,因此采用设定聚类数的方法进行层次聚类。经反复实验,聚类数在35附近可得到收敛,因此选用35作为最终的聚类数。

图 4. 20个样本的层次聚类结构图

Fig. 4. Structure diagram of hierarchical clustering of 20 samples

下载图片查看所有图片

图 5. 5000个样本的层次聚类结构图

Fig. 5. Structure diagram of hierarchical clustering of 5000 samples

下载图片查看所有图片

3.2 中值主成分分析

主成分分析(PCA)是一种非监督的线性降维方法,它对原始数据进行线性转换使其由原高维空间投影至低维空间,同时保留了原始数据的主要信息,并确保新数据间互不相关^[22],主要算法如下:

1) 计算N个样本的协方差矩阵

\begin{matrix} \overset{N}{\sum_{i = 1}} (X_{i} - \bar{X}) (X_{i} {- \bar{X})}^{T}, (4) \end{matrix}

式中X_i为第i个样本, $\begin{matrix} \bar{X} \end{matrix}$ 为所有样本的均值。

2) 根据协方差矩阵求解其特征值λ₁,λ₂,…,λ_N和特征向量v₁,v₂,…,v_N。

3) 对特征值λ₁,λ₂,…,λ_N降序排列获得新的特征值序列λ'₁,λ'₂,…,λ'_N。

由(4)式可知,主成分分析对样本均值十分敏感,若样本存在噪声、离群值等异常值的干扰,实际信息就不能准确地由干扰后的均值表示。与均值相比,中值也可以用来表示样本的集中趋势估计量,当样本中存在异常值干扰时,中值比均值更稳定。因此,本研究将原主成分分析算法流程中的均值替换为中值,生成新的模型MPCA,即

\begin{matrix} \overset{N}{\sum_{i = 1}} (X_{i} - X_{m}) (X_{i} - X_{m})^{T}, (5) \end{matrix}

式中X_m为样本数据的中值。

4 高分辨率图像重建

4.1 局部重建

图像的超分辨率重建过程实际上就是稀疏表示系数更新的过程,稀疏表示系数的求解为

\begin{matrix} \hat{α} = ar g_{} \min {{(y - DH Φ_{r} α)}_{2}^{2} + λ {(α)}_{1}}, (6) \end{matrix}

式中‖‖₁为L₁范数,‖‖₂为L₂范数,D为下采样因子,H为模糊因子,λ为平衡参数,Φ_r为子字典D_k中的前r个特征向量,r的取值为

\begin{matrix} r = ar g_{} \min {{(S_{k} - Φ_{r} Λ_{r})}_{2}^{2} + λ {(Λ_{r})}_{1}}, (7) \end{matrix}

其中S_k为第k类图像块,Λ_r为第k类稀疏系数矩阵。

Candès等^[23]已证明,重加权的L₁范数能更好地提高稀疏性,因此可将(6)式优化为

\begin{matrix} \hat{α} = ar g_{} \min \{{(y - DH Φ_{r} α)}_{2}^{2} + \overset{N}{\sum_{i = 1}} {(λ_{i} α)}_{1}\}, (8) \end{matrix}

式中N为样本个数。

假设测试图像块为x_i(i∈R),则重建图像块可表示为

\begin{matrix} {\hat{x}}_{i} = Φ_{k_{i}} α_{i}, (9) \end{matrix}

式中 $\begin{matrix} Φ_{k_{i}} \end{matrix}$ (k_i∈R)为第k_i类子字典,α_i为第i个稀疏系数。平均所有的重建块即可获得整幅重建图像。

4.2 全局重建

自然图像具有非局部自相似性^[24],这种特性能够有效地保留图像的细节信息,因此将每个测试图像块x_i进行非局部自相似性二次约束,即

\begin{matrix} \overset{N}{\sum_{i = 1}} {(x_{i} - \overset{j}{\sum_{j = 1}} w_{ij} x_{i}^{j})}_{2}^{2}, (10) \end{matrix}

式中 $\begin{matrix} x_{i}^{j} \end{matrix}$ 为x_i的第j(j∈R)个相似块,w_ij为局部权重参数。

最终的稀疏表示系数可表示为

\begin{matrix} \hat{α} = ar g_{} \min {{(y - DH Φ_{r} α)}_{2}^{2} + \overset{N}{\sum_{i = 1}} {(λ_{i} α)}_{1} + \overset{N}{\sum_{i = 1}} {(x_{i} - \overset{j}{\sum_{j = 1}} w_{ij} x_{i}^{j})}_{2}^{2}} 。 (11) \end{matrix}

5 实验结果与分析

本实验对象为标准测试图像“Parrots”“Bike”“Hat”“Lena”“Peppers”“Leaves”, 测试图像大小均为256 pixel×256 pixel,如图6所示。实验环境Intel i7处理器,CPU 2.80 GHz(DELL E7470)和MATLAB R2013b。将以上经过3倍下采样和模糊操作后的图像作为测试样本图像,采用传统的插值算法、Yang等^[8]提出的算法、Dong等^[9]提出的算法与本研究所提算法进行图像重建,以峰值信噪比(PSNR)和结构相似度(SSIM)作为衡量上述方法对图像的复原程度。

图 6. 标准测试图像。(a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

Fig. 6. Standard test images. (a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

下载图片查看所有图片

5.1 主观分析

以Leaves和Lena图片为例进行主观分析,不同算法的结果如图7和图8所示。为了进一步观察不同算法的重建视觉效果,提取Leaves和Lena图例中关键的局部细节进行放大,如图9所示。由图7~9可知:传统的插值算法容易产生边缘锯齿,且重建效果最差;Yang等^[8]的算法虽然减轻了边缘的锯齿效应,但细节重构不足;Dong等^[9]的算法虽然可以表示出较清晰的细节,但容易产生伪影现象。相较于其他算法,本研究所提算法能更好地表现图像的细节,并能克服锯齿效应,抑制伪影现象。图9为图7、8的局部细节图,从图9可以更清晰地看出Leaves图像中叶子与背景的区分效果,以及Lena图像中帽檐处的细节处理。

图 7. Leaves图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 7. Reconstruction images of Leaves using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

下载图片查看所有图片

图 8. Lena图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 8. Reconstruction images of Lena using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

下载图片查看所有图片

图 9. Leaves和Lena图像采用不同算法重建后的局部效果。(a)双三次插值算法;(b) Yang等[8]所提算法;(c) Dong等[9]所提算法;(d) Peleg等[10]所提算法;(e)本研究所提算法

Fig. 9. Local reconstruction images of Leaves and Lena using different algorithms. (a) Bicubic interpolation algorithm; (b) algorithm proposed by Yang et al.[8]; (c) algorithm proposed by Dong et al.[9]; (d) algorithm proposed by Peleg et al.[10]; (e) our algorithm

下载图片查看所有图片

5.2 客观分析

PSNR和SSIM是客观评价图像的重要指标,对以上采用不同算法重建图像的PSNR和SSIM进行比较,结果如表1和图10所示。由表1可知,与Dong等^[9]算法相比,采用本研究所提算法重建的图像的PSNR数值约增大了1 dB,SSIM数值约增大了0.02。可见,本文所提算法具有更好的重建质量。图10进一步清晰地表明,本研究所提算法对各图像的重建效果均为最优。

表 1. 采用不同算法重建图像的PSNR和SSIM

Table 1. PSNR and SSIM of reconstruction images using different algorithms

Image	Bicubic interpolation algorithm		Algorithm proposed by Yang et al.^[8]		Algorithm proposed by Dong et al.^[9]		Algorithm proposed by Peleg et al.^[10]		Our algorithm
Image	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM
Parrots	26.93	0.7714	27.91	0.8205	29.17	0.8971	29.57	0.9038	30.19	0.9108
Bike	21.03	0.5178	21.68	0.5910	23.75	0.7599	24.05	0.7743	24.60	0.7968
Hat	28.22	0.7386	29.19	0.7773	30.19	0.8552	30.67	0.8661	31.06	0.8734
Lena	30.29	0.7782	31.56	0.8157	32.12	0.8971	32.55	0.8980	32.90	0.9044
Peppers	29.85	0.7169	29.91	0.7548	32.27	0.8784	32.76	0.8795	33.18	0.8878
Leaves	21.16	0.5750	21.90	0.6707	25.24	0.8560	26.64	0.8733	27.12	0.9108
Average value	26.25	0.6830	27.03	0.7383	28.79	0.8573	29.37	0.8659	29.84	0.8807

查看所有表

图 10. 采用不同算法重建图像的(a) PSNR和(b) SSIM折线图

Fig. 10. (a) PSNR and (b) SSIM line diagrams of reconstruction images with different algorithms

下载图片查看所有图片

6 结论

通过分析基于多字典图像重建过程中常见的聚类方法存在的缺陷,提出了一种基于层次聚类的图像超分辨率重建算法。通过对图像块样本进行层次聚类和学习获得多字典,将非局部自相似性作为约束条件重建了高分辨率图像,解决了现有K均值聚类字典学习方法重建效果不佳或不稳定的问题。图像的超分辨率重建实验表明,相对于目前已有的基于字典学习的图像超分辨率重建算法,本研究所提算法改善了重建图像的质量,复原图像能提供更清晰的图像细节。

参考文献

[1] 王晓文, 刘雨. 图像超分辨率研究综述[J]. 信息技术, 2009( 7): 236- 240.

王晓文, 刘雨. 图像超分辨率研究综述[J]. 信息技术, 2009( 7): 236- 240.

Wang XW, LiuY. Survey of image super-resolution investigation[J]. Information Technology, 2009( 7): 236- 240.

[2] 陆婉芸, 王继周. 遥感影像超分辨率处理方法与研究进展[J]. 测绘科学, 2016, 41(12): 53-58, 69.

陆婉芸, 王继周. 遥感影像超分辨率处理方法与研究进展[J]. 测绘科学, 2016, 41(12): 53-58, 69.

Lu W Y, Wang J Z. Survey of super resolution processing method of remote sensing image[J]. Science of Surveying and Mapping, 2016, 41(12): 53-58, 69.

[3] 席志红, 曾继琴, 李爽. 基于双字典和稀疏表示的医学图像超分辨率重建[J]. 计算机测量与控制, 2017, 25(3): 197-200.

席志红, 曾继琴, 李爽. 基于双字典和稀疏表示的医学图像超分辨率重建[J]. 计算机测量与控制, 2017, 25(3): 197-200.

Xi Z H, Zeng J Q, Li S. Super-resolution reconstruction of medical image based on dual-dictionary and sparse representation[J]. Computer Measurement & Control, 2017, 25(3): 197-200.

[4] 廖秀秀. 基于学习的图像超分辨率重建算法研究[D]. 广州: 华南理工大学, 2013.

廖秀秀. 基于学习的图像超分辨率重建算法研究[D]. 广州: 华南理工大学, 2013.

Liao XX. Research on learning-based image super-resolution reconstruction algorithms[D]. Guangzhou: South China University of Technology, 2013.

[5] 谭政, 相里斌, 吕群波, 等. 一种基于频域的序列图像超分辨率增强方法[J]. 光学学报, 2017, 37(7): 0710001.

谭政, 相里斌, 吕群波, 等. 一种基于频域的序列图像超分辨率增强方法[J]. 光学学报, 2017, 37(7): 0710001.

Tan Z, Xiangli B, Lü Q B, et al. A sequence images super-resolution enhancement approach based on frequency-domain[J]. Acta Optica Sinica, 2017, 37(7): 0710001.

[6] 郑向涛, 袁媛, 卢孝强. 自外而内的单幅图像超分辨率复原算法[J]. 光学学报, 2017, 37(3): 0318006.

郑向涛, 袁媛, 卢孝强. 自外而内的单幅图像超分辨率复原算法[J]. 光学学报, 2017, 37(3): 0318006.

Zheng X T, Yuan Y, Lu X Q. Single image super-resolution restoration algorithm from external example to internal self-similarity[J]. Acta Optica Sinica, 2017, 37(3): 0318006.

[7] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[8] Yang JC, WrightJ, HuangT, et al. Image super-resolution as sparse representation of raw image patches[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2008: 10139952.

Yang JC, WrightJ, HuangT, et al. Image super-resolution as sparse representation of raw image patches[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2008: 10139952.

[9] Dong W S, Zhang L, Shi G M, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2010, 20(7): 1838-1857.

Dong W S, Zhang L, Shi G M, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2010, 20(7): 1838-1857.

[10] Peleg T, Elad M. A statistical prediction model based on sparse representations for single image super-resolution[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2569-2582.

Peleg T, Elad M. A statistical prediction model based on sparse representations for single image super-resolution[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2569-2582.

[11] 许晓丽. 基于聚类分析的图像分割算法研究[D]. 哈尔滨: 哈尔滨工程大学, 2012.

许晓丽. 基于聚类分析的图像分割算法研究[D]. 哈尔滨: 哈尔滨工程大学, 2012.

Xu XL. Research of image segmentation algorithm based on clustering analysis[D]. Harbin: Harbin Engineering University, 2012.

[12] 卢汉清, 桂创华, 刘静. 基于层次聚类的图像检索方法: CN200810240361.8[P].2010-06-23.

卢汉清, 桂创华, 刘静. 基于层次聚类的图像检索方法: CN200810240361.8[P].2010-06-23.

Lu HQ, Gui CH, Liu J. Image retrieval method based on hierarchical clustering: CN200810240361.8[P].2010-06-23.

[13] 黄文奇, 许如初. 近世计算理论导引: NP难度问题的背景、前景及其求解算法研究[M]. 北京: 科学出版社, 2006.

黄文奇, 许如初. 近世计算理论导引: NP难度问题的背景、前景及其求解算法研究[M]. 北京: 科学出版社, 2006.

Huang WQ, Xu RC. In the theory of computation: Research background, foreground and algorithm for solving NP hard problems[M]. Beijing: Science Press, 2006.

[14] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Processing, 2006, 15(12): 3736-3745.

Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Processing, 2006, 15(12): 3736-3745.

[15] Elad M, Yavneh I. A plurality of sparse representations is better than the sparsest one alone[J]. IEEE Transactions on Information Theory, 2009, 55(10): 4701-4714.

Elad M, Yavneh I. A plurality of sparse representations is better than the sparsest one alone[J]. IEEE Transactions on Information Theory, 2009, 55(10): 4701-4714.

[16] Protter M, Yavneh I, Elad M. Closed-form MMSE estimation for signal denoising under sparse representation modeling over a unitary dictionary[J]. IEEE Transactions on Signal Processing, 2010, 58(7): 3471-3484.

Protter M, Yavneh I, Elad M. Closed-form MMSE estimation for signal denoising under sparse representation modeling over a unitary dictionary[J]. IEEE Transactions on Signal Processing, 2010, 58(7): 3471-3484.

[17] SunJ, Xu ZB, Shum HY. Image super-resolution using gradient profile prior[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2008: 10139964.

SunJ, Xu ZB, Shum HY. Image super-resolution using gradient profile prior[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2008: 10139964.

[18] Yang S Y, Liu Z Z, Wang M, et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193-3203.

Yang S Y, Liu Z Z, Wang M, et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193-3203.

[19] 张小丹, 范九伦, 徐健, 等. K均值聚类和支持向量数据描述的图像超分辨率算法[J]. 中国图象图形学报, 2016, 21(2): 135-144.

张小丹, 范九伦, 徐健, 等. K均值聚类和支持向量数据描述的图像超分辨率算法[J]. 中国图象图形学报, 2016, 21(2): 135-144.

Zhang X D, Fan J L, Xu J, et al. Image super-resolution algorithm via K-means clustering and support vector data description[J]. Journal of Image and Graphics, 2016, 21(2): 135-144.

[20] 虞涛. 基于邻域嵌入的图像超分辨率重建研究[D]. 南京: 南京邮电大学, 2013.

虞涛. 基于邻域嵌入的图像超分辨率重建研究[D]. 南京: 南京邮电大学, 2013.

YuT. Research on neighbor embedding base image super-resolution reconstruction[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2013.

[21] 方琪. 基于字典学习的图像超分辨率重建算法及研究[D]. 合肥: 合肥工业大学, 2016.

方琪. 基于字典学习的图像超分辨率重建算法及研究[D]. 合肥: 合肥工业大学, 2016.

FangQ. Research for image super resolution reconstruction based on dictionary learning[D]. Hefei: Hefei University of Technology, 2016.

[22] 王德芬, 高建强, 李莉. 基于中值PCA和加权PCA数据分类的研究[J]. 信息技术, 2014( 2): 14- 18.

王德芬, 高建强, 李莉. 基于中值PCA和加权PCA数据分类的研究[J]. 信息技术, 2014( 2): 14- 18.

Wang DF, Gao JQ, LiL. Studies on data classification based on median PCA and weighted PCA[J]. Information Technology, 2014( 2): 14- 18.

[23] Candès E J, Wakin M B, Boyd S P. Enhancing sparsity by reweighted l1 minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5/6): 877-905.

Candès E J, Wakin M B, Boyd S P. Enhancing sparsity by reweighted l1 minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5/6): 877-905.

[24] MairalJ, BachF, PonceJ, et al. Non-local sparse models for image restoration[C]. IEEE 12 th International Conference on Computer Vision , 2010: 2272- 2279.

MairalJ, BachF, PonceJ, et al. Non-local sparse models for image restoration[C]. IEEE 12 th International Conference on Computer Vision , 2010: 2272- 2279.

曾台英, 杜菲. 基于层次聚类的图像超分辨率重建[J]. 光学学报, 2018, 38(4): 0410004. Taiying Zeng, Fei Du. Image Super-Resolution Reconstruction Based on Hierarchical Clustering[J]. Acta Optica Sinica, 2018, 38(4): 0410004.

基于层次聚类的图像超分辨率重建下载： 923次

1 引言

2 基于字典学习的图像超分辨率的重建

2.1 单一字典对

2.2 多字典

图 1. 基于层次聚类的图像超分辨率重建算法流程图

Fig. 1. Flow chart of image super-resolution reconstruction based on hierarchical clustering

3 基于层次聚类的多字典学习

图 2. 多字典学习流程图

Fig. 2. Flow chart of multi-dictionary learning

3.1 层次聚类

图 3. 凝聚和分裂层次聚类方法流程图

Fig. 3. Flow chart of hierarchical clustering of agglomerative nesting and divisive analysis

图 4. 20个样本的层次聚类结构图

Fig. 4. Structure diagram of hierarchical clustering of 20 samples

图 5. 5000个样本的层次聚类结构图

Fig. 5. Structure diagram of hierarchical clustering of 5000 samples

3.2 中值主成分分析

4 高分辨率图像重建

4.1 局部重建

4.2 全局重建

5 实验结果与分析

图 6. 标准测试图像。(a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

Fig. 6. Standard test images. (a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

5.1 主观分析

图 7. Leaves图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 7. Reconstruction images of Leaves using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

图 8. Lena图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 8. Reconstruction images of Lena using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

图 9. Leaves和Lena图像采用不同算法重建后的局部效果。(a)双三次插值算法;(b) Yang等[8]所提算法;(c) Dong等[9]所提算法;(d) Peleg等[10]所提算法;(e)本研究所提算法

Fig. 9. Local reconstruction images of Leaves and Lena using different algorithms. (a) Bicubic interpolation algorithm; (b) algorithm proposed by Yang et al.[8]; (c) algorithm proposed by Dong et al.[9]; (d) algorithm proposed by Peleg et al.[10]; (e) our algorithm

5.2 客观分析

表 1. 采用不同算法重建图像的PSNR和SSIM

Table 1. PSNR and SSIM of reconstruction images using different algorithms

图 10. 采用不同算法重建图像的(a) PSNR和(b) SSIM折线图

Fig. 10. (a) PSNR and (b) SSIM line diagrams of reconstruction images with different algorithms

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于层次聚类的图像超分辨率重建 下载： 923次

1 引言

2 基于字典学习的图像超分辨率的重建

2.1 单一字典对

2.2 多字典

图 1. 基于层次聚类的图像超分辨率重建算法流程图

Fig. 1. Flow chart of image super-resolution reconstruction based on hierarchical clustering

3 基于层次聚类的多字典学习

图 2. 多字典学习流程图

Fig. 2. Flow chart of multi-dictionary learning

3.1 层次聚类

图 3. 凝聚和分裂层次聚类方法流程图

Fig. 3. Flow chart of hierarchical clustering of agglomerative nesting and divisive analysis

图 4. 20个样本的层次聚类结构图

Fig. 4. Structure diagram of hierarchical clustering of 20 samples

图 5. 5000个样本的层次聚类结构图

Fig. 5. Structure diagram of hierarchical clustering of 5000 samples

3.2 中值主成分分析

4 高分辨率图像重建

4.1 局部重建

4.2 全局重建

5 实验结果与分析

图 6. 标准测试图像。(a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

Fig. 6. Standard test images. (a) Parrots; (b) Bike; (c) Hat; (d) Lena; (e) Peppers; (f) Leaves

5.1 主观分析

图 7. Leaves图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 7. Reconstruction images of Leaves using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

图 8. Lena图像采用不同算法重建后的效果。(a)原图;(b)双三次插值算法;(c) Yang等[8]所提算法;(d) Dong等[9]所提算法;(e) Peleg等[10]所提算法;(f)本研究所提算法

Fig. 8. Reconstruction images of Lena using different algorithms. (a) Original image; (b) bicubic interpolation algorithm; (c) algorithm proposed by Yang et al.[8]; (d) algorithm proposed by Dong et al.[9]; (e) algorithm proposed by Peleg et al.[10]; (f) our algorithm

图 9. Leaves和Lena图像采用不同算法重建后的局部效果。(a)双三次插值算法;(b) Yang等[8]所提算法;(c) Dong等[9]所提算法;(d) Peleg等[10]所提算法;(e)本研究所提算法

Fig. 9. Local reconstruction images of Leaves and Lena using different algorithms. (a) Bicubic interpolation algorithm; (b) algorithm proposed by Yang et al.[8]; (c) algorithm proposed by Dong et al.[9]; (d) algorithm proposed by Peleg et al.[10]; (e) our algorithm

5.2 客观分析

表 1. 采用不同算法重建图像的PSNR和SSIM

Table 1. PSNR and SSIM of reconstruction images using different algorithms

图 10. 采用不同算法重建图像的(a) PSNR和(b) SSIM折线图

Fig. 10. (a) PSNR and (b) SSIM line diagrams of reconstruction images with different algorithms

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于层次聚类的图像超分辨率重建下载： 923次