基于Gabor变换和组稀疏表示的敦煌壁画修复算法

陈永; 陶美风; 艾亚鹏; 陈锦

doi:doi:10.3788/LOP57.221015

激光与光电子学进展, 2020, 57 (22): 221015, 网络出版: 2020-10-27

基于Gabor变换和组稀疏表示的敦煌壁画修复算法下载： 919次

Algorithm for Dunhuang Mural Inpainting Based on Gabor Transform and Group Sparse Representation

论文大纲

陈永 ^1,2,*陶美风 ¹艾亚鹏 ¹陈锦 ¹

作者单位

¹ 兰州交通大学电子与信息工程学院, 甘肃兰州 730070

² 甘肃省人工智能与图形图像处理工程研究中心, 甘肃兰州 730070

图像处理壁画修复组稀疏表示 Gabor小波变换互信息 image processing mural inpainting group sparse representation Gabor wavelet transform mutual information

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

在敦煌壁画修复过程中,初始字典的随机选取易陷入局部最优,仅以颜色欧氏距离作为图像块分组标准会导致图像修复后易出现结构模糊和线条不连续等问题。针对以上问题,提出了一种基于Gabor变换和组稀疏表示的敦煌壁画修复算法。首先,采用互信息作为图像块分组准则,并建立相似结构组,这使得组稀疏表示更加合理;然后,通过Gabor小波变换对相似结构组进行特征信息提取,并结合PCA降维的方式得到初始化结构组的特征字典,避免了字典初始化随机选取的不足;最后,采用奇异值SVD分解和分裂Bregman迭代优化方法对结构组字典和稀疏系数进行学习并完成壁画图像的修复。实验结果表明,相比于其他对比算法,所提方法取得了较好的主客观修复效果。

Abstract

In the process of Dunhuang mural restoration, dictionary initialized random selection falls into local optimum easily and only the color Euclidean distance is used as the standard for image block grouping, which leads to the problems such as structure blur and line discontinuity after image restoration. An algorithm for Dunhuang mural inpainting based on Gabor transform and group sparse representation is proposed in this paper. First, the similar structure group is established using mutual information as the criterion of image block grouping, which makes group sparse representation more reasonable. Second, the Gabor wavelet transform is used to extract the feature information of similar structure groups, and the feature dictionary of the structure group is initialized by means of PCA dimension reduction, which can avoid the disadvantage of dictionary initialized random selection. Finally, the SVD decomposition and the split Bregman iteration method are used to learn the structure group dictionary and the sparse coefficients to complete the mural image restoration. The experimental results show that, compared with the other algorithms, the algorithm proposed in this paper has achieved good subjective and objective restoration effects.

1 引言

敦煌壁画是中国古代艺术作品中的杰出代表,规模宏大,技艺精湛,被列为世界非物质文化遗产。然而,古代壁画遗址往往地处荒漠,环境恶劣,由于自然条件及人为因素的影响,出现了不同程度的破损,存在如裂隙、脱落、酥碱和褪色等病态问题,亟待保护^[1]。因此,开展对敦煌壁画的修复和保护研究尤为重要。鉴于直接人工修复存在周期长、风险大和不可逆等问题,计算机虚拟修复技术逐渐被人们熟知,该技术可以避免手工修复壁画不可逆的缺点,能够有效地保护原始壁画,成为图像处理和计算机视觉领域的研究热点^[2]。

目前,传统图像修复方法主要有以下三类:基于偏微分方程(Partial Differential Equation,PDE) 的图像修复方法、基于纹理信息的修复和基于稀疏表示的图像修复方法。其中,第一类基于偏微分方程的图像修复方法,采用流体力学热扩散的形式,将破损边缘周围的有效信息向待修复区域进行扩散以完成修复,主要修复模型有整体变分(Total Variation,TV)模型^[3]、BSCB模型^[4]和曲率驱动扩散(Curvature-driven Diffusion,CDD)模型^[5],该类算法在修复较小区域破损图像时具有较好的效果,但对纹理复杂或大块面积破损图像的修复效果不太理想。第二类为基于纹理信息的图像修复方法,该类方法以Criminisi算法为主^[6-7],根据样本块匹配准则,将已知完好图像的图像块复制到破损区域以完成修复,该类方法可以修复较大面积的破损图像。

第三类为基于稀疏表示的图像修复方法,该类方法用一组过完备变换的稀疏组合来表示图像信号,然后通过信号重构的方式实现图像缺失部分的恢复。该类修复算法按字典的训练方法主要分为固定基字典和学习型字典。其中,固定基字典主要有DCT字典^[8]和曲线波^[9]等,该类字典计算量低,但不能保证表达的稀疏程度,自适应能力较差;学习型字典主要算法有K-SVD算法^[10]等,该类算法灵活性高,收敛速度快,但由于初始字典是随机选取样本,字典受到样本初始化的影响较大,容易陷入局部最优。Dong等^[11]提出了非局部集中稀疏表示(NCSR)的图像修复模型,该方法引入了稀疏编码噪声,用以平衡重构图像的误差,但该方法只对单个图像块进行字典训练,并没有考虑到图像块之间的非局部自相似性等。Zhang等^[12]考虑了图像块之间的相似性,提出了一种基于相似结构组的稀疏表示图像修复算法,取得了较好的修复效果,但该方法以颜色欧氏距离为标准进行图像块的相似度分组,在修复结构复杂的壁画图像时,存在线条不连续和纹理清晰性较差的问题。

在图像修复过程中,初始字典的随机选取易陷入局部最优,仅依据欧氏距离作为图像块分组标准会导致敦煌壁画图像修复后容易出现结构模糊和线条不连贯等问题。针对以上问题,本文提出了一种基于Gabor变换和组稀疏表示的敦煌壁画修复算法。本文的主要工作有:首先以互信息作为衡量图像块分组的标准来构建相似结构组,克服了仅依靠颜色欧氏距离进行分组的不足。然后采用Gabor小波变换对互信息相似结构组进行组内Gabor特征的提取,并利用PCA降维方法得到初始化分组字典,避免了初始字典选取不当导致的字典学习陷入局部最优的问题。最后采用奇异值SVD分解和分裂Bregman迭代优化算法对结构组字典和稀疏系数进行学习,并重构得到修复后的壁画图像。敦煌壁画的修复实验结果表明,本文方法较其他比较算法获得了较好的主客观修复效果。

2 稀疏表示基础理论

2.1 稀疏表示

稀疏表示的主要目的是在给定的过完备字典中,用尽可能少的原子的线性组合来表示出原始信号,从而简化信号的表达形式^[13]。对于图像修复问题,可以将自然图像表示为少量原子的叠加,这些原子可以是图像块或线条,即可以通过少量原子来恢复重构出原始图像。

稀疏表示的数学描述如下。假设信号S可以通过D和α的线性组合得到,其中S是n×1维矩阵,D是n×t维矩阵,α是t×1维矩阵,矩阵元素均为实数,且n<t。即

S = Dα, (1)

式中:D为过完备字典,字典中每一列称为原子;α表示稀疏系数。

由于字典D是过完备满秩的,因此稀疏表示的实质就是在给定的字典D中找到既满足稀疏度又保证S信号可重构的最佳稀疏系数α,该最优化问题数学定义为

\underset{α}{argmin} ‖ α ‖_{0}, s.t. S = Dα, (2)

式中:‖α‖₀为α的l₀范数,也就是向量中非零元素的个数,用来衡量系数α的稀疏度。一般自然图像会受到噪声干扰或存在一定的重构误差ε,通过参数λ来平衡稀疏性和重构误差,(2)式可以改写为

\underset{α}{argmin} \frac{1}{2} ‖ S - Dα ‖_{2} + λ ‖ α ‖_{0}, s.t. ‖ S - Dα ‖_{2} \leq ε 。 (3)

在稀疏表示的图像修复中,图像退化过程定义为

Y = JX + n, (4)

式中:Y为观测到的退化图像;X为Y的原始无缺失图像;J为退化矩阵;n为高斯白噪声^[12]。因此,图像修复过程就是根据退化图像Y来推断估计出原始图像X的过程。

根据稀疏表示(3)式,在给定字典D的情况下,图像修复过程可以转化为求解稀疏系数α的问题,数学定义为

\underset{α}{α = argmin} \frac{1}{2} ‖ Y - J \cdot Dα ‖_{2} + λ ‖ α ‖_{1} 。 (5)

通过(5)式求得稀疏系数α后,再通过X=Dα就可以重构得到恢复图像。

2.2 字典设计与稀疏系数求解

稀疏表示(2)式和(3)式为欠定方程,有无穷多解,如何找到最优稀疏解,属于非确定性多项式(Nondeterministic Polynomially,NP) 难问题。因此,稀疏表示主要涉及两个核心问题:字典设计和稀疏系数的求解^[14]。目前,常用的字典设计算法有MOD算法和K-SVD等算法,稀疏系数的求解过程一般称为稀疏编码,常用的算法有松弛算法和贪婪算法等^[15]。

3 本文改进算法

传统的稀疏表示在字典学习和稀疏编码时,采用图像块(block)作为图像稀疏表示的基本单位,每一个图像块都是独立考虑的,忽略了块与块之间的相关性,导致稀疏编码系数不够准确^[14,16]。然而自然图像本身普遍具有局部稀疏性和自相似性等特性,部分学者提出了组稀疏表示方法^[12],将图像块按照颜色欧氏距离进行分组处理,但是上述组稀疏方式仅仅考虑了像素块的红绿蓝(RGB)颜色值,忽略了结构和纹理等其他信息,导致修复结构复杂的壁画图像时,会出现线条不连续和纹理清晰性较差的问题。

因此,本文提出了一种基于互信息组划分进行稀疏编码的方法,即首先针对原始图像采用互信息构建相似结构组(similar structural group),然后结合Gabor小波变换对相似结构组进行组内特征提取,并利用PCA降维方法得到初始化分组字典,最后通过结构组字典和稀疏系数学习后,重构得到修复后的图像。

3.1 基于互信息结构组的构造

互信息(Mutual Information,MI)在信息论中是根据特征和类别共同出现的概率来度量样本特征和类别之间的相关性,互信息越大,表示类别之间的相关程度越高。本文以互信息作为衡量图像块相似度的标准,定义块间互信息的计算公式为

I (A, B) = H (A) + H (B) - H (A, B), (6)

式中:H(A) 和H(B)分别为壁画图像样本块A和匹配块B的信息熵;H(A,B)为样本块和匹配块两个像素块之间的联合熵。像素块的信息熵和联合熵的计算公式为

\begin{array}{l} H (A) = - \overset{255}{\sum_{i = 0}} P_{A} (i) lb [P_{A} (i)] / 3, (7) \\ H (B) = - \overset{255}{\sum_{i = 0}} P_{B} (i) lb [P_{B} (i)] / 3, (8) \\ H (A, B) = - \overset{255}{\sum_{i = 0}} P_{AB} (i) lb [P_{AB} (i)] / 3, (9) \end{array}

式中:P_A(i)和P_B(i)为像素块A和B中R、G、B三个颜色通道中第i个等级的像素占比率;P_AB(i)为像素块A和B中第i个相同等级的联合概率;i表示像素等级,值为0~255。通过(6)~(9)式计算出壁画样本块和匹配块之间的相似程度,可以将待修复壁画图像块划分成为具有相似特征的不同结构组。上述操作更好地利用了图像本身的特性,避免了传统稀疏表示方法在块划分时对信号源本身属性考虑不足的问题。

将原始壁画图像X划分为k个N×N大小的不重叠像素的图像块X_k,X_k为B_k×1维矩阵(B_k为划分后的第k个图像块),X_k按照从左到右、从上到下的顺序形成索引列。本文稀疏表示的单位是组,每个组都是由结构纹理相似的图像块矩阵构成的,结构组建立的模型如图1所示。以左侧壁画图像为例,首先选择待匹配样本块X_k,在其L×L邻域内采用本文提出的互信息方法计算其与邻域内其他图像块的互信息,并选取与其最佳匹配的c个样本块组成集合{ $S_{X_{k}}$ },然后将集合{ $S_{X_{k}}$ }转换为矩阵形式,从而得到结构组 $X_{G_{k}}$ ,G_k为第k个样本块组。

图 1. 结构组建立示意图

Fig. 1. Schematic of structural group establishment

下载图片查看所有图片

将结构组 $X_{G_{k}}$ 中的每个图像块作为矩阵的一列,即 $X_{G_{k}}$ ∈{ $X_{G_{k} \times 1}$ , $X_{G_{k} \times 2}$ ,…, $X_{G_{k} \times c}$ },从而结构组可以表示为

X_{G_{k}} = R_{G_{k}} (X), (10)

式中: $R_{G_{k}}$ (X)表示从图像X中提取出结构组 $X_{G_{k}}$ ,通过其转置 $R_{G_{k}}^{T}$ (·)可以将结构组按照索引放回到重建图像的第k个位置,并将其他位置用0填充。通过对所有结构组求平均,重构出的整个待修复壁画图像X可以表示为

X = \overset{k}{\sum_{j = 1}} {R^{T}}_{G_{k}} (X_{G_{k}}) . / \overset{k}{\sum_{j = 1}} {R^{T}}_{G_{k}} (1_{B_{k} \times c}), (11)

式中:k为划分的图像块个数;./表示对两个向量的元素进行分割; $1_{B_{k} \times c}$ 为元素均为1的B_k×c维矩阵。

对于采用互信息构建的每个结构组字典 $D_{G_{k}}$ ,其稀疏编码过程是求解稀疏向量系数 $α_{G_{k}}$ 的过程,并使得每个结构组 $X_{G_{k}}$ 满足 $X_{G_{k}}$ ≈ $D_{G_{k}} α_{G_{k}}$ 的约束要求。因此,待修复图像可以由一系列结构组字典 $D_{G_{k}}$ 和稀疏系数 $α_{G_{k}}$ 表示。

求解每一个结构组字典 $D_{G_{k}}$ 的稀疏系数 $α_{G_{k}}$ 的数学定义为

α_{G_{k}} = \underset{α_{G_{k}}}{argmin} \frac{1}{2} ‖ X_{G_{k}} - D_{G_{k}} α_{G_{k}} ‖_{2}^{2} + λ ‖ α_{G_{k}} ‖_{0} 。 (12)

从(12)式可以看出,对于每个结构组,其稀疏求解属于NP难问题。

稀疏表示建模的核心在于字典D的确定,字典的优劣对图像的修复过程起着至关重要的作用,它决定了图像逆问题的求解质量^[15]。如果采用随机选取样本的方式初始化字典,字典的学习容易陷入局部最优,导致图像修复后效果欠佳^[14]。因此,为了克服初始化字典构造的盲目性,更好地提取壁画的特征信息,在求解(12)式时,本文提出采用Gabor小波变换对相似结构组 $X_{G_{k}}$ 进行多尺度多方向的高维Gabor特征提取,并对获得的高维特征进行PCA降维,以得到组内特征字典 $D_{G_{k}}$ 。

3.2 Gabor-PCA 初始化字典

在完成基于互信息结构组的构造后,为了获取更多的组内图像块的空间特征信息,采用Gabor-PCA的方法初始化字典。Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似,对图像的边缘敏感,具有优良的空间局部性和方向选择性,在提取图像局部区域内多个方向的空间频率和局部性结构特征方面获得了良好的效果^[17]。对壁画图像进行Gabor特征提取,不仅能够增强壁画关键特征信息的提取,而且对壁画图像的局部形变具有较好的鲁棒性。对图像进行Gabor小波变换就是对图像与Gabor小波核函数进行卷积运算,对于本文在互信息构建结构组 $X_{G_{k}}$ 的基础上,二维Gabor小波核函数定义为

\begin{array}{l} g_{u, v} (z) = {\frac{‖ k_{u, v} ‖}{2 σ^{2}}}^{2} \times \exp [- \frac{‖ k_{u, v} ‖^{2} ‖ z ‖^{2}}{2 σ^{2}}] \times [\exp (i k_{u, v} \cdot z) - \exp (- \frac{σ^{2}}{2})], (13) \end{array}

式中:z是互信息结构组 $X_{G_{k}}$ 中的像素坐标;u和v分别表示Gabor滤波器的尺度和方向;k_u_,_v=k_vexp(iΦ_u),k_v=k_max/f^v,k_max为最大采样频率;f为空间因子, Φ_u=πu/8;σ为高斯函数的标准差;‖·‖为取范数操作。

本文采用具有5个尺度(u=0,1,…,4)和8个方向(v=0,1,…,7)的Gabor 滤波器组对基于互信息的每个结构组进行卷积运算,以获得更加完整的壁画特征信息。对本文已经采用互信息构建的结构组,进一步采用Gabor小波变换对每一个结构组内的像素块进行多尺度多方向的图像特征提取,即采用(13)式对结构组中每个像素块与Gabor小波核函数进行卷积运算,数学定义为

O_{u, v} (x, y) = X_{G_{k}} (x, y) * g_{u, v} (x, y), (14)

式中:*为卷积运算; $X_{G_{k}}$ (x,y)为结构组图像像素坐标;g_u_,_v(x,y)为Gabor小波核函数;O_u_,_v(x,y)为在不同尺度和方向下得到的Gabor特征图。

为了说明Gabor小波变换对壁画特征提取的有效性,以敦煌莫高窟第158窟“思益梵天所问经变左侧之菩萨”壁画截取的组内图像块为例进行说明,如图2所示。图2为经过Gabor小波变换得到的多方向多尺度的40幅Gabor特征图。可以看出,通过Gabor小波变换,获得了壁画图像更加丰富的方向和尺寸特征,确保了初始字典拥有壁画更多的特征信息,为稀疏表示字典学习提供了更好的字典训练样本。

图 2. 5个尺度8个方向下获得的Gabor特征图

Fig. 2. Gabor characteristic maps obtained under 5 scales and 8 directions

下载图片查看所有图片

通过Gabor小波变换后,提取到的Gabor特征图的维数较高,但部分特征图存在冗余或包含特征信息较少的问题,因此需要对Gabor特征图进行维数约减,本文采用PCA降维的方式对Gabor特征图进行降维,以得到每个结构组 $X_{G_{k}}$ 的初始化特征字典 $D_{G_{k}}$ 。在进行PCA降维时,首先将每个结构组 $X_{G_{k}}$ 的Gabor特征图表示为向量的形式,即H= $[h_{1}, h_{2}, \dots, h_{l}, \dots, h_{M}]^{T}$ ,然后将其按照行排列的方式形成P维列向量,即形成P×M维矩阵,再计算出每个结构组内特征图的平均向量,用 $ψ_{G_{k}}$ 表示为

ψ_{G_{k}} = \frac{1}{M} \overset{M}{\sum_{l = 1}} h_{l}, (15)

式中,h_l为Gabor特征图表示的向量;l为变量,用来控制Gabor特征图个数;M为每个结构组Gabor特征图的总数。

在(15)式基础上求出每个结构组内特征图的均值: $A_{G_{k}}$ =[h₁- $ψ_{G_{k}}$ ,h₂- $ψ_{G_{k}}$ ,…,h_M- $ψ_{G_{k}}$ ]=[ξ₁,ξ₂,…,ξ_P,…,ξ_M],接着计算协方差矩阵:

C_{G_{k}} = \frac{1}{M} \overset{M}{\sum_{P = 1}} ξ_{P} {ξ^{T}}_{P} = A_{G_{k}} {A^{T}}_{G_{k}}, (16)

式中: $ψ_{G_{k}}$ 为每个结构组内特征图的平均向量;P为变量,用来控制特征图的均值计算;ξ_P为每个特征图的均值。

在通过(16)式计算得到协方差矩阵后,计算 $A_{G_{k}} A_{G_{k}}^{T}$ 的特征向量u_P,将特征向量按对应特征值大小进行排列并降维得到特征子空间,最后将M幅特征图投影到特征子空间,从而得到PCA降维后的结构组内特征字典 $D_{G_{k}}$ 。

3.3 字典学习与稀疏系数更新

传统稀疏表示的字典学习算法一般通过交替优化字典和稀疏编码系数求得,但是该方法得到的字典通常适用于整幅图像,没有对图像块之间的相似性进行考虑,且计算量大^[16]。本文采用奇异值SVD分解和分裂Bregman优化的思想^[12]进行字典学习与稀疏系数的更新。

首先采用双线性插值算法求得结构组 $X_{G_{k}}$ 的估计值 $r_{G_{k}}$ ,之后将每个Gabor-PCA得到的初始化字典 $D_{G_{k}}$ 通过 $r_{G_{k}}$ 进行奇异值SVD分解,即

r_{G_{k}} = U_{G_{k}} Σ_{G_{k}} {V^{T}}_{G_{k}} = \overset{k}{\sum_{j = 1}} r' (u_{G_{k} \times j} {v^{T}}_{G_{k} \times j}), (17)

式中: $U_{G_{k}}$ 为结构组 $X_{G_{k}}$ 的左奇异正交向量矩阵; $V_{G_{k}}^{T}$ 为结构组 $X_{G_{k}}$ 的右奇异正交向量矩阵; $u_{G_{k} \times j}$ 和 $v_{G_{k} \times j}$ 分别为矩阵 $U_{G_{k}}$ 和 $V_{G_{k}}^{T}$ 的列向量; $Σ_{G_{k}}$ 是以r'为主对角元素的对角矩阵。字典 $D_{G_{k}}$ 中的每个原子表示为

d_{G_{k} \times j} = u_{G_{k} \times j} {v^{T}}_{G_{k} \times j}, j = 1,2, \dots, k, (18)

式中:每个原子 $d_{G_{k} \times j}$ 的大小均为B_k×c,所以结构组 $X_{G_{k}}$ 相对应的自适应字典 $D_{G_{k}}$ 为

D_{G_{k}} = [d_{G_{k} \times 1}, d_{G_{k} \times 2}, \dots, d_{G_{k} \times k}] 。 (19)

通过SVD分解得到结构组自适应学习字典 $D_{G_{k}}$ 后,开始求解稀疏系数 $α_{G_{k}}$ ,考虑到图像的退化过程,通过引入变量u,将(12)式转化为等价的约束形式:

α_{G_{k}} = \underset{α_{G_{k}} \cdot u}{argmin} \frac{1}{2} ‖ Ju - Y ‖_{2}^{2} + λ ‖ α_{G_{k}} ‖_{0}, s.t. u = D_{G_{k}} \cdot α_{G_{k}}, (20)

然后定义f(u)= $\frac{1}{2} ‖ Ju - Y ‖_{2}^{2}$ ,g( $α_{G_{k}}$ )=λ $‖ α_{G_{k}} ‖_{0}$ ,并采用分裂Bregman 算法对(20)式进行迭代求解,得到稀疏系数 $α_{G_{k}}$ 。

最后将每个结构组字典 $D_{G_{k}}$ 和稀疏系数 $α_{G_{k}}$ 代入,即

X = D \cdot α = \overset{n}{\sum_{k = 1}} {R^{T}}_{G_{k}} (D_{G_{k}} \cdot α_{G_{k}}) . / \overset{n}{\sum_{k = 1}} {R^{T}}_{G_{k}} (1_{B_{k} \times c}), (21)

即可得重构修复后的图像X。

3.4 本文算法步骤

步骤1:输入待修复壁画图像和其掩模图像。

步骤2:利用互信息构建稀疏表示相似结构组。

步骤3:采用Gabor小波变换对相似结构组进行特征信息提取,并结合PCA降维方法得到初始化结构组分组字典。

步骤4:通过SVD分解和分裂Bregman算法得到结构组字典 $D_{G_{k}}$ 和稀疏系数 $α_{G_{k}}$ 。

步骤5:将 $D_{G_{k}}$ 和 $α_{G_{k}}$ 代入(21)式中得到重构图像,即得到修复后的壁画图像。

4 实验结果与分析

实验运行软件环境为Windows 10操作系统,采用Matlab R2016a软件,硬件配置为Inter(R) Core i5-7200U@2.70 GHz,4 GB RAM。修复结果采用主观及客观两种方式进行评价,客观评价即使用峰值信噪比PSNR和结构相似性SSIM对修复后的效果进行评价。此外,将本文修复结果与CDD算法^[5]、Criminisi算法^[6]、文献[ 7]、文献[ 11]和文献[ 12]的修复结果进行对比分析。为便于实验结果的比较分析,参数选取与文献[ 12]组稀疏修复实验参数设置相同,块大小取8 pixel×8 pixel,每个结构组包含块个数为60,分别开展随机像素缺失破损修复、人为添加划痕破损修复和真实破损壁画修复三类实验进行比较。

4.1 随机像素缺失的敦煌壁画修复

首先采用随机像素缺失的敦煌壁画图像进行修复实验。选取图3(a)所示的“莫高窟第158窟·飞天·一”壁画(Image 1)、“莫高窟第257窟·鹿王本生图”局部壁画(Image 2)和“榆林窟15窟·击球童子·宋” (Image 3)三幅壁画图像进行修复实验,实验结果如图3(c)~(f)所示。对于原始壁画图像,随机像素缺失70%后生成的待修复图像如图3(b)所示。

对于图3(b)所示的随机像素缺失图像,Criminisi算法和文献[ 7]均无法完成修复,这是因为上述算法在修复时采用纹理结构块匹配复制修复的思想,当出现大量随机像素缺失后,无法形成有效的块匹配操作,导致算法失效,无法完成修复。采用CDD算法修复后的结果如图3(c)所示,可以发现,CDD算法修复时采用扩散的形式,将完好区域信息向待修复区域进行扩散,但是由于破损区域密集,未考虑壁画更多结构信息,会留下明显的修复痕迹,如图3(c)中第一幅壁画修复后,图像整体模糊,轮廓边缘信息丢失严重,而且修复后存在线条不连续的现象。图3(d)所示为文献[ 11]的修复结果,文献[ 11]在稀疏表示的基础上通过引入稀疏编码噪声来平衡原始图像与重构图像之间的误差,提高了图像修复性能,但是只针对单个图像块,并未考虑图像块之间存在的相似性等,所以在修复结果中会出现结构不清晰和信息缺失的问题,如图3(d)中第一幅壁画图像修复后出现模糊现象,特别是矩形框内的菩萨面部特征缺失严重,第三幅壁画修复后童子的面部特征也出现了同样的缺失问题。图3(e)所示为文献[ 12]的修复结果,文献[ 12]提出的组稀疏表示方法是利用欧氏距离作为图像相似度分组的标准,修复结果具有一定的鲁棒性,修复结果比CDD算法和文献[ 11]算法的修复结果好,但对于结构复杂和纹理多样的壁画图像,也存在结构模糊和线条不连贯的问题,如图3(e)第一幅左下角矩形框和第三幅图像的矩形框中均出现了线条不连续的问题。图3(f)所示为本文算法的修复结果,可以看出,本文算法在图像的结构清晰性和线条连续性方面取得了较好的修复效果。

图 3. 随机像素缺失壁画修复效果对比。(a)原始图像;(b)随机像素缺失的待修复图像;(c) CDD算法;(d)文献[ 11]算法;(e)文献[ 12]算法;(f)本文算法

Fig. 3. Comparison among mural inpainting results with random pixel missing. (a) Original image; (b) mural images with random pixel missing; (c) CDD algorithm; (d) algorithm in Ref.[11]; (e) algorithm in Ref.[12]; (f) proposed algorithm

下载图片查看所有图片

为进一步对图3所示的壁画修复进行客观性评价,采用图像修复前后的峰值信噪比、结构相似度和修复时间来进行客观比较,如表1所示。可以发现,本文算法在PSNR和SSIM定量客观指标评价方面均优于比较算法,说明本文方法对随机像素缺失壁画图像的修复效果更好,修复后图像失真最少,但本文方法在修复时间上相比于其他算法较长。

表 1. 随机像素缺失壁画修复结果的比较

Table 1. Comparison among mural inpainting results with random pixel missing

Image No.	CDD algorithm			Algorithm in Ref.[11]			Algorithm in Ref.[12]			Proposed algorithm
Image No.	PSNR /dB	SSIM	Time /s	PSNR /dB	SSIM	Time /s	PSNR /dB	SSIM	Time /s	PSNR /dB	SSIM	Time /s
1	21.574	0.690	26.288	26.818	0.761	239.654	24.645	0.796	800.476	26.918	0.921	882.573
2	24.204	0.736	26.557	28.713	0.752	197.601	27.877	0.797	794.776	29.481	0.847	873.624
3	21.984	0.771	25.824	28.333	0.808	204.442	26.069	0.864	792.752	28.597	0.905	869.701

查看所有表

4.2 人为添加划痕的敦煌壁画修复

为了验证本文方法的有效性,下面对壁画进行人为添加划痕修复实验。人为划痕采用随机的方式进行添加,而真实破损壁画修复时则按照破损形状特点生成相应的掩模图像。以敦煌莫高窟窟顶藻井壁画为例,对6种不同修复方法进行比较,实验结果如图4所示。CDD算法的修复结果存在修复不彻底的问题,如图4(c)及其局部放大图4(i)所示,在划痕处未能完全完成扩散修复,有明显的修复残留。Criminisi算法由于对壁画图像的结构信息考虑不足,修复后出现了结构传播错误和像素错误匹配的现象,如图4(d)、(j)所示,在藻井壁画图腾龙爪修复时出现了匹配错误的现象。文献[ 7]在Criminisi算法的基础上,通过引入信息熵改进了优先权和块匹配准则,修复结果较CDD和Criminisi算法更好,但修复不彻底,仍有残留,如图4(e)、(k)所示。利用文献[ 11]和文献[ 12]的算法修复后,存在线条不连贯和结构不清晰的问题,如图4(l)、(m)所示,出现了模糊现象。本文算法的修复结果如图4(h)、(n)所示,可以看出,本文方法与其他方法相比,修复最为彻底,在线条连续性和清晰性方面也取得了更好的修复效果。

同样,进一步对图4实验进行客观评价,结果如表2所示。其中,Criminisi算法的修复结果较差,文献[ 7]方法的修复结果相对较好,本文算法在6种算法中效果最好,进一步验证了本文方法的有效性。

4.3 真实破损敦煌壁画修复

为了进一步验证本文方法的有效性,采用两组真实破损的壁画图像进行修复实验,实验结果如图5、6所示。图5所示为“莫高窟第14窟·十一面观音”局部破损壁画的修复结果比较,其中图5(a)为真实破损壁画,图5(b)为添加的掩模图像。图5(c)为CDD算法的修复结果,该算法修复不彻底,如图5(c)中左上角的矩形框中存在修复的痕迹。Criminisi算法的修复结果如图5(d)所示,出现了像素块匹配错误的问题,如图5(d)中右侧矩形区域内出现了匹配错误。文献[ 7]的修复结果如图5(e)所示,在左上角同样存在修复痕迹,但对右下角身体轮廓的修复是所有比较方法中效果最佳的。文献[ 11]和文献[ 12]均存在修复不完全的现象,如图5(f)、(g)左上角的矩形框中同样存在修复的痕迹。图5(h)所示为本文方法的修复结果,可以看出,本文方法对左侧矩形框区域的修复结果较好,线条较平滑,是6种比较方法中修复效果最好的,但对右侧矩形区域的修复效果不如文献[ 7]的修复效果。

图6所示为“莫高窟第72窟·观无量寿经变”局部破损壁画的修复结果比较,其中图6(a)为真实破损壁画,图6(b)为掩模图像。以待修复壁画左侧矩形框为例,可以发现,采用其他对比算法在该区域进行修复后,均存在不同程度的修复残留,而本文算法的修复效果较好,更符合视觉感受。

人为添加划痕的壁画修复效果对比。(a)原始图像;(b)人为添加划痕的图像;(c) CDD算法;(d) Criminisi算法;(e)文献[7]算法;(f)文献[11]算法;(g)文献[12]算法;(h)本文算法;(i) CDD算法修复区域的局部放大;(j) Criminisi算法修复区域的局部放大;(k)文献[7]算法修复区域的局部放大;(l)文献[11]算法修复区域的局部放大;(m)文献[<xref re

图 4. 人为添加划痕的壁画修复效果对比。(a)原始图像;(b)人为添加划痕的图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法;(i) CDD算法修复区域的局部放大;(j) Criminisi算法修复区域的局部放大;(k)文献[ 7]算法修复区域的局部放大;(l)文献[ 11]算法修复区域的局部放大;(m)文献[
Fig. 4. Comparison among mural inpainting results with artificial scratch. (a) Original image; (b) image with artificial scratch ; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm; (i) local enlargement of repaired area using CDD algorithm; (j) local enlargement of repaired area using Criminisi algorithm; (k) local enlargement of repaired area using algorithm in Ref.[7]; (l) local enlargement of repaired ar
下载图片  查看所有图片

表 2. 人为添加划痕的壁画修复结果比较

Table 2. Comparison among mural inpainting results with artificial scratch

Algorithm	PSNR /dB	SSIM
CDD algorithm	32.849	0.972
Criminisi algorithm	30.197	0.963
Algorithm in Ref.[7]	35.525	0.980
Algorithm in Ref.[11]	35.085	0.979
Algorithm in Ref.[12]	34.754	0.978
Proposed algorithm	35.649	0.985

查看所有表

5 结论

提出了一种基于Gabor小波变换和组稀疏表示的敦煌壁画修复算法。首先利用互信息作为结构组分组依据,将具有自相似性的图像块分组到一起, 克服了仅依靠颜色欧氏距离进行组划分的不足;然后采用Gabor小波变换和PCA降维的方法得到初始化字典,避免了字典随机初始化对稀疏表示的影响;最后采用SVD和分裂Bregman方法完成了字典和稀疏系数学习,并完成了壁画图像的重构修复。通过敦煌壁画的修复实验,与其他算法的结果进行了比较,本文算法的修复结果更加符合人眼的视觉感受,在峰值信噪比和结构相似性方面具有优势,获得了较好的修复效果。虽然本文方法有较好的修复效果,但存在时间复杂度较高以及修复时未考虑壁画图像语义的问题,后期将进一步采用深度学习等方法进行优化。

图 5. 真实破损的壁画修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 5. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

下载图片查看所有图片

图 6. 真实破损壁画的修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 6. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

下载图片查看所有图片

参考文献

[1] 王进玉. 敦煌莫高窟洞窟现状调查与病害分类[J]. 敦煌研究, 2005( 6): 113- 117.

Wang JY. The investigation on the current condition of mogao grottoes and the classification of diseases in exist[J]. Dunhuang Research, 2005( 6): 113- 117.

[2] 李丽, 高若婉, 梅树立, 等. 基于Shannon-Cosine小波精细积分法的壁画降噪修复方法[J]. 浙江大学学报(理学版), 2019, 46(3): 279-287.

Li L, Gao R W, Mei S L, et al. Mural image de-noising based on Shannon-Cosine wavelet precise integration method[J]. Journal of Zhejiang University (Sciences Edition), 2019, 46(3): 279-287.

[3] BertalmioM, SapiroG, CasellesV, et al.Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques , July 23-28, 2000, New Orleans, LA, USA.New York: ACM Press, 2000: 417- 424.

[4] Shen J H, Chan T F. Mathematical models for local nontexture inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[5] Chan T F, Shen J H. Nontexture inpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

[6] Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[7] 陈永, 艾亚鹏, 陈锦. 基于信息熵和结构特性的敦煌壁画修复算法[J]. 激光与光电子学进展, 2020, 57(12): 121020.

Chen Y, Ai Y P, Chen J. Dunhuang mural inpainting algorithm based on information entropy and structural characteristics[J]. Laser & Optoelectronics Progress, 2020, 57(12): 121020.

[8] Bittens S, Plonka G. Real sparse fast DCT for vectors with short support[J]. Linear Algebra and Its Applications, 2019, 582: 359-390.

[9] Wang H C, Tao C H, Chen S C, et al. High-precision seismic data reconstruction with multi-domain sparsity constraints based on curvelet and high-resolution Radon transforms[J]. Journal of Applied Geophysics, 2019, 162: 128-137.

[10] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[11] Dong W S, Zhang L, Shi G M, et al. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630.

[12] Zhang J, Zhao D B, Gao W. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336-3351.

[13] 李非燕, 霍宏涛, 李静, 等. 基于多特征和改进稀疏表示的高光谱图像分类[J]. 光学学报, 2019, 39(5): 0528004.

Li J, et al. Hyperspectral image classification via multiple-feature-based improved sparse representation[J]. Acta Optica Sinica, 2019, 39(5): 0528004.

[14] 楼幸欣, 唐向宏, 张越. 相似匹配块组的稀疏表示图像修复[J]. 中国图象图形学报, 2019, 24(7): 1055-1066.

Lou X X, Tang X H, Zhang Y. Sparsity image inpainting algorithm based on similar patch group[J]. Journal of Image and Graphics, 2019, 24(7): 1055-1066.

[15] 练秋生, 石保顺, 陈书贞. 字典学习模型、算法及其应用研究进展[J]. 自动化学报, 2015, 41(2): 240-260.

. Research advances on dictionary learning models, algorithms and applications[J]. Acta Automatica Sinica, 2015, 41(2): 240-260.

[16] 高成英, 徐仙儿, 罗燕媚, 等. 基于稀疏表示的物体图像修复[J]. 计算机学报, 2019, 42(9): 1953-1965.

Gao C Y, Xu X E, Luo Y M, et al. Object image inpainting based on sparse representation[J]. Chinese Journal of Computers, 2019, 42(9): 1953-1965.

[17] 程超, 达飞鹏, 王辰星, 等. 基于Lucas-Kanade算法的最大Gabor相似度大姿态人脸识别[J]. 光学学报, 2019, 39(7): 0715005.

Cheng C, Da F P, Wang C X, et al. Pose invariant face recognition using maximum Gabor similarity based on Lucas-Kanade algorithm[J]. Acta Optica Sinica, 2019, 39(7): 0715005.

陈永, 陶美风, 艾亚鹏, 陈锦. 基于Gabor变换和组稀疏表示的敦煌壁画修复算法[J]. 激光与光电子学进展, 2020, 57(22): 221015. Yong Chen, Meifeng Tao, Yapeng Ai, Jin Chen. Algorithm for Dunhuang Mural Inpainting Based on Gabor Transform and Group Sparse Representation[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221015.

基于Gabor变换和组稀疏表示的敦煌壁画修复算法下载： 919次

1 引言

2 稀疏表示基础理论

2.1 稀疏表示

2.2 字典设计与稀疏系数求解

3 本文改进算法

3.1 基于互信息结构组的构造

图 1. 结构组建立示意图

Fig. 1. Schematic of structural group establishment

3.2 Gabor-PCA 初始化字典

图 2. 5个尺度8个方向下获得的Gabor特征图

Fig. 2. Gabor characteristic maps obtained under 5 scales and 8 directions

3.3 字典学习与稀疏系数更新

3.4 本文算法步骤

4 实验结果与分析

4.1 随机像素缺失的敦煌壁画修复

图 3. 随机像素缺失壁画修复效果对比。(a)原始图像;(b)随机像素缺失的待修复图像;(c) CDD算法;(d)文献[ 11]算法;(e)文献[ 12]算法;(f)本文算法

Fig. 3. Comparison among mural inpainting results with random pixel missing. (a) Original image; (b) mural images with random pixel missing; (c) CDD algorithm; (d) algorithm in Ref.[11]; (e) algorithm in Ref.[12]; (f) proposed algorithm

表 1. 随机像素缺失壁画修复结果的比较

Table 1. Comparison among mural inpainting results with random pixel missing

4.2 人为添加划痕的敦煌壁画修复

4.3 真实破损敦煌壁画修复

表 2. 人为添加划痕的壁画修复结果比较

Table 2. Comparison among mural inpainting results with artificial scratch

5 结论

图 5. 真实破损的壁画修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 5. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

图 6. 真实破损壁画的修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 6. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于Gabor变换和组稀疏表示的敦煌壁画修复算法 下载： 919次

1 引言

2 稀疏表示基础理论

2.1 稀疏表示

2.2 字典设计与稀疏系数求解

3 本文改进算法

3.1 基于互信息结构组的构造

图 1. 结构组建立示意图

Fig. 1. Schematic of structural group establishment

3.2 Gabor-PCA 初始化字典

图 2. 5个尺度8个方向下获得的Gabor特征图

Fig. 2. Gabor characteristic maps obtained under 5 scales and 8 directions

3.3 字典学习与稀疏系数更新

3.4 本文算法步骤

4 实验结果与分析

4.1 随机像素缺失的敦煌壁画修复

图 3. 随机像素缺失壁画修复效果对比。(a)原始图像;(b)随机像素缺失的待修复图像;(c) CDD算法;(d)文献[ 11]算法;(e)文献[ 12]算法;(f)本文算法

Fig. 3. Comparison among mural inpainting results with random pixel missing. (a) Original image; (b) mural images with random pixel missing; (c) CDD algorithm; (d) algorithm in Ref.[11]; (e) algorithm in Ref.[12]; (f) proposed algorithm

表 1. 随机像素缺失壁画修复结果的比较

Table 1. Comparison among mural inpainting results with random pixel missing

4.2 人为添加划痕的敦煌壁画修复

4.3 真实破损敦煌壁画修复

表 2. 人为添加划痕的壁画修复结果比较

Table 2. Comparison among mural inpainting results with artificial scratch

5 结论

图 5. 真实破损的壁画修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 5. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

图 6. 真实破损壁画的修复效果对比。(a)原始图像;(b)掩模图像;(c) CDD算法;(d) Criminisi算法;(e)文献[ 7]算法;(f)文献[ 11]算法;(g)文献[ 12]算法;(h)本文算法

Fig. 6. Comparison of mural inpainting results with real damage. (a) Original image; (b) mask image; (c) CDD algorithm; (d) Criminisi algorithm; (e) algorithm in Ref.[7]; (f) algorithm in Ref.[11]; (g) algorithm in Ref.[12]; (h) proposed algorithm

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于Gabor变换和组稀疏表示的敦煌壁画修复算法下载： 919次