基于改进Criminisi算法的破损纺织品文物图像修复

李奇; 李龙; 王卫; 南蓬勃

doi:doi:10.3788/LOP222378

激光与光电子学进展, 2023, 60 (16): 1610011, 网络出版: 2023-08-15

基于改进Criminisi算法的破损纺织品文物图像修复下载： 524次

Image Inpainting of Damaged Textiles Based on Improved Criminisi Algorithm

论文大纲

李奇 ¹李龙 ¹王卫 ^2,*南蓬勃 ¹

作者单位

¹ 西安工程大学纺织科学与工程学院，陕西西安 710048

² 西安工程大学大学科技园，陕西西安 710048

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为修复破损纺织品文物图像，在Criminisi算法基础上，提出一种改进的基于K-means颜色分割的纺织品文物图像修复算法。根据纺织品文物图像的特点，将RGB图像转化为Lab颜色模型，采用K-means分类器对a*b*层数据基于颜色进行分割处理，对纹样图案边缘进行标定并缩小匹配块搜索区域；引入L值的标准差来表示颜色离散度，对优先权函数以及自适应匹配块进行改进。用所提算法与文献报道的3种算法对自然破损纺织品文物图像和人为破损纺织品图像进行修复，并对修复结果进行评价。实验结果表明，所提算法修复的图像纹理自然、结构合理，峰值信噪比、结构相似性、特征相似性、均方误差值更好。

Abstract

For the inpainting of the images of textile cultural relics at the damaged parts, an improved algorithm is pro-posed based on K-means color segmentation and Criminisi algorithm. Due to the characteristics of textile cultural relics images, RGB images were converted into Lab color model, and K-means classifier was used to segment a* and b * layer data according to their colors to calibrate the edges of the patterns and narrow the search area of matching blocks. The standard deviation of L value was introduced to represent the color dispersion and the priority function and adaptive matching block were improved.The proposed algorithm and the three algorithms reported in the literature were used to repair the image of natural damaged textile relics and man-made damaged textile images, and the restoration results were evaluated. The experimental results show that the image restored by the proposed algorithm has natural texture, reasonable structure, and better peak signal-to-noise ratio, structural similarity, feature similarity, mean square error values.

1　引言

图像修复（Image Inpainting）技术^［1］通过背景填充与替换去除图像中指定区域、改善受损图像质量，最终达到肉眼难以察觉的修复效果。现有主流图像修复算法可分为传统修复算法以及基于深度学习的图像修复算法^［2］。传统算法修复速度快、硬件要求低；基于深度学习的图像修复算法需要大量样本进行训练，并经过较长训练周期才能取得理想修复效果^［3］。

图像修复算法可分为两类：1）偏微分方程算法，利用待修区域的边缘信息向未知区域进行扩散的热扩散算法，如BSCB模型^［1］、TV模型^［4］、CDD模型^［5］等。该类算法对小面积破损图像修复效果较理想。2）基于样本块修复算法，全局搜索最佳匹配样本块并复制到待修复区域的算法，如Criminisi算法^［6］。该算法一定程度上保留了图像的纹理和结构信息，且对较大面积破损图像具有较好的修复效果^［7］，但该算法存在丢失效应、结构修复错乱与边缘效应等不足。学者们对该算法进行了大量改进。Cheng等^［8］对丢失效应进行改进，将优先权重新定义为置信项和数据项的加和，提供一种良好的通用优先权函数，解决优先权迅速归零导致修复算法失效的问题。Cao等^［9］引入结构张量使用其特征值重新定义数据项，以确保图像结构信息的准确传输，并采用局部搜索策略提高匹配效率。张子迎等^［10］将线性卷积的曲率计算融入数据项中确保结构的一致性，搜索匹配块时引入区域协方差减少匹配错误率。Chen等^［11］利用改进的全变分最小化方法提取图像结构，解决结构修复错乱问题。Li等^［12］对优先权函数进行修改优化丢失效应，并考虑修复块与其相邻块之间结构和颜色信息的连续性对数据项进行改进。Abdulla等^［13］赋予与待修复块欧氏距离最小的匹配块更高的优先权，以期填充内容来自破损区域附近的完整区域，从而降低边缘效应问题。

近年来，对纺织品文物数字化修复的文献报道较少。Wang等^［14］设计了数字图像采集系统与非单一视觉的提花织物纹理图像修复算法，用SIFT特征提取算法优化最佳匹配块的搜索，并用泊松图像融合技术对修复块的边界进行处理，复制目标图像的修补块到图像损坏区域。朱耀麟等^［15］采用Image Quilting算法对Crminisi算法中纹理块拼接部分进行优化，使得纹理更加自然，但耗时较长、图像结构修复效果不佳；蒋超等^［16］提出人机交互形式，通过人工补全缺失图样结构，再使用Criminisi算法修复图像，使结构修复更加合理，但修复每一个样本都要人工参与，修复效率较低且对纹理的修复效果不佳。

针对纺织品文物图像的纹理和结构特征，在分析Criminisi算法的基础上，本文提出一种基于K-means颜色分割改进的纺织品文物图像修复算法，对自然破损纺织品文物样品图像和人为破损纺织品图像进行修复，并与文献报道的其他算法修复效果进行比较，以期为破损纺织品文物图像数字化修复提供参考。

2　Criminisi算法简介

Criminisi算法^［6］是经典的基于范例图像修复算法。该算法的核心思想是在图像的已知区域内寻找最佳匹配块并填充到未知区域边缘的待填充块内，可以实现结构和纹理同时传播，图像视觉效果自然，符合人眼视觉感受。图1整个图像为待修复图像，由不相交的源区域 $Φ$ 和目标区域 $Ω$ 组成。Criminisi算法通过计算在待修复区域边缘 $δ Ω$ 上各点的优先权，选取优先权最高的像素点p，其中， $n_{p}$ 为P点的法向量， $\nabla I_{p}^{⊥}$ 为p点的等照度矢量且与p点的图像梯度矢量 $\nabla I_{p}$ 相互垂直、大小相等。然后以P为中心构造一个 $N \times N$ 大小的像素块 $Ψ_{p}$ ，在完好区域 $Φ$ 寻找与模板块（patch）最相似的样本块，并用找到的最优样本块填充待修复模板块中的信息。最后更新已修复块中像素点的置信度，并开始进行下一次迭代修复，直至修复完成。

图 1. Criminisi算法说明

Fig. 1. Description of Criminisi algorithm

下载图片查看所有图片

在迭代修复过程中，优先权决定填充次序，每次迭代都需要重新计算优先权，其细微的变化直接对修复结果造成影响。点p处的优先权定义为 $P (p) = C (p) \times D (p)$ ，其中，置信项 $C (p)$ 为点P处像素块内可靠信息的置信度，数据项 $D (p)$ 为点p处与目标区域边缘相交的等照度线的强度。 $C (p)$ 与 $D (p)$ 定义为

C (p) = \frac{\sum_{q \in ψ_{p} \cap (I - Ω)} C (q)}{|ψ_{p}|}

，（1）

D (p) = \frac{|\nabla I_{p}^{⊥} \cdot n_{p}|}{α}

，（2）

式中： $|ψ_{p}|$ 表示 $ψ_{p}$ 的面积； $α$ 是归一化因子（在灰度图形中， $α$ =255）。初始时，定义置信项 $C (p)$ 函数为 $C (p) = \{\begin{array}{l} 0, \forall p \in Ω \\ 1, \forall p \in (I - Ω) \end{array}$ 。迭代开始后，通过式（1）计算点P的置信度 $C (p)$ ，通过式（2）计算点P的数据项 $D (p)$ ，直至图像修复完成。

3　所提算法

为便于图像修复工作，将纺织品文物图像的纹理与结构作如下定义：纹理指纺织品的织造组织如平纹、斜纹、缎纹等，结构指纺织品上的纹样图案。与一般图像不同，纺织品文物图像的纹理规律性强，在数字化修复过程中会对结构部分的修复造成干扰。为了减少这种干扰，采用K-means颜色聚类处理，将纺织品文物图像分割为多张相同颜色的图层，使纹理与结构分离。现有的基于范例的图像修复改进算法中，为了在修复过程充分考虑图像的结构因素，通常引入结构张量以改进优先权函数^［17］，该改进方法对普通图像结构张量检测效果良好，但是对纺织品文物图像结构张量检测的角点、边缘区域效果不理想。因此，提出基于K-means颜色分割的纺织品文物图像修复算法。

图2为所提算法对纺织品文物图像修复过程框图，由3个部分组成。首先，对纺织品文物图像进行降噪、mask图像制作等预处理；然后，使用K-means聚类算法将Lab空间图像分割为多张不同颜色的图层；最后，对纺织品文物图像损伤区域进行多次迭代填充。迭代过程仍然遵循Criminisi算法的步骤，但改进了3个技术细节：1）引入基于K-means聚类算法分割的结果确定结构区域，对置信项进行改进；2）引入Lab空间颜色L值的标准差确定结构与纹理的边缘，对数据项进行改进；3）对匹配块的大小用L值均值方差进行自适应调整，并将搜索区域减小至相同颜色图层。

图 2. 纺织品文物图像修复的算法框图

Fig. 2. Algorithm block diagram of textile cultural relic image restoration

下载图片查看所有图片

3.1　K-means聚类

K-means聚类算法属于机器学习领域的无监督学习，其训练集没有标签。在处理大数据集时，该算法可以保证较好的伸缩性且效率高，因此被广泛应用于图像分割领域。K-means聚类算法把数据分成不同的簇，同一簇中的数据差异小，不同簇之间的差异大，使用误差平方和（E_SSE）将其目标函数定义为

E_{S S E} = \sum_{i = 1}^{K} \sum_{x \in C_{i}} (c_{i} {- x)}^{2}

，（3）

式中：C_i代表第i个簇；c_i代表C_i的中心点；x代表任意的数据对象。K-means聚类算法的缺点是需划分的簇数（K值）设定的不确定性和用于量化两个对象之间距离的距离度量的选择^［18］。采用K-means聚类颜色分割纺织品文物图像，K值设为图像中包含的颜色数量，巧妙避开了这个缺点；距离度量选择基于欧氏距离的聚类算法，给定两个样本 $X = (x_{1}, x_{2}, \dots, x_{n})$ 与 $Y = (y_{1}, y_{2}, \dots, y_{n})$ ，其中，n表示特征数，X与Y两个向量的欧氏距离定义为

D (X, Y) = \sqrt[]{(x_{1} - y_{1})^{2} + \dots + (x_{n} - y_{n})^{2}}

。（4）

3.2　图像预处理

3.2.1　降噪

纺织品文物材质包括丝、棉、麻、毛等^［19］，都属于有机物质，化学稳定性较差，出土文物表面多存在着脱色、褪色、渍点等情况，因此纺织品文物原样图像不能直接用于图像修复，需要对图像进行颜色增强、降噪等预处理。图像降噪处理结果如图3所示。

图 3. 降噪处理后的边界跟踪结果。（a）毛织品文物原样图像；（b）未降噪处理的边界跟踪图像；（c）自适应滤波处理后的边界跟踪图像；（d）所提降噪算法处理后的边界跟踪图像

Fig. 3. Boundary tracking results after denoising. (a) Raw wool fabric image; (b) boundary tracking images without denoising; (c) boundary tracking image processed by adaptive filtering; (d) boundary tracking image processed by proposed algorithm

下载图片查看所有图片

3.2.2　自动识别破损区域制作mask图像

在经典Criminisi算法^［6］中mask图需要人为制作，在所提算法中mask图制作由计算机自动完成。实现步骤如下：首先，对纺织品文物图像采用阈值K（K=220）过滤RGB三通道的值，大于等于K则赋值255，小于K则赋值0；然后运用膨胀处理适当扩大待修复区域，以减少纺织品文物破损边缘脱线、腐烂等痕迹的干扰。纺织品文物图像的mask图制作过程如图4所示。

图 4. mask制作过程示意图。（a）原图；（b）破损区域；（c）mask图；（d）待修复图

Fig. 4. Schematic diagram of mask making process. (a) Original image; (b) damaged area; (c) mask map; (d) image to be repaired

下载图片查看所有图片

3.3　基于K-means的Lab颜色图像分割

因为RGB空间结构不符合人们对颜色相似性的主观判断，选择更符合人类的视觉成像原理且色域更广的CIE L*a*b*颜色模型^［20］。L*a*b*空间包含光度层L*、色度层a*和色度层b*，所有颜色信息都在a*层和b*层。根据纺织品文物图像的结构颜色与纹理颜色不同这一特征，对Lab图像进行颜色分割处理时，仅需要对a*、b*层数据采用K-means聚类算法处理。分割结果如图5所示。

图 5. K-means颜色分割结果

Fig. 5. The result of K-means color segmentation

下载图片查看所有图片

K-means颜色图像分割的过程如下：选择初始化的K个颜色样本作为初始聚类中心 $a = a_{1}, a_{2}, \dots, a_{k}$ ；计算数据集中每个样本 $x_{i}$ 到K个聚类中心的距离，将样本分到距离最小的聚类中心所对应的类中；针对每个类别重新计算它的聚类中心 $a_{j} = \frac{1}{|c_{i}|} \sum_{x \in c_{i}} x$ ；重复上面的操作，直至达到中止条件。

3.4　改进的Criminisi算法

3.4.1　优先权函数改进

考虑到纺织品文物图像修复结果的视觉合理性，需要先修复结构部分，再修复纹理部分。在Criminisi算法^［6］中，优先级函数决定着待修复块的填充次序并直接影响修复结果，所以一个优良的优先权函数尤为重要。采用K-means聚类颜色分割处理将输入图像分割为多张图层用以辅助区分结构部分与纹理部分，并且对结构部分修复时为确保结构的收敛应当优先修复结构与纹理边缘处。原置信项 $C (p)$ 、数据项 $D (p)$ 不能满足该工作的要求，需做出以下改进。

1）置信项 $C (p)$ 的改进。对纺织品文物图像进行颜色分割处理后，生成多张不同颜色的图层，如图5所示。首先，将结构图层进行二值化处理，结构区域的像素值为1，非结构区域的像素值为0。然后，以p点为中心在每张图层内构成矩阵搜索块（大小为N×N），计算像素块中待修复颜色的像素在像素块中的占比 $B (p)$ 。最后，按照占比遵循少数颜色优先的原则优化置信项 $R_{C} (p)$ 。定义 $B (p)$ 与 $R_{C} (p)$ 为

B (p) = \frac{\sum_{a = - n}^{a = n} \sum_{b = - n}^{b = - n} (x_{i + a}, y_{j + b})}{N^{2}}, n = (N - 1) / 2

，（5）

R_{C} (p) = B (p) \cdot C (p)

，（6）

式中： $(x_{i}, y_{j})$ 为p点索引坐标。

2）结构与纹理边缘的确定。由于数据项 $D (p)$ 值为破损边缘梯度向量的垂直向量与法线向量的乘积，所以 $D (p)$ 仅能辨别出破损区域是非平滑区域，而不能辨别其为边缘区域^［21］。为了更准确地辨别纺织品文物图像的结构与纹理边缘，基于纺织品文物图像的结构与纹理颜色不同的特点，将RGB彩色图像转化到Lab颜色空间内，引入颜色离散度 $σ (p)$ ，对原算法进行优化。颜色离散度可由L值的标准差表示，待修复像素块 $Ψ_{p}$ 中分为目标区域与源区域，目标区域 $Ω$ 被mask图像覆盖（其L值为0），源区域 $Φ$ 中不同颜色像素点的L值不同，如图6所示：当L值标准差越小则颜色离散度越小，说明该像素块 $Ψ_{p}$ 中颜色构成越简单，不存在结构与纹理边缘；当L值标准差越大则颜色离散度越大，说明该像素块 $Ψ_{p}$ 中颜色构成越复杂，存在结构与纹理边缘。由此将颜色离散度 $σ (p)$ 定义为

σ (p) = \sqrt[]{\frac{\sum_{i = 0}^{n} (L_{i} {- \bar{L})}^{2}}{n - 1}}

，（7）

式中：n为矩阵中L值不为0元素的个数，即有效L值的个数。

图 6. 不同像素块的颜色离散度。（a）样本1， $σ (p) = 0.3398$ ；（b）样本2， $σ (p)$ =0.5350

Fig. 6. Color dispersion of different pixel blocks. (a) Sample 1, $σ (p) = 0.3398$ ; (b) Sample 2, $σ (p)$ =0.5350

下载图片查看所有图片

为了避免修复迭代过程中优先级 $P (p)$ 迅速趋向于0，出现“丢失效应”，所提算法在Cheng等^［8］提出的通用函数式基础上进行改进。重新定义优先权函数为

P = α [R_{C} (p) + D (p)] + β σ (p)

，（8）

式中： $R_{C} (p)$ 、 $D (p)$ 通过式（6）、式（2）计算得到； $α$ 、 $β$ 分别为置信项加和数据项、颜色离散度的权重系数，且满足系数和为1，可通过实验获得修复效果最佳时的权重系数。

3.4.2　匹配块搜索策略改进

在经典Criminisi算法^［6］中，寻找最优匹配块时，样本块为固定的9×9像素块。这样的设定会导致修复结构复杂的图像时出现结构混乱与不连续的现象。针对这个问题，所提算法引入纺织品文物图像颜色离散度对样本块大小进行自适应调整。发现：在待修复区域内，颜色离散度低的区域，大样本块修复效果较好；颜色离散度高的区域，小样本块修复效果较好。为了维持纺织品文物图像的结构特征与纹理连贯，使修复效果更自然。在匹配块搜索时，根据颜色离散度区分图像的纹理区域和结构区域，使用自适应选择样本块的大小进行纺织品文物破损区域的填充。自适应样本块的大小选取定义如下：

S (p) = \{\begin{array}{l} N_{1} \times N_{1}, σ (p) < 0.4 \\ N_{2} \times N_{2}, 0.4 \leq σ (p) \leq 0.6 \\ N_{3} \times N_{3}, σ (p) > 0.6 \end{array}

，（9）

式中：块的大小由经验所得确定，N₁=21、N₂=15、N₃=9，可根据实际所需进行修改。

4　实验结果及分析

为检验所提算法修复破损纺织品文物图像的有效性，采用Matlab 9.7软件作为工具，在3.60 GHz处理器、8 GB内存的PC机上对自然破损的纺织品文物图像和人为破坏的纺织品图像进行修复，并进行系统仿真实验。从主观评价与客观评价两个方面将所提算法的修复效果与经典Criminisi算法^［6］、文献［16］算法、文献［22］算法的效果进行比较。由于自然破损纺织品文物图像缺少参照对象，无法使用峰值信噪比（PSNR）^［23］与结构相似性（SSIM）^［23］进行评价，增加了完好纺织品图像人为破坏的修复实验，用PSNR、SSIM、特征相似性（FSIM）、均方误差（MSE）进行客观评价，以进一步证明所提算法的有效性。

4.1　自然破损纺织品文物图像修复的主观评价

以西安曲江丝路遗珍博物馆馆藏纺织品文物图像、文献［24］、文献［25］、公共数据集及西安工程大学纺织服装博物馆馆藏纺织品文物图像为对象，对图像的破损区域进行数字化虚拟修复，修复结果如图7所示。由于纺织品文物图像破损区域面积较大且结构复杂，破损区域的原图像内容无法得知，只能对破损边界处修复结果进行主观评价。

图 7. 破损纺织品文物图像4种算法修复结果比较。（a）破损纺织品文物图像；（b）mask图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

Fig. 7. Comparison of inpainting results of damaged textile cultural relics images by four algorithms. (a) Image of damaged textile artifacts; (b) mask map; (c) inpainting image by Criminisi algorithm;(d) inpainting image by reference [16] algorithm; (e) inpainting image by reference [22] algorithm; (f) inpainting image by proposed algorithm

下载图片查看所有图片

从图7修复结果可看出，4种算法对自然破损纺织品文物图像均有修复效果。从纹理修复效果来看：Criminisi算法、文献［16］算法、文献［22］算法对较大破损区域修复时，纹理填充出现模糊、不连贯、“块效应”等现象；所提算法纹理填充连贯且自然。从结构修复效果来看：Criminisi算法结构断裂严重，效果较差；文献［16］算法在各破损区域优于Criminisi算法与文献［22］算法的修复效果，但出现了“丢失效应”；文献［22］算法虽然对较小破损区域的结构修复效果较好，但对较大破损区域的结构修复存在结构混乱、边界模糊等现象；所提算法对结构的修复在较小破损区域的修复连贯未出现断裂现象，在较大破损区域的修复较为合理。从图像修复整体效果看，Criminisi算法修复图像存在明显的像素块修复痕迹，文献［16］算法存在“丢失效应”与“块效应”，文献［22］算法在填充边缘处存在纹理错误填充、结构不线性的现象，所提算法修复的图像纹理连贯、结构较为合理，整体主观视觉较为自然，无明显修复痕迹。

4.2　人为破损纺织品图像修复的客观评价

图像修复技术本身是一个病态逆问题，根据获取到的部分图像信息重建缺失区域^［26］。为了定量分析修复算法的有效性，一般采取人工随机添加破损区域后再进行定量分析的方法。对人为破损图像客观评价时，通常采用PSNR、SSIM、FSIM与MSE进行定量比较^［27］。PSNR值越大表示失真越小图像修复效果越好^［28］；MSE值越小图像质量越高；SSIM取值范围为0~1，值越大表示结构相似性越高；FSIM值越大表示图像质量越高。

PSNR的定义为

R_{P S N R} = 10 l o g_{10} \frac{(2^{n} {- 1)}^{2}}{E_{M S E}}

。（10）

MSE的定义为

E_{M S E} = \frac{1}{H \times W} \sum_{i = 1}^{H} {\sum_{j = 1}^{W} [X (i, j) - Y (i, j)]}^{2}

。（11）

SSIM^［29］的定义为

M_{S S I M} (X, Y) = l (X, Y) \cdot c (X, Y) \cdot s (X, Y)

。（12）

FSIM^［30］的定义为

M_{F S I M} = \frac{\sum_{x \in Ω} S_{L} (x) \cdot P C_{m} (x)}{\sum_{x \in Ω} P C_{m} (x)}

。（13）

对纺织品文物图像人为添加空白像素随机掩盖，以模拟不同的破损类型。人为破损纺织品文物图像及其修复结果如图8所示，客观评价指标值如表1所示。

图 8. 人为制作虚拟破损纺织品图像的修复效果比较。（a）原纺织品图像；（b）人为虚拟破损图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

Fig. 8. Comparison of repairing effect of artificial fictitious damaged textile image. (a) Image of original textile; (b) artificial virtual damage image; (c) inpainting image by Criminisi algorithm;(d) inpainting image by reference [16] algorithm; (e) inpainting image by reference [22] algorithm; (f) inpainting image by proposed algorithm

下载图片查看所有图片

表 1. 质量评价参数对比（测试1）

Table 1. Comparison of quality evaluation parameters (test 1)

No.	PSNR /dB				SSIM
No.	Criminisi^［6］	Reference［16］	Reference［22］	Proposed algorithm	Criminisi^［6］	Reference［16］	Reference［22］	Proposed algorithm
1	29.0993	28.3082	29.655	31.6947	0.9499	0.9336	0.9543	0.9639
2	26.2305	26.5485	24.4417	28.3563	0.9602	0.9647	0.9456	0.9669
3	26.6610	26.7837	26.8274	29.4422	0.9389	0.9369	0.9394	0.9685
4	31.0111	32.8738	31.1596	32.8728	0.9873	0.9879	0.9848	0.9885
5	29.7684	32.3967	32.0776	34.4626	0.9690	0.9775	0.9873	0.9821
6	33.1891	35.6378	35.1226	36.2645	0.9778	0.9848	0.9789	0.9855
No.	FSIM				MSE
No.	Criminisi^［6］	Reference［16］	Reference［22］	Proposed algorithm	Crimytinisi^［6］	Reference［16］	Reference［22］	Proposed algorithm
1	0.9793	0.7718	0.97759	0.9826	80.0113	95.9984	70.4015	44.0162
2	0.9591	0.9704	0.9732	0.9749	154.8929	143.9549	233.8371	94.9413
3	0.9768	0.9804	0.9803	0.9809	140.2739	136.3683	135.0035	73.9374
4	0.9885	0.9905	0.9889	0.9928	51.5196	40.3382	49.7874	33.5586
5	0.9814	0.9858	0.9872	0.9896	68.5869	37.4464	40.3013	23.2715
6	0.9873	0.9910	0.9925	0.9916	31.2011	17.7543	19.9905	15.3686

查看所有表

由图8可以看出：Criminisi^［6］算法填充效果不理想，纹理修复产生了较大偏差，结构缺失；文献［16］算法纹理出现错乱，结构修复较为合理，但结构修复细节部分存在“丢失效应”；文献［22］算法的修复效果存在纹理错误填充，结构不连贯、错乱、缺失的现象；所提算法修复结果纹理比较吻合，结构比较合理，破损边缘位置的扩散痕迹少。

由表1可以看出，所提算法的PSNR、SSIM、FSIM、MSE基本优于Criminisi算法、文献［16］算法与文献［22］算法。

为进一步验证所提算法对纺织品图像修复的有效性，采用3种算法对模拟破损图像进行修复。客观评价指标如表2所示，修复结果如图9所示。

表 2. 质量评价参数对比（测试2）

Table 2. Comparison of quality evaluation parameters (test 2)

No.	PSNR			SSIM
No.	Reference［16］	Reference［22］	Proposed algorithm	Reference［16］	Reference［22］	Proposed algorithm
1	24.5435	24.0293	26.2549	0.9634	0.9640	0.9733
2	41.5268	39.7542	43.2108	0.9961	0.9958	0.9967
3	31.1300	30.7285	32.5959	0.9933	0.9935	0.9944
No.	FSIM			MSE
No.	Reference［16］	Reference［22］	Proposed algorithm	Reference［16］	Reference［22］	Proposed algorithm
1	0.9723	0.9728	0.9799	219.5577	257.1270	154.0254
2	0.9981	0.9970	0.9991	3.6342	6.8811	3.1045
3	0.9962	0.9946	0.9968	50.1279	54.9837	35.7677

查看所有表

图 9. 修复效果对比图。（a）原始图像；（b）破损图像；（c）文献［16］算法修复图像；（d）文献［22］算法修复图像（e）所提算法修复图像

Fig. 9. Comparison of inpainting effects. (a) Original image; (b) damaged image; (c) inpainting image by reference [16] algorithm; (d) inpainting image by reference [22] algorithm; (e) inpainting image by proposed algorithm

下载图片查看所有图片

综合客观评价指标与图像修复结果可以看出，所提算法的PSNR、SSIM、FSIM与MSE值优于文献［16］、文献［22］算法。文献［16］、文献［22］算法修复效果均存在纹理错乱、结构不合理现象，所提算法修复效果无明显填充痕迹，填充区域图像结构、纹理与实际图像更接近。

5　结论

以破损纺织品文物图像为研究对象，根据纺织品文物图像的特征，在Criminisi算法基础上提出一种基于K-means颜色分割改进的纺织品文物图像修复算法。通过对优先权函数的改进，使纹理与结构边缘处、结构特征被优先传播；通过匹配样本大小的自适应调整，使修复效果更自然。

实验结果表明：对自然破损纺织品文物图像的修复，所提算法的修复效果纹理自然且结构合理；对人为破损的纺织品图像的修复，采用PSNR、SSIM、FSIM与MSE进行客观评价，所提算法优于其他3种算法，纹理修复更加自然，结构与实际图像更接近。在接下来的研究工作中，对纹理更复杂的纺织品文物图像修复仍需进一步研究。

参考文献

[1] BertalmioM, SapiroG, CasellesV, et al. Image inpainting[C]∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, July 23-28, 2000, New Orleans, LA, USA. New York: ACM Press, 2000: 417-424.

[2] Jam J, Kendrick C, Walker K, et al. A comprehensive review of past and present image inpainting methods[J]. Computer Vision and Image Understanding, 2021, 203: 103147.

[3] IsolaP, ZhuJ Y, ZhouT H, et al. Image-to-image translation with conditional adversarial networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 5967-5976.

[4] Shen J H, Chan T F. Mathematical models for local nontexture inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[5] Chan T F, Shen J H. Nontexture inpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

[6] Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[7] 程鸿, 张齐杨, 沈川, 等. 基于配准修复的双目显微相位恢复[J]. 光学学报, 2021, 41(12): 1210002.

Cheng H, Zhang Q Y, Shen C, et al. Dual-camera phase retrieval based on registration restoration[J]. Acta Optica Sinica, 2021, 41(12): 1210002.

[8] ChengW H, HsiehC W, LinS K, et al. Robust algorithm for exemplar-based image inpainting[EB/OL]. [2022-06-08]. https://www.cmlab.csie.ntu.edu.tw/new_cml_website/media/publications/Cheng-2005-RAE.pdf.

[9] Cao J F, Li Y F, Zhang Q, et al. Restoration of an ancient temple mural by a local search algorithm of an adaptive sample block[J]. Heritage Science, 2019, 7(1): 1-14.

[10] 张子迎, 周华. 强化结构的数字壁画病害修复算法研究[J]. 系统仿真学报, 2022, 34(7): 1524-1531.

Zhang Z Y, Zhou H. Research on inpainting algorithm of digital murals based on enhanced structural information[J]. Journal of System Simulation, 2022, 34(7): 1524-1531.

[11] Chen Y T, Zhang H P, Liu L W, et al. Research on image inpainting algorithm of improved total variation minimization method[J]. Journal of Ambient Intelligence and Humanized Computing, 2021: 1-10.

[12] Li C, Chen H, Han X, et al. An improved Criminisi method for image inpainting[J]. Journal of Physics: Conference Series, 2022, 2253(1): 012023.

[13] Abdulla A A, Ahmed M W. An improved image quality algorithm for exemplar-based image inpainting[J]. Multimedia Tools and Applications, 2021, 80(9): 13143-13156.

[14] Wang W Z, Deng N, Xin B J, et al. Research on texture image inpainting of jacquard fabric based on non-single vision[J]. Textile Research Journal, 2020, 90(13/14): 1462-1476.

[15] 朱耀麟, 李张翼, 武桐. 针对规则古织物纹理的图像修复[J]. 棉纺织技术, 2017, 45(10): 9-12.

Zhu Y L, Li Z Y, Wu T. Image restoration for regular ancient fabric texture[J]. Cotton Textile Technology, 2017, 45(10): 9-12.

[16] 蒋超, 汪家杰, 俞琳. 一种纺织文物图样数字化修复方法研究[J]. 丝绸, 2019, 56(11): 21-25.

Jiang C, Wang J J, Yu L. Research on a digital restoration method for textile cultural relics[J]. Journal of Silk, 2019, 56(11): 21-25.

[17] 何雨亭, 唐向宏, 张越, 等. 结构张量的改进Criminisi修复[J]. 中国图象图形学报, 2018, 23(10): 1492-1507.

He Y T, Tang X H, Zhang Y, et al. Improved Criminisi algorithm based on structure tensor[J]. Journal of Image and Graphics, 2018, 23(10): 1492-1507.

[18] Wong J A H A. Algorithm AS 136: a k-means clustering algorithm[J]. Journal of the Royal Statistical Society, 1979, 28(1): 100-108.

[19] YuX R. An overview of the development of Chinese embroidered clothing in the past dynasties[C]∥Proceedings of the 2018 International Conference on Sports, Arts, Education and Management Engineering (SAEME 2018), June 29-30, 2018, Taiyuan, China. Paris, France: Atlantis Press, 2018.

[20] Connolly C, Fleiss T. A study of efficiency and accuracy in the transformation from RGB to CIELAB color space[J]. IEEE Transactions on Image Processing, 1997, 6(7): 1046-1048.

[21] 任澍, 唐向宏, 康佳伦. 纹理和边缘特征相结合的图像修复算法[J]. 计算机辅助设计与图形学学报, 2013, 25(11): 1682-1693.

Ren S, Tang X H, Kang J L. An image inpainting algorithm combined with texture and edge features[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(11): 1682-1693.

[22] Liu H M, Bi X H, Lu G M, et al. Exemplar-based image inpainting with multi-resolution information and the graph cut technique[J]. IEEE Access, 2019, 7: 101641-101657.

[23] HoréA, ZiouD. Image quality metrics: PSNR vs. SSIM[C]∥2010 20th International Conference on Pattern Recognition, August 23-26, 2010, Istanbul, Turkey. New York: IEEE Press, 2010: 2366-2369.[LinkOut]

[24] 欧文·琼斯. 中国纹样[M]. 侯晓莉, 译. 上海: 上海古籍出版社, 2016: 99.

OwenJ. Examples of Chinese ornament[M]. HouX L, Transl. Shanghai: Shanghai Ancient Books Publishing House, 2016: 99.

[25] 阙碧芬, 范金民. 明代宫廷织绣史[M]. 北京: 故宫出版社, 2015: 99.

QueB F, FanJ M. History of court embroidery in Ming Dynasty[M]. Beijing: Palace Museum Press, 2015: 99.

[26] 赵政康. 数字图像修复技术研究[D]. 南京: 南京航空航天大学, 2016.

ZhaoZ K. Research on digital image inpainting technology[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2016.

[27] 沈康, 刘松德, 施钧辉, 等. 基于双域神经网络的稀疏视角光声图像重建[J]. 中国激光, 2022, 49(5): 0507208.

Shen K, Liu S D, Shi J H, et al. Dual-domain neural network for sparse-view photoacoustic image reconstruction[J]. Chinese Journal of Lasers, 2022, 49(5): 0507208.

[28] 王梦瑶, 孟祥超, 邵枫, 等. 基于深度学习的SAR辅助下光学遥感图像去云方法[J]. 光学学报, 2021, 41(12): 1228002.

Wang M Y, Meng X C, Shao F, et al. SAR-assisted optical remote sensing image cloud removal method based on deep learning[J]. Acta Optica Sinica, 2021, 41(12): 1228002.

[29] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[30] Zhang L, Zhang L, Mou X Q, et al. FSIM: a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

3.2.2　自动识别破损区域制作mask图像

3.3　基于K-means的Lab颜色图像分割

4.1　自然破损纺织品文物图像修复的主观评价

4.2　人为破损纺织品图像修复的客观评价

5　结论

李奇, 李龙, 王卫, 南蓬勃. 基于改进Criminisi算法的破损纺织品文物图像修复[J]. 激光与光电子学进展, 2023, 60(16): 1610011. Qi Li, Long Li, Wei Wang, Pengbo Nan. Image Inpainting of Damaged Textiles Based on Improved Criminisi Algorithm[J]. Laser & Optoelectronics Progress, 2023, 60(16): 1610011.

基于改进Criminisi算法的破损纺织品文物图像修复下载： 524次

1　引言

2　Criminisi算法简介

图 1. Criminisi算法说明

Fig. 1. Description of Criminisi algorithm

3　所提算法

图 2. 纺织品文物图像修复的算法框图

Fig. 2. Algorithm block diagram of textile cultural relic image restoration

3.1　K-means聚类

3.2　图像预处理

3.2.1　降噪

图 3. 降噪处理后的边界跟踪结果。（a）毛织品文物原样图像；（b）未降噪处理的边界跟踪图像；（c）自适应滤波处理后的边界跟踪图像；（d）所提降噪算法处理后的边界跟踪图像

Fig. 3. Boundary tracking results after denoising. (a) Raw wool fabric image; (b) boundary tracking images without denoising; (c) boundary tracking image processed by adaptive filtering; (d) boundary tracking image processed by proposed algorithm

3.2.2　自动识别破损区域制作mask图像

图 4. mask制作过程示意图。（a）原图；（b）破损区域；（c）mask图；（d）待修复图

Fig. 4. Schematic diagram of mask making process. (a) Original image; (b) damaged area; (c) mask map; (d) image to be repaired

3.3　基于K-means的Lab颜色图像分割

图 5. K-means颜色分割结果

Fig. 5. The result of K-means color segmentation

3.4　改进的Criminisi算法

3.4.1　优先权函数改进

图 6. 不同像素块的颜色离散度。（a）样本1， $σ (p) = 0.3398$ ；（b）样本2， $σ (p)$ =0.5350

Fig. 6. Color dispersion of different pixel blocks. (a) Sample 1, $σ (p) = 0.3398$ ; (b) Sample 2, $σ (p)$ =0.5350

3.4.2　匹配块搜索策略改进

4　实验结果及分析

4.1　自然破损纺织品文物图像修复的主观评价

图 7. 破损纺织品文物图像4种算法修复结果比较。（a）破损纺织品文物图像；（b）mask图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

4.2　人为破损纺织品图像修复的客观评价

图 8. 人为制作虚拟破损纺织品图像的修复效果比较。（a）原纺织品图像；（b）人为虚拟破损图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

表 1. 质量评价参数对比（测试1）

Table 1. Comparison of quality evaluation parameters (test 1)

表 2. 质量评价参数对比（测试2）

Table 2. Comparison of quality evaluation parameters (test 2)

图 9. 修复效果对比图。（a）原始图像；（b）破损图像；（c）文献［16］算法修复图像；（d）文献［22］算法修复图像（e）所提算法修复图像

Fig. 9. Comparison of inpainting effects. (a) Original image; (b) damaged image; (c) inpainting image by reference [16] algorithm; (d) inpainting image by reference [22] algorithm; (e) inpainting image by proposed algorithm

5　结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于改进Criminisi算法的破损纺织品文物图像修复 下载： 524次

1 引言

2 Criminisi算法简介

图 1. Criminisi算法说明

Fig. 1. Description of Criminisi algorithm

3 所提算法

图 2. 纺织品文物图像修复的算法框图

Fig. 2. Algorithm block diagram of textile cultural relic image restoration

3.1 K-means聚类

3.2 图像预处理

3.2.1 降噪

图 3. 降噪处理后的边界跟踪结果。（a）毛织品文物原样图像；（b）未降噪处理的边界跟踪图像；（c）自适应滤波处理后的边界跟踪图像；（d）所提降噪算法处理后的边界跟踪图像

Fig. 3. Boundary tracking results after denoising. (a) Raw wool fabric image; (b) boundary tracking images without denoising; (c) boundary tracking image processed by adaptive filtering; (d) boundary tracking image processed by proposed algorithm

3.2.2 自动识别破损区域制作mask图像

图 4. mask制作过程示意图。（a）原图；（b）破损区域；（c）mask图；（d）待修复图

Fig. 4. Schematic diagram of mask making process. (a) Original image; (b) damaged area; (c) mask map; (d) image to be repaired

3.3 基于K-means的Lab颜色图像分割

图 5. K-means颜色分割结果

Fig. 5. The result of K-means color segmentation

3.4 改进的Criminisi算法

3.4.1 优先权函数改进

图 6. 不同像素块的颜色离散度。（a）样本1，σ(p)=0.3398；（b）样本2，σ(p)=0.5350

Fig. 6. Color dispersion of different pixel blocks. (a) Sample 1,σ(p)=0.3398; (b) Sample 2,σ(p)=0.5350

3.4.2 匹配块搜索策略改进

4 实验结果及分析

4.1 自然破损纺织品文物图像修复的主观评价

图 7. 破损纺织品文物图像4种算法修复结果比较。（a）破损纺织品文物图像；（b）mask图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

4.2 人为破损纺织品图像修复的客观评价

图 8. 人为制作虚拟破损纺织品图像的修复效果比较。（a）原纺织品图像；（b）人为虚拟破损图像；（c）Criminisi算法修复图像；（d）文献［16］算法修复图像；（e）文献［22］算法修复图像；（f）所提算法修复图像

表 1. 质量评价参数对比（测试1）

Table 1. Comparison of quality evaluation parameters (test 1)

表 2. 质量评价参数对比（测试2）

Table 2. Comparison of quality evaluation parameters (test 2)

图 9. 修复效果对比图。（a）原始图像；（b）破损图像；（c）文献［16］算法修复图像；（d）文献［22］算法修复图像（e）所提算法修复图像

Fig. 9. Comparison of inpainting effects. (a) Original image; (b) damaged image; (c) inpainting image by reference [16] algorithm; (d) inpainting image by reference [22] algorithm; (e) inpainting image by proposed algorithm

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进Criminisi算法的破损纺织品文物图像修复下载： 524次

1　引言

2　Criminisi算法简介

3　所提算法

3.1　K-means聚类

3.2　图像预处理

3.2.1　降噪

3.2.2　自动识别破损区域制作mask图像

3.3　基于K-means的Lab颜色图像分割

3.4　改进的Criminisi算法

3.4.1　优先权函数改进

图 6. 不同像素块的颜色离散度。（a）样本1， $σ (p) = 0.3398$ ；（b）样本2， $σ (p)$ =0.5350

Fig. 6. Color dispersion of different pixel blocks. (a) Sample 1, $σ (p) = 0.3398$ ; (b) Sample 2, $σ (p)$ =0.5350

3.4.2　匹配块搜索策略改进

4　实验结果及分析

4.1　自然破损纺织品文物图像修复的主观评价

4.2　人为破损纺织品图像修复的客观评价

5　结论