基于对数运算以及附加方向梯度算子的总变分修复算法

杜闪闪; 韩超

doi:doi:10.3788/LOP56.011005

激光与光电子学进展, 2019, 56 (1): 011005, 网络出版: 2019-08-01

基于对数运算以及附加方向梯度算子的总变分修复算法下载： 815次

Total Variation Inpainting Algorithm Based on Logarithmic Operation and Additional Directional Gradient Operator

论文大纲

杜闪闪韩超 ^*

作者单位

安徽工程大学电气工程学院, 安徽芜湖 241000

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

总变分修复算法在去除图像划痕和文本时需要较多迭代,对边缘细节信息的保持性不理想,并且存在阶梯效应,修复后的图像峰值信噪比较低。针对这些缺陷,提出了改进的算法,在原算法正则项中加入对数运算以及附加方向梯度算子,从而避免了阶梯效应,减少了迭代次数,降低了图像在边缘细节处的平滑力度。仿真结果证明,改进的算法减少了迭代次数,并且可以很好地保留图像的细节信息,所修复的图像具有很好的视觉效果。

Abstract

The total variation image inpainting algorithm needs more iterations to remove the text and scratches. It is not ideal for the preservation of edge details, and has a staircase effect. The peak signal to noise ratio of the restored image is relatively low. Aiming at these defects, an improved algorithm is proposed. The logarithmic operation and additional directional gradient operator are added into the regular term of the original algorithm to avoid the staircase effect, reduce the number of iterations, and reduce the smoothing of image at edge details. Simulation results show that the improved algorithm reduces the number of iterations retains the details of the image, well and the restored image has good visual effect.

1 引言

数字图像修复技术是计算机图形学、计算机视觉和图像处理领域的研究热点之一^[1-5]。修复的过程是根据图像中已有的信息填补受损的区域,使人们从视觉上感受不到修复过的痕迹。目前图像修复的主要研究方法有基于结构的算法、基于纹理的算法和混合算法^[6]。其中基于结构的算法对于结构图像修复具有显著的效果,基于结构的经典修复算法主要有BSCB算法(由Bertalmio、Sapiro、Caselles和Ballester提出,简称BSCB算法)、总变分(TV)算法和曲率驱动扩散(CDD)算法,这三种算法均通过求解偏微分方程进而获得修复迭代公式。其中BSCB修复算法以及CDD算法为高阶偏微分方程,因此求解过程较复杂。而TV算法求解过程简单,便于理解,对于划痕、文本等小面积破损图像修复具有较好的效果,因此得到较多学者的关注。

基于TV模型的修复算法是Shen等^[7-8]在文献[ 9]TV去噪模型的启发下而提出。TV模型采用各向异性扩散原理,通过图像的梯度信息,将破损区域周围的像素信息通过迭代传播到破损区域内,从而完成修复。但是TV模型迭代次数较多,修复后的图像不能很好地保留图像的细节信息,并且存在阶梯效应。文献[ 10]将TV算法中的迭代方程改为对损坏像素直接加权合成,并且按照梯度方差确定修复的次序,从而减少了运算时间,但是修复后的部分图像不够自然。文献[ 11]在TV模型的非线性扩散项中引入方向梯度和边缘引导函数,从而较好地保持了图像的边缘和纹理细节信息,但相对TV算法,其峰值信噪比(PSNR)提高并不明显。文献[ 12]通过构造扩散函数,使修复后的图像边缘较清晰,但是相对于TV算法,其修复时间变长了。2013年,Cheng等^[13]提出了多通道非局部TV模型的遥感图像修复方法,使修复后的图像具有较好的视觉效果,但是算法实现较复杂。2014年,Liu等^[14]提出非局部延拓的TV正则化图像修复算法,利用图像的自相似性,使用非局部搜索块估计特定像素的梯度信息,但相对于TV模型,其PSNR提高并不明显。2015年,Duan等^[15]提出用于彩色纹理图像修复的非局部彩色总变分(CTV)模型的快速算法,可以较好地修复大区域破损的彩色纹理图像,但是修复时间比较长。2016年,侯海娜等^[16]提出结合网函数插值的带方向总变分(Net-ADTV)的修复算法,提高了修复效率,但是该算法只对方向特征明显的破损修复效果较好,具有局限性。Nair等^[17]提出一种稳健的非局部TV修复算法,使修复后的图像很好地保留图像的边缘以及结构信息,并且可以修复纹理图像,但PSNR提高得并不是特别显著。

本文针对TV模型边缘细节保持性差、存在阶梯效应、PSNR小等缺陷提出改进,在TV模型的正则项中加入对数运算以及附加方向梯度算子。通过MATLAB\R2017a软件进行仿真,证明改进后的算法具有稳定的边缘细节保持性,并且可以克服原算法的阶梯效应,修复后的图像具有更高的PSNR。

2 TV算法

2002年,Shen等^[7-8]基于TV的理论提出了一种用于图像修复的TV模型。TV模型是一个有约束的极值问题,通过能量泛函的最小化修复受损的图像,即

\begin{matrix} J_{λ} [u] = \int r (|\nabla u|) dxdy + \frac{λ}{2} \int {|u - u^{0}|}^{2} dxdy, (1) \end{matrix}

式中:D为待修复区域;Q为D的邻域;λ为Lagrange乘子; $\begin{matrix} \int r (|\nabla u|) dxdy 为正则项, r (|\nabla u|) = |\nabla u|, |\nabla u| 为梯度模值, 为了防止在平滑区域梯度模值为零, 添加很小的参数 δ, 则 {|\nabla u|}_{δ} = \sqrt[]{{|\nabla u|}^{2} + δ^{2}}; 噪声约束条件为 \frac{1}{A_{Q}} \cdot \int {|u - u^{0}|}^{2} dxdy = σ^{2}, σ 为高斯白噪声的标准偏差, A_{Q} 为 Q 的面积, u^{0} 为受到白噪声污染的初始图像值, u 为修复后的图像值。 \end{matrix}$

对应的最速下降方程为

\begin{matrix} \frac{\partial u}{\partial t} = \nabla \cdot (\frac{\nabla u}{{|\nabla u|}_{δ}}) + λ_{z} (u^{0} - u), (2) \end{matrix}

利用Euler-Lagrange方程求解得到的迭代公式为

\begin{matrix} u_{O}^{n} = \sum_{P \in Λ_{O}} h_{OP}^{n - 1} u_{P}^{n - 1} + h_{OO}^{n - 1} u_{O}^{n - 1}, (3) \end{matrix}

式中Λ_O={E,N,W,S},n为迭代次数,O为待修复的目标像素点,E、N、W、S为O点处的四邻域像素点。其中权系数为

\begin{matrix} \{\begin{matrix} h_{OP} = \frac{w_{P}}{\sum_{P \in ΛO} w_{P} + λ_{z}} \\ h_{OO} = \frac{λ_{z}}{\sum_{P \in ΛO} w_{P} + λ_{z}} \end{matrix}, (4) \end{matrix}

式中λ_z= $\begin{matrix} \{\begin{matrix} λ, (x, y) \in Q \\ 0, (x, y) \in D \end{matrix} \end{matrix}$ ,(x,y)表示第x行、y列的灰度值。其中扩散系数为

\begin{matrix} w_{P} = \frac{1}{\sqrt[]{{|\nabla u_{p}|}^{2} + δ^{2}}}, (5) \end{matrix}

式中 $\begin{matrix} |\nabla u_{p}| \end{matrix}$ = $\begin{matrix} \{|\nabla u_{e}|, |\nabla u_{w}|, |\nabla u_{n}|, |\nabla u_{s}|\} \end{matrix}$ 为4个半像素点的梯度模值,w_P={w_E,w_N,w_W,w_S}。当TV算法的4个扩散系数w_E、w_N、w_W、w_S数值都稳定时,迭代停止,修复完成。

通过(5)式分析TV模型的扩散系数,扩散系数与梯度模值的倒数成正比,为各向异性扩散,其扩散系数的大小主要取决于目标像素点处四邻域像素点梯度模值的大小。当在图像的像素信息丰富区域时,梯度模值较大,扩散系数较小;当在图像的像素平坦区域时,梯度模值较小,扩散系数较大。因此在修复过程中,容易在像素平坦区域形成阶梯效应,使修复后的图像不自然。另外由于每次迭代只计算目标像素点外围3×3像素,修复过程无法快速地获取更多的像素信息,因此迭代次数较多,导致图像边缘细节信息保持性较差,修复后的图像PSNR较小。图1~3所示为使用TV算法迭代140次(n=140)的各参数曲线图。从图1可以看出,迭代初期扩散系数w_E、w_N、w_W、w_S较小,因此需要较多的迭代次数使扩散系数w_E、w_N、w_W、w_S趋于稳定,容易丢失边缘细节信息;迭代后期扩散系数w_E、w_N、w_S增大,因此容易造成阶梯效应。从图2可以看出,迭代多次后,PSNR最终稳定在某一值附近。从图3可以看出,随着迭代次数的增加,时间在逐渐增加,因此迭代次数越多,修复时间越长。针对TV模型算法的缺陷,本文提出一种改进算法。

图 1. TV算法wP曲线图

Fig. 1. wP curves of TV algorithm

下载图片查看所有图片

图 2. PSNR曲线图

Fig. 2. Curve of PSNR

下载图片查看所有图片

图 3. 时间曲线图

Fig. 3. Curve of time

下载图片查看所有图片

3 改进的TV算法

TV模型在每次采样过程中计入的像素数较少,因此迭代次数较多,图像的边缘容易产生模糊效应,使最终修复后的图像边缘细节保持性较差。在正则项中加入附加梯度方向算子^[11],增加了每次迭代中计入扩散的像素数,减少了迭代的总次数,避免了过多迭代导致的模糊效应。

新的最速下降方程为

\begin{matrix} \frac{\partial u}{\partial t} = \frac{(|\nabla U_{χ}| + β)}{γ} \nabla \cdot (\frac{\nabla u}{|\nabla u|}) + λ_{z} (u^{0} - u), (6) \end{matrix}

式中: $\begin{matrix} |\nabla U_{χ}| \end{matrix}$ 代表E、N、W、S处的附加方向梯度算子 $\begin{matrix} |\nabla U_{E}| \end{matrix}$ 、 $\begin{matrix} |\nabla U_{N}| \end{matrix}$ 、 $\begin{matrix} |\nabla U_{W}| \end{matrix}$ 、 $\begin{matrix} |\nabla U_{S}| \end{matrix}$ ;β是为了防止 $\begin{matrix} |\nabla U_{χ}| \end{matrix}$ 为零而添加的很小参数;为了防止迭代后期扩散系数数值过大,添加自适应参数γ=0.1×n,n为迭代次数。另外为了避免二阶非线性扩散使其破损处于像素变化平坦区造成的阶梯效应^[18],在正则项中引入对数运算,则(6)式变为

\begin{matrix} \frac{\partial u}{\partial t} = \frac{(|\nabla U_{χ}| + β)}{γ} \times \nabla \cdot [\frac{\nabla u}{{|\nabla u|}^{\ln (2 - r)}}] + λ_{z} (u^{0} - u), (7) \end{matrix}

式中r为常数,通常r∈[1,2),具体数值根据所修复的图形而定,通过适合的r值就可以避免修复过程中非线性方程造成的阶梯效应。

利用Euler-Lagrange方程求解u:

\begin{matrix} \frac{(|\nabla U_{χ}| + β)}{γ} \times \nabla [\frac{\nabla u}{{|\nabla u|}^{\ln (2 - r)}}] + λ_{z} (u^{0} - u) = 0, (8) \end{matrix}

记v=(v¹,v²)= $\begin{matrix} \frac{\nabla u}{{|\nabla u|}^{\ln (2 - r)}} \end{matrix}$ ,使用中心差分法进行离散化,则

\begin{matrix} \nabla v = \frac{\partial v^{1}}{\partial x} + \frac{\partial v^{2}}{\partial y} \approx \frac{v_{e}^{1} - v_{w}^{1}}{h} + \frac{v_{n}^{2} - v_{s}^{2}}{h}, (9) \end{matrix}

式中:v¹、v²分别为x、y方向半像素点的梯度;h为步长,一般取h=1。以n点为例,

\begin{matrix} v_{n}^{2} \approx \frac{1}{{|\nabla u_{n}|}^{\ln (2 - r)}} (\frac{u_{N} - u_{o}}{h}) = \frac{u_{N} - u_{o}}{{[(u_{N} - u_{o})^{2} + {(\frac{u_{NE} - u_{NW}}{2})}^{2}]}^{\ln (2 - r) / 2}} 。 (10) \end{matrix}

同理可得 $\begin{matrix} v_{e}^{1} \end{matrix}$ 、 $\begin{matrix} v_{w}^{1} \end{matrix}$ 、 $\begin{matrix} v_{s}^{2} \end{matrix}$ 。将(9)、(10)式代入(8)式得

\begin{matrix} \sum_{p \in Λ_{O}} \frac{|\nabla U_{χ}| + β}{γ \times {|\nabla u_{p}|}^{\ln (2 - r)}} (u_{o} - u_{p}) + λ_{z} (u_{o} - u_{o}^{0}) = 0, (11) \end{matrix}

则扩散系数为

\begin{matrix} w_{p} = \frac{|\nabla U_{χ}| + β}{γ \times {|\nabla u_{p}|}_{a}^{\ln (2 - r)}}, (12) \end{matrix}

式中a为防止 $\begin{matrix} |\nabla u_{p}| \end{matrix}$ 在平滑区域为零而添加的一个很小的系数。

设目标像素点O处的像素值为u(i,j),i为行数,j为列数。则目标像素四邻域点处的梯度模值可以表示为

\begin{matrix} \begin{matrix} {|\nabla u_{e}|}_{a}^{\ln (2 - r)} = {\{[u (i, j + 1) - u {(i, j)]}^{2} + {[\frac{u (i + 1, j + 1) - u (i + 1, j - 1)}{2}]}^{2} + a^{2}\}}^{\ln (2 - r) / 2}, (13) \\ {|\nabla u_{w}|}_{a}^{\ln (2 - r)} = {\{[u (i, j - 1) - u {(i, j)]}^{2} + {[\frac{u (i + 1, j - 1) - u (i - 1, j - 1)}{2}]}^{2} + a^{2}\}}^{\ln (2 - r) / 2}, (14) \\ {|\nabla u_{n}|}_{a}^{\ln (2 - r)} = {\{[u (i - 1, j) - u {(i, j)]}^{2} + {[\frac{u (i - 1, j + 1) - u (i - 1, j - 1)}{2}]}^{2} + a^{2}\}}^{\ln (2 - r) / 2}, (15) \\ {|\nabla u_{s}|}_{a}^{\ln (2 - r)} = {\{[u (i + 1, j) - u {(i, j)]}^{2} + {[\frac{u (i + 1, j + 1) - u (i + 1, j - 1)}{2}]}^{2} + a^{2}\}}^{\ln (2 - r) / 2} 。 (16) \end{matrix} \end{matrix}

附加方向梯度算子表示为

\begin{matrix} \begin{matrix} |\nabla U_{E}| = \frac{\sqrt[]{[u (i, j + 2) - u {(i, j)]}^{2} + [u (i + 1, j + 1) - u {(i - 1, j + 1)]}^{2}}}{2}, (17) \\ |\nabla U_{N}| = \frac{\sqrt[]{[u (i - 1, j + 1) - u {(i - 1, j - 1)]}^{2} + [u (i, j) - u {(i - 2, j)]}^{2}}}{2}, (18) \\ |\nabla U_{W}| = \frac{\sqrt[]{[u (i, j) - u {(i, j - 2)]}^{2} + [u (i + 1, j - 1) - u {(i - 1, j - 1)]}^{2}}}{2}, (19) \\ |\nabla U_{S}| = \frac{\sqrt[]{[u (i + 1, j + 1) - u {(i + 1, j - 1)]}^{2} + [u (i + 2, j) - u {(i, j)]}^{2}}}{2} 。 (20) \end{matrix} \end{matrix}

权系数为

\begin{matrix} h_{op} = \frac{w_{p}}{\sum_{p \in Λ_{O}} w_{p} + λ_{z}}, h_{oo} = \frac{λ_{z}}{\sum_{p \in Λ_{O}} w_{p} + λ_{z}} 。 (21) \end{matrix}

将(12)、(21)式代入(11)式中,化简后得

\begin{matrix} u_{o} = \sum_{p \in Λ_{O}} h_{op} u_{p} + h_{oo} u_{o}^{0} 。 (22) \end{matrix}

从而得到迭代公式,即

\begin{matrix} u_{o}^{n} = \sum_{P \in Λ_{O}} h_{op}^{n - 1} u_{p}^{n - 1} + h_{oo}^{n - 1} u_{o}^{n - 1} 。 (23) \end{matrix}

对TV模型算法的改进,在一定程度上克服了TV模型算法的缺陷。附加方向梯度算子的加入,可以有效地减少迭代次数,避免了边缘细节保持性差的缺陷。其次在梯度模值的计算中由于加入了对数运算,从而可以通过调节r值的大小改变破损处的梯度值信息,近而改变扩散的力度。另外从式(12)中可以看到扩散系数的形式已经改变,因此避免了(5)式在扩散力度上单纯由梯度模值倒数控制所造成的阶梯效应,提高了修复质量。

图 4. 本文算法wP曲线图

Fig. 4. wP curves of proposed algorithm

下载图片查看所有图片

图 5. PSNR曲线图

Fig. 5. Curve of PSNR

下载图片查看所有图片

图 6. 时间曲线图

Fig. 6. Curve of time

下载图片查看所有图片

图4~6所示为使用本文改进算法修复迭代16次(n=16)的各参数曲线图。从图4可以看出,在迭代初期,扩散系数较大,可以快速地将有用信息传播到破损区域内,因此需要较少的迭代次数使扩散系数w_E、w_N、w_W、w_S稳定,从而避免迭代较多导致的边缘模糊。并且可以看到,迭代后期的扩散系数相对初始值较小,因此扩散力度较小,从而避免了阶梯效应,修复后的图像保持了较好的视觉效果。从图5可以看出,当迭代一定次数后,随着迭代次数的增加,PSNR基本维持不变,说明本文改进算法对破损图像的修复过程具有稳健性。从图6可以看出,随着迭代次数的增加,修复时间也在增加,说明减少迭代次数可以相应地减少修复时间。图4~6的关系曲线图可以充分说明本文改进算法的优越性,不仅需要较少的迭代次数与时间,而且取得较高的PSNR,修复过程具有较强的稳定性。

另外当破损处达到图像最外围时,由于图像最外围计算破损处梯度信息时所获得的像素信息不全,无法修复最外围受损像素。因此需要加入边界处理条件,假设所读取的图像为I,图片的大小为M×N。当4条边界均受损时,则进行如下边界处理:

\begin{matrix} \{\begin{matrix} I (:, 1) = I (:, 2); I (:, N) = I (:, N - 1) \\ I (1, :) = I (2, :); I (M, :) = I (M - 1, :) \\ I (:, 2) = I (:, 3); I (:, N - 1) = I (:, N - 2) \\ I (2, :) = I (3, :); I (M - 1, :) = I (M - 2, :) \end{matrix} 。 (24) \end{matrix}

4 仿真结果与分析

利用MATLAB\R2017a软件进行仿真,实验环境为2.50 GHz Intel(R) i7-4710MQ处理器、8.00 GB内存、WIN10 64位操作系统。为了验证本文改进算法的优越之处,将本文算法与经典的TV算法、文献[ 12]算法和文献[ 18]算法进行仿真比较,其中文献[ 12]算法和文献[ 18]算法均为改进的TV算法。各算法所包含的参量以及数值如下:本文算法r=1.6,TV算法δ=0.5,文献[ 12]算法梯度门限k=251,文献[ 18]算法拉普拉斯算子p=1.6,图7~12中的仿真结果均为以上参数设置下运行出的最终稳定状态效果图。

图7的图片大小为349 pixel×474 pixel,图7(a)为带有文本的图像。对图7(b)掩模图分别采用TV算法、文献[ 12]算法、文献[ 18]算法和本文算法进行修复。当各算法达到稳定后,修复效果如图7(c)~(f)所示,迭代次数和修复时间如表1所示。可以看出,相比其他算法,本文算法花费的时间更少,可以完全去除掩模,效果更佳。

表 1. 4种图像修复算法的迭代次数和时间

Table 1. Comparison of iteration times and time for four kinds of inpainting algorithms

Image	Parameter	TV algorithm	Algorithm in Ref. [12]	Algorithm in Ref. [18]	Proposed method
Fig. 7	n	5000	5000	2000	1000
Fig. 7	t /s	45.2500	411.9688	22.4375	12.8906
Fig. 8	n	300	100	100	30
Fig. 8	t /s	1.5000	25.3438	0.9219	2.3594
Fig. 9	n	2000	2000	1000	200
Fig. 9	t /s	51.8906	900.7563	54.9375	365.5156

查看所有表

图 7. 仿真结果一。(a)文本图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 7. First simulation results. (a) Text image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

下载图片查看所有图片

图8、9是对边界受损的图像进行修复的仿真结果,图8的图片大小为328 pixel×278 pixel,图9的图片大小为315 pixel×475 pixel。对于图8(a)受损图、图9(b)掩模图分别采用TV算法、文献[ 12]算法、文献[ 18]算法和本文算法进行修复,当4种算法均达到最佳修复时,修复效果如图8(b)~(e)、图9(c)~(f)所示,迭代次数和修复时间如表1所示。可以看出,本文算法由于加入了边界处理,因此可以将边界处的破损完全修复,而TV算法和文献[ 18]算法,虽然花费时间少于本文算法,但始终无法修复边界处的破损,文献[ 12]算法也无法修复边界破损,并且修复时间远大于本文算法。

图 8. 仿真结果二。(a)受损图;(b) TV算法;(c)文献[ 12]算法;(d)文献[ 18]算法;(e)本文算法

Fig. 8. Second simulation results. (a) Damaged image; (b) TV algorithm; (c) algorithm in Ref. [12]; (d) algorithm in Ref. [18]; (e) proposed method

下载图片查看所有图片

图 9. 仿真结果三。(a)裂痕图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 9. Third simulation results. (a) Fissured image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

下载图片查看所有图片

对于原图已知的情况,为了反映修复后图像质量的细微差距,计算修复后图像的PSNR^[13],公式为

\begin{matrix} R_{PSNR} = 10 \lg (\frac{u_{\max}^{2}}{E_{MS}}), (25) \end{matrix}

式中E_MS表示均方差(MSE),表达式为

\begin{matrix} E_{MS} = \frac{\overset{M}{\sum_{i = 1}} \overset{N}{\sum_{j = 1}} {[u_{o} (i, j) - u (i, j)]}^{2}}{M \times N}, (26) \end{matrix}

式中M为行数,N为列数,M×N为总的像素数,u_o(i,j)表示原图像第i行、j列的灰度值,u(i,j)表示修复后的图像第i行、j列的灰度值。MSE越小,则PSNR越大,代表修复后的图像质量越高,视觉效果越好。

图10选取的仿真图为boat图片[图10(a)],图片大小为256 pixel×256 pixel,图10(b)为带有文本的受损图片。图11选取的仿真图为man图片[图11(a)],图片大小为256 pixel×256pixel,图11(b)为带有划痕的受损图片。图10(c)~(f)、图11(c)~(f)为使用TV算法、文献[ 12]算法、文献[ 18]算法和本文算法修复,达到效果最佳时的仿真结果图,表2为达到图10(c)~(f)、图11(c)~(f)仿真效果时,对应的PSNR、迭代次数和时间的数据对比结果。可以看出,本文算法使用较少的时间就可以修复受损图像,并且修复后的图像具有比其他算法更高的PSNR。

表 2. 4种图像修复算法的PSNR、迭代次数和时间

Table 2. Comparison of PSNR, iteration times and time for four kinds of inpainting algorithms

Image	Parameter	TV algorithm	Algorithm in Ref. [12]	Algorithm in Ref. [18]	Proposed method
Fig. 10	PSNR /dB	31.1444	30.4704	30.9095	31.2535
	n	100	10	35	10
	t /s	4.3813	2.1094	1.7969	0.7269
Fig. 11	PSNR /dB	42.4756	38.8666	42.1652	42.9750
	n	800	300	100	30
	t /s	31.5469	51.7188	3.9375	1.5313

查看所有表

图 10. 仿真结果四。(a) Boat;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 10. Fourth simulation results. (a) Boat; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

下载图片查看所有图片

图 11. 仿真结果五。(a) Man;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 11. Fifth simulation results. (a) Man; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

下载图片查看所有图片

图12为使用本文算法所不能修复的图像范围实例,图片大小为256 pixel×256 pixel。图12(a)为纹理图像,图12(b)为纹理图的受损图,图12(c)为使用本文算法修复达到稳定状态时的效果图,图12(d)、(e)为达到稳定状态后继续修复的结果。可以看出,本文算法对于纹理受损图的修复无法达到较好的视觉效果,这也是本文算法存在的缺陷。

图 12. 仿真结果六。(a)纹理图;(b)受损图;(c) n=2000;(d) n=3000;(e) n=5000

Fig. 12. Sixth simulation results. (a) Texture image; (b) damaged image; (c) n=2000; (d) n=3000; (e) n=5000

下载图片查看所有图片

5 结论

针对TV算法在受损图像的修复上迭代次数多、边缘细节信息保持性差、修复后图像存在阶梯效应和修复后图片PSNR小的缺陷进行改进,在原算法正则项中加入对数运算以及附加方向梯度算子。通过仿真效果图和仿真结果数据对比可以看出,改进算法在划痕、文本等小面积破损图像的修复上,不仅减少了迭代次数,还提高了PSNR,并且编程较容易实现,修复效果较好。但是本文算法仍然存在缺陷,即对于纹理图像的修复效果差,只适用于结构图像小面积破损的修复,原因是此算法使用热扩散原理进行修复,周围有用信息由破损区域外围传播到最内层,最终完成修复。后续工作将进一步对本文算法的缺陷进行完善。

参考文献

[1] 李开宇, 孙玉刚. 引入连续性强度和置信度因子的快速图像修复[J]. 中国图象图形学报, 2012, 17(4): 465-470.

Li K Y, Sun Y G. Fast image inpainting algorithm introducing continuous strength and confidence factor[J]. Journal of Image and Graphics, 2012, 17(4): 465-470.

[2] 曹伟, 王华彬, 石军, 等. 基于边缘检测加权引导滤波的指静脉图像增强算法[J]. 激光与光电子学进展, 2017, 54(2): 021007.

Cao W, Wang H B, Shi J, et al. Enhancement algorithm of finger vein image based on weighted guided filter with edge detection[J]. Laser & Optoelectronics Progress, 2017, 54(2): 021007.

[3] 倪锦艳, 李庆武, 周亚琴, 等. 基于透射率优化和色温调节的水下图像复原[J]. 激光与光电子学进展, 2017, 54(1): 011001.

Ni J Y, Li Q W, Zhou Y Q, et al. Underwater image restoration based on transmittance optimization and color temperature adjustment[J]. Laser & Optoelectronics Progress, 2017, 54(1): 011001.

[4] 谭永前, 曾凡菊, 岳莉, 等. 一种改进的纹理图像合成算法[J]. 激光与光电子学进展, 2016, 53(12): 121001.

Tan Y Q, Zeng F J, Yue L, et al. An improved texture image synthesis algorithm[J]. Laser & Optoelectronics Progress, 2016, 53(12): 121001.

[5] 尹诗白, 王一斌, 李大鹏, 等. 两次引导滤波的显微视觉散焦图像快速盲复原[J]. 光学学报, 2017, 37(4): 0410002.

Yin S B, Wang Y B, Li D P, et al. Fast blind restoration for microscopic visual defocused images based on two guided filterings[J]. Acta Optica Sinica, 2017, 37(4): 0410002.

[6] BarbuT. Anovel variational framework for structural image completion[C]∥International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) & Intl Aegean Conference on Electrical Machines and Power Electronics (ACEMP), 2017: 815- 820.

[7] Shen J H, Chan T F. Mathematical models for local nontexture inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[8] Chan T F, Shen J H, Vese L. Variational PDE models in image processing[J]. Notices of the American Mathematical Society, 2003, 50(1): 14-26.

[9] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.

[10] 赵颜伟, 李象霖. 一种基于TV模型的快速图像修复算法[J]. 微电子学与计算机, 2009, 26(6): 253-256,260.

Zhao Y W, Li X L. A rapid image inpainting algorithm based on TV model[J]. Microelectronics & Computer, 2009, 26(6): 253-256, 260.

[11] 王相海, 王爽, 方玲玲. 图像修复的方向梯度TV模型研究[J]. 吉林师范大学学报(自然科学版), 2012, 33(2): 1-7.

Wang X H, Wang S, Fang L L. Image inpaiting based on TV model of direction gradient[J]. Jilin Normal University Journal (Natural Science Edition), 2012, 33(2): 1-7.

[12] 王涛, 王军锋, 白青, 等. 改进的TV模型图像修复算法[J]. 计算机系统应用, 2013, 22(3): 121-124.

Wang T, Wang J F, Bai Q, et al. Improved method of total variation image inpainting[J]. Computer Systems & Applications, 2013, 22(3): 121-124.

[13] Cheng Q, Shen H F, Zhang L P, et al. Inpainting for remotely sensed images with a multichannel nonlocal total variation model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 175-187.

[14] Liu HF, Xiong RQ, Ma SW, et al. Non-local extension of total variation regularization for image restoration[C]∥IEEE International Symposium on Circuits and Systems (ISCAS), 2014: 1102- 1105.

[15] Duan J M, Pan Z K, Zhang B C, et al. Fast algorithm for color texture image inpainting using the non-local CTV model[J]. Journal of Global Optimization, 2015, 62(4): 853-876.

[16] 侯海娜, 戴芳, 杨陈东. 结合网函数插值与TV模型的图像修复算法[J]. 计算机系统应用, 2016, 25(12): 117-125.

Hou H N, Dai F, Yang C D. Image inpainting based on net function interpolation and TV model[J]. Computer Systems & Applications, 2016, 25(12): 117-125.

[17] Nair JJ, FrancisD. Robustnon-local total variation image inpainting[C]∥International Conference on Computational Intelligence and Communication Networks, 2015: 437- 441.

[18] 张红英, 彭启琮. 一种基于p-Laplace算子的图像修补方法[ C]∥中国通信学会通信理论与信号处理专业委员会, 2005年通信理论与信号处理年会, 2005.

Zhang HY, Peng QC. An image inpainting algorithm based on p-Laplace operator[ C]∥China Communications Society Communication Theory and Signal Processing Specialized Committee, 2005 Communication Theory and Signal Processing Annual Conference, 2005.

杜闪闪, 韩超. 基于对数运算以及附加方向梯度算子的总变分修复算法[J]. 激光与光电子学进展, 2019, 56(1): 011005. Shanshan Du, Chao Han. Total Variation Inpainting Algorithm Based on Logarithmic Operation and Additional Directional Gradient Operator[J]. Laser & Optoelectronics Progress, 2019, 56(1): 011005.

基于对数运算以及附加方向梯度算子的总变分修复算法下载： 815次

1 引言

2 TV算法

图 1. TV算法wP曲线图

Fig. 1. wP curves of TV algorithm

图 2. PSNR曲线图

Fig. 2. Curve of PSNR

图 3. 时间曲线图

Fig. 3. Curve of time

3 改进的TV算法

图 4. 本文算法wP曲线图

Fig. 4. wP curves of proposed algorithm

图 5. PSNR曲线图

Fig. 5. Curve of PSNR

图 6. 时间曲线图

Fig. 6. Curve of time

4 仿真结果与分析

表 1. 4种图像修复算法的迭代次数和时间

Table 1. Comparison of iteration times and time for four kinds of inpainting algorithms

图 7. 仿真结果一。(a)文本图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 7. First simulation results. (a) Text image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 8. 仿真结果二。(a)受损图;(b) TV算法;(c)文献[ 12]算法;(d)文献[ 18]算法;(e)本文算法

Fig. 8. Second simulation results. (a) Damaged image; (b) TV algorithm; (c) algorithm in Ref. [12]; (d) algorithm in Ref. [18]; (e) proposed method

图 9. 仿真结果三。(a)裂痕图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 9. Third simulation results. (a) Fissured image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

表 2. 4种图像修复算法的PSNR、迭代次数和时间

Table 2. Comparison of PSNR, iteration times and time for four kinds of inpainting algorithms

图 10. 仿真结果四。(a) Boat;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 10. Fourth simulation results. (a) Boat; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 11. 仿真结果五。(a) Man;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 11. Fifth simulation results. (a) Man; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 12. 仿真结果六。(a)纹理图;(b)受损图;(c) n=2000;(d) n=3000;(e) n=5000

Fig. 12. Sixth simulation results. (a) Texture image; (b) damaged image; (c) n=2000; (d) n=3000; (e) n=5000

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于对数运算以及附加方向梯度算子的总变分修复算法 下载： 815次

1 引言

2 TV算法

图 1. TV算法wP曲线图

Fig. 1. wP curves of TV algorithm

图 2. PSNR曲线图

Fig. 2. Curve of PSNR

图 3. 时间曲线图

Fig. 3. Curve of time

3 改进的TV算法

图 4. 本文算法wP曲线图

Fig. 4. wP curves of proposed algorithm

图 5. PSNR曲线图

Fig. 5. Curve of PSNR

图 6. 时间曲线图

Fig. 6. Curve of time

4 仿真结果与分析

表 1. 4种图像修复算法的迭代次数和时间

Table 1. Comparison of iteration times and time for four kinds of inpainting algorithms

图 7. 仿真结果一。(a)文本图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 7. First simulation results. (a) Text image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 8. 仿真结果二。(a)受损图;(b) TV算法;(c)文献[ 12]算法;(d)文献[ 18]算法;(e)本文算法

Fig. 8. Second simulation results. (a) Damaged image; (b) TV algorithm; (c) algorithm in Ref. [12]; (d) algorithm in Ref. [18]; (e) proposed method

图 9. 仿真结果三。(a)裂痕图;(b)掩模图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 9. Third simulation results. (a) Fissured image; (b) mask image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

表 2. 4种图像修复算法的PSNR、迭代次数和时间

Table 2. Comparison of PSNR, iteration times and time for four kinds of inpainting algorithms

图 10. 仿真结果四。(a) Boat;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 10. Fourth simulation results. (a) Boat; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 11. 仿真结果五。(a) Man;(b)受损图;(c) TV算法;(d)文献[ 12]算法;(e)文献[ 18]算法;(f)本文算法

Fig. 11. Fifth simulation results. (a) Man; (b) damaged image; (c) TV algorithm; (d) algorithm in Ref. [12]; (e) algorithm in Ref. [18]; (f) proposed method

图 12. 仿真结果六。(a)纹理图;(b)受损图;(c) n=2000;(d) n=3000;(e) n=5000

Fig. 12. Sixth simulation results. (a) Texture image; (b) damaged image; (c) n=2000; (d) n=3000; (e) n=5000

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于对数运算以及附加方向梯度算子的总变分修复算法下载： 815次