激光与光电子学进展, 2018, 55 (4): 041003, 网络出版: 2018-09-11   

基于原始-对偶算法的自适应加权广义全变差图像去模糊 下载: 1158次

Adaptive Weighted Generalized Total Variation Image Deblurring Based on Primal-Dual algorithm
作者单位
天津大学电气自动化与信息工程学院, 天津 300072
摘要
传统全变差(TV)正则化图像复原仅考虑图像的一阶梯度特征,具有图像噪声敏感、平坦区域阶梯效应明显等缺点。针对此类问题,将广义全变差(TGV)应用于图像去模糊领域,提出自适应加权的TGV图像去模糊模型,该模型能够根据图像局部结构自适应调整权值,在去模糊的同时避免阶梯效应,有效保持图像边缘并抑制噪声。提出基于原始-对偶的自适应加权TGV去模糊模型的迭代求解算法,实验结果表明,利用本文算法可获得高质量复原图像,且时间复杂度低,求解速度快。
Abstract
In order to overcome the limitations of traditional total variation (TV) regularization in image restoration only considering the first-order gradient characteristic of the image with the deficient ability of detail recovery and sensitivity to the noise, the total generalized variation (TGV) is applied into image deblurring. An adaptive weighted TGV image deblurring model is proposed, which can adaptively adjust the weights according to the local image structure, avoiding the staircase effect while preserving the edges of the image and suppressing the noise. In order to solve the proposed model, the adaptive weighted TGV is proposed based on primal-dual algorithm. The experimental results show that our method can obtain high quality recovery images and the solving algorithm has low time complexity and fast solving speed.

1 引言

图像采集过程中,由于曝光时间内摄像器材抖动或拍摄场景的快速运动,以及大气光线的影响,易导致图像质量退化。图像质量的退化会严重影响图像的后续处理,例如图像比对、特征提取、图像识别等。因此,图像去模糊技术一直是图像处理和计算机视觉领域的研究热点。

基于梯度稀疏性假设的全变差(TV)正则化[1]方法是研究最多、应用最广的图像去模糊算法,但传统的TV模型细节恢复能力有限且对噪声敏感。因此,出现了很多对TV模型的改进方法。文献[ 2]提出了一种基于L0范数正则化的模糊核方法,以图像梯度L0范数为正则项,一定程度上提升了细节恢复能力。文献[ 3]将太赫兹波的众多独特性质融入到正则化模型之中,提出一种基于马尔可夫约束的被动式太赫兹图像复原算法,该算法可以在被动式太赫兹图像的噪声滤除和边缘信息保持上取得较好的平衡,从而大幅提高太赫兹安检图像的目标分辨能力。文献[ 4-5]从加权的角度出发,加权TV检测并划分图像的平滑区和边缘区,对不同的区域采取不同的权重。文献[ 6]提出了基于图像梯度幅度的加权TV,该方法可较好地划分图像边缘与平滑区。文献[ 7]提出一种基于纹理方向的加权方法,能很好地复原图像纹理。文献[ 8]提出了多方向TV模型,并将其成功应用于图像重构,但该方法约束条件复杂,计算量大。Shama等[9]给出了基于TV正则的原始对偶算法的放大模型,得到了较好的放大效果,但具有很明显的阶梯效应。上述TV模型的改进方法仅考虑图像的一阶梯度特征,去模糊后的图像可能会出现噪声放大、平坦区阶梯效应明显等问题。为了消除噪声对图像去模糊的影响,文献[ 10]提出了一种自适应中值梯度倒数加权的图像去噪方法,并取得显著效果。文献[ 11]提出了一种基于模糊边缘补偿(FEC)的自适应非局部均值图像去噪算法,利用FEC检测图像边缘的纹理特征,从而防止边缘信息过平滑。文献[ 12]根据图像深度值进行分层来实现图像去噪,并取得较好效果。Bredies等[13-14]提出了广义全变差(TGV)模型,能有效逼近任意阶多项式函数,并成功应用于图像去噪领域。文献[ 15]将TGV成功的应用于图像分解,能够很好地抑制阶梯效应,保留细节信息。文献[ 16]提出了基于二阶TGV正则的图像放大模型,结合Chambolle算法对图像进行放大,取得较好的效果。

针对目前图像去模糊算法存在的噪声敏感和平坦区阶梯效应等问题,受文献[ 13]启发,本文将TGV应用于图像去模糊,提出一种自适应加权广义全变差(AWTGV)去模糊算法。创新之处在于:1) 提出了自适应加权广义全变差去模糊模型,该模型充分考虑图像二阶梯度特征,能够在有效抑制噪声的同时避免阶梯效应;2) 基于原始-对偶算法思想,推导基于原始对偶的自适应加权TGV(PD-AWTGV)去模糊模型迭代求解算法,该算法时间复杂度低,求解速度快。

2 AWTGV图像去模糊模型

2.1 传统TV模型

图像模糊过程可表示为清晰图像与模糊核的卷积,其数学模型可表示为

g=Au+n,(1)

式中gAun分别为模糊图像、模糊核、原始图像以及加性噪声。为了获得稳定解,可基于图像先验构建正则化目标函数:

minu[Φreg(u)+μΦfid(u,g)],(2)

式中Φreg(u)是正则化项,Φfid(u,g)为数据保真项,μ是正则化参数。

TV正则化模型可表示为

minuuTV+μ2Au-g22,(3)

第一项为TV为正则化项,‖uTV定义为

uTV=i,jDi,ju1=i,jui+1,j-ui,j+ui,j+1-ui,j,(4)

式中Di,juRn2表示u在(i,j)处沿水平和垂直方向的一阶有限差分。

2.2 TGV模型

与TV不同,TGV能够在去噪过程中避免阶梯效应。设Ω∈Rd是一个开区间,k≥1,α=α0,…,αk-1,且α>0。则对任意的uLlloc(Ω),k阶TGV定义为

TTGVαk(u)=supudivkνdx|,νCckΩ,SsymkRddivlναl,l=0,1,,k-1,(5)

式中 Sksym(Rd)表示k对称张量空间。从TGV模型可以看出,当k=α0=1时,TGV则变为TV的对偶形式,因此TGV模型实际上是TV模型的k=2推式,(5)式可以改写为

TTGVαk(u)=minωBD(Ω)α1|u-ω|du+α0|ε(ω)|du,(6)

式中BD(Ω)表示有界扭曲的向量场空间,ε(ω)=Ñω+ÑωT/2,则二阶TGV的去模糊模型为

minuTTGVα2(u)+β2Au-g22(7)

2.3 AWTGV图像去模糊模型

结合2.2节中描述的二阶TGV模型,提出AWTGV图像去模糊模型:

minuX,ωBD(Ω)α1wxu-ωdu+α0ε(ω)du+β2Au-g22,(8)w(x)=11+c·u(x),(9)

式中c≥0为对比因子,用于判断当前像素属于平滑区还是边缘结构。对于给定的c值,当分母c· u(x)较大时,对应图像的边缘,此时w(x)取值变小,扩散较弱,边缘能够被较好的保持;当分母c· u(x)较小时,对应图像的平坦区域,此时w(x)趋近于1,扩散较强,噪声被有效去除。因此,自适应加权函数能够根据不同的区域自适应控制扩散强度,能够在去模糊的同时更加有效地保护边缘,抑制噪声。

为了有效地求解该模型,计算时采用迭代重加权,先更新函数wk(x),让函数wk(x)中的u取上一次迭代所得的uk。更新策略为

wk+1(x)=11+c·ukx(10)

3 基于原始-对偶算法的模型求解

3.1 原始-对偶算法

原始-对偶算法是近几年提出的一种最优化算法[16],因其高效的迭代方式备受关注,已广泛应用于图像处理领域。

XY为有限维实向量空间,其中映射K:XY为连续线性算子:

K=max{Kx:xX,x1}(11)

考虑一般的无约束优化问题

minxXF(Kx)+G(x),(12)

根据Lengendre-Fenchel变换,可将(9)式转换为对偶形式:

maxyY-G*-K*y)+F*y,(13)

得到原始-对偶模型为

minxXmaxyY<Kx,y>+G(x)-F*y,(14)

式中G: X→[0,+∞],F*: Y→[0,+∞]为凸下半连续函数,F*F的凸共轭函数。

3.2 基于原始-对偶算法的模型求解

根据Lengendre-Fenchel 变换得到(5)式的对偶形式:

E(u,ω,p,q)=minu,ωmaxpP,qQ<p,u-ω>+<q,ε(ω)>+β2Au-g22-δp(p)-δqq,(15)

式中δp(p)=0,p1,,otherwise,δq(q)=0,q1,,otherwisepP,qQ分别为uω的对偶变量,凸集PQ分别为:P=p=(p1,p2)Tp(x)xα1w(x),Q=q=(q1,q2,q3,q4)Tq(x)α0

求解(15)式的迭代过程为

pn+1=projPpk+σpu-k-ω-kqn+1=projQqk+σqεω-k,(16)ωk+1=ωk+τωpk+1+divh-qk+1un+1=uk+τudivpk+1+τuβATgI+τuβATA,(17)ω-k+1=ωk+1+θωk+1-ω-ku-k+1=uk+1+θuk+1-u-k,(18)

式中σpσqτωτuθ为迭代步长参数,I为单位向量。投影运算如下:

projPp~k=p~kmax1,p~k/α1wkx,projQq~k=q~kmax1,q~k/α0,(19)

式中di vh为对称梯度算子ε的负共轭,di vh-=-ε*,div为梯度算子Ñ的负共轭,div=- *

4 实验与结果分析

4.1 客观指标对比

将PD-AWTGV图像去模糊算法和目前性能较好的去模糊算法进行比较,如快速全变差正则化反卷积(FTVD)模型[17]、非局部正则化全变差(TV-NLR)模型[18]、联合统计(JSM)模型[19]等。

其中,JSM和TV-NLR模型在TV模型的基础上添加了不同的非局部自相似性约束,能更好描述图像的先验信息,因此,这两种去模糊模型优于传统TV模型。对于JSM和TV-NLR模型,在大多数情况下,JSM模型的峰值信噪比(PSNR)都高于TV-NLR模型。PD-AWTGV模型能够有效描述自然图像的局部平滑性,同时可自适应调整局部扩散程度,有效保持边缘并抑制噪声。表1所示为4种算法图像去模糊前后的PSNR值。通过对比可知,本文算法PSNR值最高。与JSM模型相比,PSNR值提升2 dB~10 dB。另一方面,基于原始-对偶的求解算法,大幅提升了模型求解的效率,在时间复杂度上也远远优于其他算法。表2所示为4种算法运算时间复杂度对比。所有实验均在Windows 10系统和 Matlab R2016b软件平台上运行,CPU主频为2.8 GHz,内存为8 GB。

表 1. 4种算法去模糊图像PSNR值对比

Table 1. PSNR results comparison of four deblurred imagesdB

AlgorithmHouseLenaBarbaraModelYacht
Union blur kernel, 9×9 σ=0.005
FTVD36.0634.5726.6739.6236.04
TV-NLR36.0935.5324.3540.7636.17
JSM36.5434.2527.0139.8836.54
Proposed47.8744.7439.5551.0549.33
Gaussian blur kernel: (25, 1.6), σ=0.005
FTVD34.7034.9625.8240.0734.90
TV-NLR34.8236.1123.0740.6735.32
JSM35.3835.5725.9441.7536.95
Proposed38.7139.0129.7045.8141.07
Motion blur kernel: (20, 45), σ=0.005
FTVD36.3736.2029.8240.3936.12
TV-NLR36.1536.2432.6640.5336.18
JSM36.3936.0731.3441.0036.87
Proposed50.8949.8147.6054.5252.96

查看所有表

表 2. 4种算法时间复杂度对比

Table 2. Time complexity comparison of four algorithmss

AlgorithmHouseLenaBarbaraModelYacht
Union blur kernel, 9×9 σ=0.005
FTVD3.3212.3430.787.3514.28
TV-NLR5.2235.5345.2342.1142.07
JSM160.77653.98688.07667.13678.09
Proposed1.657.187.287.097.39
Gaussian blur kernel: (25, 1.6), σ=0.005
FTVD1.787.7825.294.8110.92
TV-NLR14.8562.4264.1159.1758.76
JSM177.57689.1715.12692.66702.79
Proposed1.657.177.247.307.29
Motion blur kernel: (20, 45), σ=0.005
FTVD3.6013.1739.327.5615.57
TV-NLR2.3723.7320.6020.8737.46
JSM176.68722.444760.95703.84725.00
Proposed1.657.187.347.347.30

查看所有表

4.2 主观效果对比

图1(a)、图2(a)和图3(a)分别为均匀模糊(模糊核尺寸9×9)、高斯模糊(模糊核尺寸25×25,标准差为1.6)和运动模糊(物体逆时针方向移动20°,移动像素位数45)条件下,并叠加标准差σ=0.005的高斯白噪声得到相应的模糊图像。

可以看出,FTVD方法对平滑区域恢复效果不错,但易造成阶梯效应,并丢失边缘和细节信息。JSM和TV-NLR算法优于传统TV模型,其重构边缘更加锐利,可恢复更多细节,但TV-NLR方法容易产生伪边缘,JSM方法纹理恢复性能较差,导致恢复结果模糊(图1(d)中的围巾部分)。本文算法图像恢复视觉效果理想,在保证图像局部光滑性的同时,能更好地保持图像边缘,恢复更多纹理信息,且对噪声更加稳健。

图 1. 去模糊效果图对比。(a)模糊图像;(b) FTVD方法;(c) TV-NLR方法;(d) JSM方法;(e)本文算法;(f)~(i)图(b)~(e)局部细节放大图

Fig. 1. Comparison of deblurred images. (a) Blurred image; (b) result of FTVD algorithm; (c) result of TV-NLR algorithm; (d) result of JSM algorithm; (e) result of the proposed algorithm; (f)-(i) detail enlarged drawing of Fig. (b)-(e)

下载图片 查看所有图片

图 2. 去模糊效果图对比。(a)模糊图像;(b) FTVD方法; (c) TV-NLR方法;(d) JSM;(e)本文算法; (f)~(i)图(b)~(e)局部细节放大图

Fig. 2. Comparison of deblurred images. (a) Blurred image; (b) result of FTVD algorithm; (c) result of TV-NLR algorithm; (d) result of JSM algorithm; (e) result of he proposed algorithm; (f)-(i)detail enlarged drawing of Fig. (b)-(e)

下载图片 查看所有图片

图 3. 去模糊效果图对比。(a)模糊图像;(b) FTVD方法; (c) TV-NLR方法;(d) JSM方法;(e)本文算法; (f)~(i)图(b)~(e)局部细节放大图

Fig. 3. Comparison of deblurred images. (a) Blurred image; (b) result of FTVD algorithm; (c) result of TV-NLR algorithm; (d) result of JSM algorithm; (e) result of the proposed algorithm; (f)-(i) detail enlarged drawing of Fig. (b)-(e)

下载图片 查看所有图片

5 结论

在深入研究传统TV去模糊模型的基础上,将TGV模型应用于图像去模糊领域,提出一种PD-AWTGV图像去模糊模型,该模型能克服传统TV模型对噪声敏感,阶梯效应明显等缺点。实验表明,本文算法能够在抑制噪声的同时,保留更多的边缘结构、纹理等细节信息,明显改善图像的视觉效果。结合原始-对偶算法,给出该模型的迭代求解算法,该求解算法时间复杂度低,求解速度快。

参考文献

[1] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.

[2] 闫敬文, 谢婷婷, 彭鸿, 等. 基于L0范数正则项的运动图像去模糊[J]. 激光与光电子学进展, 2017, 54(2): 021005.

    Yan J W, Xie T T, Peng H, et al. Motion image deblurring based on L0 norms regularization term[J]. Laser & Optoelectronics Progress, 2017, 54(2): 021005.

[3] 孙骁, 赵源萌, 邓朝, 等. 基于马尔可夫约束的被动式太赫兹图像复原[J]. 中国激光, 2014, 41(10): 1011001.

    Sun X, Zhao Y M, Deng C, et al. Passive terahertz image restoration based on Markov constraint[J]. Chinese Journal of Lasers, 2014, 41(10): 1011001.

[4] Kim H, Chen J, Wang A, et al. Non-local total-variation (NLTV) minimization combined with reweighted L1-norm for compressed sensing CT reconstruction[J]. Physics in Medicine and Biology, 2016, 61(18): 6878.

[5] Chantas G, Galatsanos N P, Molina R, et al. Variational bayesian image restoration with a product of spatially weighted total variation image priors[J]. IEEE Transactions on Image Processing, 2010, 19(2): 351-362.

[6] Candès E J, Wakin M B, Boyd S P. Enhancing sparsity by reweighted minimization[J]. Journal of Fourier Analysis and Applications, 2008, 14(5/6): 877-905.

[7] 陈利霞, 宋国乡, 丁宣浩, 等. 改进的总变分去噪算法[J]. 光子学报, 2009, 38(4): 1001-1004.

    Chen L X, Song G X, Ding X H, et al. Improved total variation algorithms to remove noise[J]. Acta Photonica Sinica, 2009, 38(4): 1001-1004.

[8] Min L, Feng C. Compressive sensing reconstruction based on weighted directional total variation[J]. Journal of Shanghai Jiaotong University (Science), 2017, 22(1): 114-120.

[9] Shama M G, Huang T Z, Liu J, et al. A convex total generalized variation regularized model for multiplicative noise and blur removal[J]. Applied Mathematics and Computation, 2016, 276: 109-121.

[10] 王志军, 于之靖, 马凯, 等. 一种自适应中值梯度倒数加权的图像滤波算法[J]. 激光与光电子学进展, 2017, 54(12): 121001.

    Wang Z J, Yu Z Q, Ma K, et al. An image filtering algorithm based on adaptive median and gradient inverse weight[J]. Laser & Optoelectronics Progress, 2017, 54(12): 121001.

[11] 曹硕, 黄利萍, 侯倍倍, 等. 基于模糊边缘补足的自适应非局部均值图像去噪算法[J]. 激光与光电子学进展, 2018, 55(1): 011003.

    Cao S, Huang L P, Hou B B, et al. Self-adaptive non-local means image denoising algorithm based on fuzzy edge complement[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011003.

[12] 谭志国, 欧建平, 张军, 等. 一种层析深度图像去噪算法[J]. 光学学报, 2017, 37(5): 0510002.

    Tan Z G, Ou J P, Zhang J, et al. A Laminar denoising algorithm for depth image[J]. Acta Optica Sinica, 2017, 37(5): 0510002.

[13] Bredies K, Kunisch K, Pock T. Total generalized variation[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 492-526.

[14] Knoll F, Bredies K, Pock T, et al. Second order total generalized variation(TGV) for MRI[J]. Magnetic Resonance in Medicine, 2011, 65(2): 480-491.

[15] Chambolle A. An algorithm for total variation minimization and applications[J]. Journal of Mathematical Imaging and Vision, 2004, 20(1): 89-97.

[16] Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications to imaging[J]. Journal of Mathematical Imaging and Vision, 2011, 40(1): 120-145.

[17] Tao M, Yang J. Alternating direction algorithms for total variation deconvolution in image reconstruction[J]. TR0918, Department of Mathematics, Nanjing University, 2009.

[18] Zhang X, Burger M, Bresson X, et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 253-276.

[19] Zhang J, Zhao D, Xiong R, et al. Image restoration using joint statistical modeling in a space-transform domain[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 915-928.

杨爱萍, 张越, 王金斌, 何宇清. 基于原始-对偶算法的自适应加权广义全变差图像去模糊[J]. 激光与光电子学进展, 2018, 55(4): 041003. Aiping Yang, Yue Zhang, Jinbin Wang, Yuqing He. Adaptive Weighted Generalized Total Variation Image Deblurring Based on Primal-Dual algorithm[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041003.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!