激光与光电子学进展, 2022, 59 (8): 0811010, 网络出版: 2022-04-11  

联合双通道对比度和L0正则化强度及梯度先验的模糊图像盲复原 下载: 577次

Blind Restoration of Blurred Images Combining Dual-Channel Contrast, L0 Regularization Intensity, and Gradient Prior
作者单位
贵州大学大数据与信息工程学院,贵州 贵阳 550025
摘要
双通道对比度先验(Dual-CP)是基于图像的亮通道和暗通道之间的差异来模拟对比度,故其在模糊图像盲复原中表现出良好的复原效果。但是,实际应用中图像亮通道和暗通道的值并不像理论研究的那样明显地分布在1和0上,为解决这一问题,提出一个联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法。其中,由于非凸的L0极小化问题求解比较困难,利用半二次分裂法推导出一种有效优化算法。实验表明,所提算法在直观效果上有更明显的细节恢复能力,且在Levin等人、Köhler等人和Lai等人提出的基准数据集上平均峰值信噪比分别提高了2.1051 dB、1.1273 dB和0.4491 dB,平均结构相似性分别提高了0.1302、0.0599和0.0158。
Abstract
Dual-channel contrast prior (Dual-CP) simulates contrast using the difference between the bright channel and the dark channel of an image, and it achieves good results in the blind restoration of blurred images. However, in practical applications, the values of the bright channel and the dark channel of an image are not distributed on 1 and 0 as theoretically researched. This paper proposes a blind image restoration algorithm that combines Dual-CP, L0 regularization strength, and gradient prior, wherein an effective optimization algorithm is derived using semi-quadratic splitting method to solve the nonconvex L0 minimization problem. Experiments demonstrate that the proposed method has better intuitive description recovery capabilities, and on the benchmark dataset presented by Levin et al., Köhler et al., and Lai et al., the average peak signal-to-noise ratio increased by 2.1051 dB, 1.1273 dB, and 0.4491 dB, respectively, and the average structural similarity increased by 0.1302, 0.0599, and 0.0158, respectively.

1 引言

模糊图像盲复原一直以来是计算机视觉和图像处理领域的研究热点和难点。在空间不变的情况下,模糊过程可表达为:b=I *k+n,其中bIkn分别代表模糊图像、待恢复清晰图像、模糊核和噪声,“*”表示卷积运算。清晰图像I的求解问题是一个高度病态问题,因为一个给定的b对应无穷多个Ik,所以求解I时需一直依赖对Ik施加的额外的约束条件和先验信息。近年来模糊图像盲复原取得很大的进展,这是因为其利用了自然图像的统计先验信息1,如稀疏梯度先验2-3、归一化稀疏性先验4L0正则化梯度先验5-6L0正则化强度及梯度结合先验1等。

最近,He等7首先提出图像的暗通道先验(DCP)并应用到图像去雾中,取得了不错的效果,这引起了图像去雾领域的广泛关注8。Pan等9在此基础上将暗通道引入到基于最大后验框架的去模糊模型中,并与L0正则化梯度先验加以权衡,取得了较为理想的效果。Yan等10受到暗通道的启发,提出了与之相反的亮通道(BCP),并将两个通道相结合构成了极端通道先验(ECP)去模糊模型。Yang等11则是通过亮通道与暗通道的差异来模拟对比度,提出了一种基于双通道对比度先验(Dual-CP)去模糊的算法。但是,在实验中观察到部分图像的亮通道和暗通道的值并没有明显地分布在1和0上。当图像不包含足够多的明像素或暗像素时,一系列基于亮暗通道的去模糊算法则表现不佳。

针对这一问题,本文提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法。由于非凸L0极小化问题的求解具有挑战性,本文类似于Yan等10利用半二次分裂法12推导出了一种有效的优化算法。由粗到细迭代估计出模糊核,再将估计出的模糊核与模糊图像用现有的先进的非盲去模糊算法13复原出最终清晰图像。通过大量的实验表明所提算法在直观效果上有更明显的细节恢复能力。并且在3个基准数据集14-16上进行了定量分析,从分析结果可知平均峰值信噪和平均结构相似性均优于现有算法。

2 图像先验

2.1 暗通道先验

暗通道先验是大多数自然图像的固有属性,定义为7

Dx(I)=minyψ(x)mincr,g,bIc(y),

其中xy表示像素位置,ψx)表示以x为中心的图像块,Ic表示图像I的颜色通道。暗通道先验主要用于描述图像块中的像素最小值。Pan等9观察到:清晰图像的暗通道中大部分像素是趋于零的,而模糊图像的暗通道中大部分像素是非零的,又因为图像在模糊过程中可以看作卷积平滑,故自然模糊图像的暗通道大部分像素就由零变成了非零值。正是这种暗通道的稀疏性为区分清晰图像和模糊图像提供了可能。

2.2 亮通道先验

Yan等10受到暗通道先验的启发,统计了大量的自然图像,首次提出了亮通道先验并将其定义为

Bx(I)=maxyψ(x)maxcr,g,bIc(y)

亮通道先验主要用于描述图像块中的像素最大值。Yan等9观察到清晰图像亮通道中的大部分像素是趋于1的,而模糊图像亮通道中的大部分像素是小于1的。

图 1. 图像对应的亮暗通道

Fig. 1. Bright and dark channels corresponding to the image

下载图片 查看所有图片

2.3 双通道对比度先验

图像对比度是图像质量的重要指标,清晰图像往往具有较高的对比度。基于图像在模糊过程中,图像质量和对比度明显下降,Yang等11通过亮通道先验与暗通道先验的差异来模拟对比度先验,以达到去模糊的目的。如前所述,BxI)和DxI)分别代表图像的亮通道和暗通道,并且它们是相互独立的,则以像素x为中心的图像斑块的对比度可以定义为

Hx(I)=Bx(I)-Dx(I)=maxyψ(x)maxcr,g,bIc(y)-minyψ(x)mincr,g,bIc(y)

HxI)和Hxb)分别为清晰图像I和模糊图像b的对比度,则有

Hx(b)Hx(I),

为了能够利用利于清晰图像恢复的稀疏性先验,文献[10]将双通道对比度先验表示为

P(I)=1-H(I)0,

其中||⋅||0表示L0范数,很明显得出清晰图像的双通道对比度先验小于模糊图像的双通道对比度先验,即

P(I)P(b)

2.4 L0正则化强度及梯度先验

对于一幅图像I,文献[1]将L0正则化强度先验定义为

Pt(I)=I0,

其中I0表示图像I中像素非零值的个数,文献[1]指出,模糊图像强度的零值比清晰图像强度的零值要少。根据像素强度准则,L0正则化强度先验可以很好地区分清晰图像和模糊图像。

同理,文献[5]将L0正则化梯度先验定义为

Pt(I)=I0

文献[1]通过大量的数据集验证:模糊图像梯度的非零值比清晰图像梯度的非零值要密集。这一先验信息对清晰图像的恢复是有利的。

3 模型和优化

从实验中可以观察到:有的图像亮通道和暗通道的值并没有明显地分布在1和0上。当图像不包含足够多明像素或暗像素时,一系列基于亮暗通道的去模糊算法表现并不佳。针对这一问题,提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法,即

minI,kI*k-b22+γk22+αI0+βI0+λ1-H(I)0,

其中||⋅||22表示L2正则化,γαβλ表示正则化参数。由于很难直接求解(9)式,本文使用坐标下降法12,通过固定其中一个变量来分别交替求解潜像I和模糊核k。故将(9)式的求解分成下列2个子问题。

关于潜像I

minII*k-b22+αI0+βI0+λ1-H(I)0;

关于模糊核k

minkI*k-b22+γk22

3.1 估计潜像I

假设模糊核是已知的,求解中间潜像。由于目标函数(10)式的优化问题涉及L0正则化和非线性函数H(⋅),故直接求解比较困难,类似于文献[9],可使用半二次分裂L0最小化方法1217进行求解。本文通过引入辅助变量pqg=(ghgv)分别对应于目标函数(10)式的I、1-HI)和∇I,其中ghgv分别代表图像I的水平方向和垂直方向的梯度值。目标函数(10)式可以改写成

minI,p,q,gI*k-b22+αI-p22+βI-g22+λ1-H(I)-q22+ωg0+μp0+ηq0

其中αβλ是惩罚参数,类似于前面的交替最小化求解,通过固定Ipqg中的任意3个变量来交替求解另外一个变量。那么(12)式的优化问题可分解为以下4个子问题:

minII*k-b22+αI-p22+βI-g22+λ1-H(I)-q22,minpαI-p22+μp0,minqλ1-H(I)-q22+ηq0,mingβI-g22+ωg0

下面将解释如何解决非线性算子HI),类似于文献[9],使y=argminzψxIz),引入一个线性算子M

M(x,z)=1,z=y0,otherwise

非线性运算D(·)等价于线性算子M应用于向量化图像I,将DI)写成向量形式:

D(I)=MI,

同理可把BI)写成向量形式:

B(I)=GI,

这里的G类似于M。故非线性算子HI)也可以写成

H(I)=B(I)-D(I)=GI-MI=(G-M)I=EI

对于真实的清晰图像,HI)=EI严格适用9。在只有模糊图像的情况下,本文利用每次迭代的中间结果计算E的近似值。随着中间结果越来越接近清晰图像,E越来越接近所需的H。给定选择矩阵E,(13)式可表示为

minITkI-b22+αI-p22+βI-g22+λ1-EI-q22

这里的Tkk的托普利兹(卷积)矩阵,bpgq分别是bpgq的向量形式。这是一个最小二乘化问题,故托普利兹矩阵向量的闭式解可以利用快速傅里叶变换(FFT)18来求解。根据文献[259-10],可知(21)式的解为

I=-1¯(k)(b)+βFg+α(p)+λ(q)¯(k)(k)+β¯()()+α+λ

这里的(⋅)和-1(⋅)分别表示FFT和快速傅里叶逆变换(IFFT),¯()表示取共轭,Fg=¯(h)(gh)+¯(v)(gv),∇h和∇v表示水平和垂直微分算子。

给定I,注意到(14)、(15)、(16)式是一个元素最小化问题。类似于文献[12]的优化方法,pqg的闭式解为

p=I,I2μα0,otherwise,q=1-H(I),1-H(I)2ηλ0,otherwise,g=I,I2ωβ0,otherwise

3.2 通过潜像I估计模糊核k

给定潜像I,注意到(11)式是一个最小二乘问题。基于梯度的核估计方法已经被证明是比较准确的一种方法3519-22。所以本文估计的模糊核为

minkI*k-b22+γk22

如前所述,使用FFT来求解(26)式,可得

k=-1(I)¯(b)(I)¯(I)+γ

在得到k之后将其负元素置为0,并对其进行归一化,使其元素之和为1。算法1的去模糊算法流程如下:

输入:模糊图像b,生成初始内核k

for i=1∶5 do

IB,α2μ

repeat 通过 (23) 式解决pλ2η

repeat通过 (24) 式解决qβ2ω

repeat通过(25)式解决g通过(22)式解决Iβ2β

until β>βmaxλ2λ

until λ>λmaxα2α

until α>αmax通过(27)式解决kμ0.9μ,η0.9η,ω0.9ω

end for

输出:中间潜像I和模糊核k

4 实验结果及其分析

在实验中,本文所提算法的所有参数都是根据经验来设定的7-10。具体的参数设置为:μ=η=ω=0.004γ=2psize=35,其中psize为双通道对比度的补丁大小。一些超参数设置为:αmax=23,βmax=1×105,λmax=22。文献[19-11]的算法参数选用本文设定的参数,而其他算法则直接选用作者所提供的去模糊结果。

本节就自然图像、低照度图像、人脸图像、建筑图像和文本图像(选自文献[9]和文献[14-16])定性地分析了本文所提算法和现有先进算法的直观效果,在3个基准数据集上14-16定量地分析了所提算法和现有先进算法的平均峰值信噪比和平均结构相似性。文献[14]的基准数据集包含4张真实图像和8个模糊核。文献[15]的基准数据集包含4张真实图像和12个模糊核。文献[16]的基准数据集包含25张真实图像和4个模糊核,每5张真实图像均为同一类别。

4.1 自然图像

图2展示了本文和现有先进算法19-11在自然图像上的去模糊效果,如实线框局部放大图所示,本文所提算法在花叶的轮廓细节保留能力优于文献[19-11]算法。

图 2. 自然图像去模糊

Fig. 2. Natural image deblurring

下载图片 查看所有图片

4.2 低照度图像

图3展示了本文和现有先进算法19-11在低照度图像上的去模糊效果,如实线和虚线框局部放大图所示,本文所提算法在窗户的轮廓细节保留能力优于文献[19-11]算法。

图 3. 低照度图像去模糊

Fig. 3. Low-light image deblurring

下载图片 查看所有图片

4.3 人脸图像

图4展示了本文和现有先进算法19-11在人脸图像上的去模糊效果,如实线框局部放大图所示,本文所提算法在嘴巴的轮廓保留能力和嘴唇细节保留能力优于文献[19-11]算法。

图 4. 人脸图像去模糊

Fig. 4. Face image deblurring

下载图片 查看所有图片

4.4 建筑图像

图5展示了本文和现有先进算法19-11在建筑图像上的去模糊效果,如实线框局部放大图所示,本文所提算法在地面上砖块之间的轮廓保留能力优于文献[19-11]算法。

图 5. 建筑图像去模糊

Fig. 5. Building image deblurring

下载图片 查看所有图片

4.5 文本图像

图6展示了本文和现有先进算法19-11在文本图像上的去模糊效果,如实线和虚线框局部放大图所示,本文所提算法在多个彩色文本之间去除伪影和保留轮廓能力优于文献[19-11]算法。

图 6. 文本图像去模糊

Fig. 6. Text image deblurring

下载图片 查看所有图片

4.6 定量评估

如前所述,将本文所提算法与各种先进算法在3个基准数据集上进行定量分析,所绘直方图如图7图8图9所示。

图 7. 数据集114上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性

Fig. 7. Quantitative evaluation results on dataset1[14]. (a) Average PSNR; (b) average SSIM

下载图片 查看所有图片

图 8. 数据集215上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性

Fig. 8. Quantitative evaluation results on dataset 2[15]. (a) Average PSNR; (b) average SSIM

下载图片 查看所有图片

图 9. 数据集316上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性

Fig. 9. Quantitative evaluation results on dataset 3[16]. (a) Averge PSNR; (b) average SSIM

下载图片 查看所有图片

图7图8图9展示了3个基准数据集中的定量评估结果,左边这列均为平均峰值信噪比(PSNR),右边这列均为平均结构相似性(SSIM)。从图中可以看出,本文所提算法的两个定量评估指标均大于现有算法,达到了预期的目标。为了能够从数值上看出本文与双通道对比度先验去模糊的竞争力,将结果列至表1表2中。

表 1. 平均结构相似性得分对比

Table 1. Average SSIM score comparison

DatasetMethod in Ref.[11OursIncrease valueIncrease rate /%
Dataset1140.60360.73380.130221.57
Dataset2150.74290.80280.05998.06
Dataset3160.61120.62700.01582.95

查看所有表

表 2. 平均峰值信噪比得分对比

Table 2. Average PSNR score comparison

DatasetMethod in Ref.[11OursIncrease valueIncrease rate /%
Dataset11421.613223.71832.10519.74
Dataset21520.427321.55461.12735.52
Dataset31615.434915.88400.44912.91

查看所有表

在3个基准数据集上进行了定量分析,由表1表2可以得出,平均峰值信噪比分别提高了2.1051 dB、1.1273 dB和0.4491 dB,平均结构相似性分别提高了0.1302、0.0599和0.0158。

5 结论

在最大后验框架下,提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法,并利用半二次分裂法推导出了一种有效优化算法。最后,通过估计出的模糊核进一步解出真实图像。实验结果表明,本文所提算法与现有先进算法相比具有一定的竞争力。但是目前无论采用哪种算法,对于比较复杂的非均匀运动模糊图像的盲复原效果均不理想。故下一步工作将进一步改善该算法在比较复杂的非均匀运动模糊图像上的效果。

参考文献

[1] PanJ S, HuZ, SuZ X, et al. Deblurring text images via L0-regularized intensity and gradient prior[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE Press, 2014: 2901-2908. 10.1109/cvpr.2014.371

[2] Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.

[3] LevinA, WeissY, DurandF, et al. Efficient marginal likelihood optimization in blind deconvolution[C]∥CVPR 2011, June 20-25, 2011, Colorado Springs, CO, USA. New York: IEEE Press, 2011: 2657-2664. 10.1109/cvpr.2011.5995308

[4] KrishnanD, TayT, FergusR. Blind deconvolution using a normalized sparsity measure[C]∥CVPR 2011, June 20-25, 2011, Colorado Springs, CO, USA. New York: IEEE Press, 2011: 233-240. 10.1109/cvpr.2011.5995521

[5] XuL, ZhengS C, JiaJ Y. Unnatural L0 sparse representation for natural image deblurring[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE Press, 2013: 1107-1114. 10.1109/cvpr.2013.147

[6] ChenL, FangF M, WangT T, et al. Blind image deblurring with local maximum gradient prior[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. New York: IEEE Press, 2019: 1742-1750. 10.1109/cvpr.2019.00184

[7] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[8] 彭静, 薛奉金, 苑玉彬. 基于多尺度Retinex和暗通道的自适应图像去雾算法[J]. 激光与光电子学进展, 2021, 58(4): 0410004.

    Peng J, Xue F J, Yuan Y B. Adaptive image defogging algorithm combining multi-scale Retinex and dark channel[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410004.

[9] PanJ S, SunD Q, PfisterH, et al. Blind image deblurring using dark channel prior[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 1628-1636. 10.1109/cvpr.2016.180

[10] YanY Y, RenW Q, GuoY F, et al. Image deblurring via extreme channels prior[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 6978-6986. 10.1109/cvpr.2017.738

[11] Yang D Y, Wu X J. Dual-channel contrast prior for blind image deblurring[J]. IEEE Access, 2020, 8: 227879-227893.

[12] XuL, LuC W, XuY, et al. Image smoothing via L0 gradient minimization[C]∥Proceedings of the 2011 SIGGRAPH Asia Conference on-SA ’11, December 12-15, 2011, Hong Kong, China. New York: ACM Press, 2011: 1-12. 10.1145/2024156.2024208

[13] Whyte O, Sivic J, Zisserman A, et al. Non-uniform deblurring for Shaken images[J]. International Journal of Computer Vision, 2012, 98(2): 168-186.

[14] LevinA, WeissY, DurandF, et al. Understanding and evaluating blind deconvolution algorithms[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE Press, 2009: 1964-1971. 10.1109/cvpr.2009.5206815

[15] KöhlerR, HirschM, MohlerB, et al. Recording and playback of camera shake: benchmarking blind deconvolution with a real-world database[M]∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision-ECCV 2012. Lecture notes in computer science. Heidelberg: Springer, 2012, 7578: 27-40. 10.1007/978-3-642-33786-4_3

[16] LaiW S, HuangJ B, HuZ, et al. A comparative study for single image blind deblurring[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 1701-1709. 10.1109/cvpr.2016.188

[17] 陈晨, 许金鑫, 危才华, 等. 基于显著性强度和梯度先验的多尺度图像盲去模糊[J]. 激光与光电子学进展, 2020, 57(4): 041505.

    Chen C, Xu J X, Wei C H, et al. Multi-scale image blind deblurring based on salient intensity and a priori gradient[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041505.

[18] Wang Y L, Yang J F, Yin W T, et al. A new alternating minimization algorithm for total variation image reconstruction[J]. SIAM Journal on Imaging Sciences, 2008, 1(3): 248-272.

[19] ChoS, LeeS. Fast motion deblurring[C]∥ACM SIGGRAPH Asia 2009 papers on-SIGGRAPH Asia ’09, December 16-19, 2009, Yokohama, Japan. New York: ACM Press, 2009: 1-8. 10.1145/1661412.1618491

[20] XuL, JiaJ Y. Two-phase kernel estimation for robust motion deblurring[M]∥Daniilidis K, Maragos P, Paragios N. Computer vision-ECCV 2010. Lecture notes in computer science. Heidelberg: Springer, 2010, 6311: 157-170. 10.1007/978-3-642-15549-9_12

[21] FergusR, SinghB, HertzmannA, et al. Removing camera shake from a single photograph[C]∥ACM SIGGRAPH 2006 Papers on-SIGGRAPH ’06, July 30-August 3, 2006, Boston, Massachusetts. New York: ACM Press, 2006: 787-794. 10.1145/1179352.1141956

[22] 祁清, 郭继昌, 陈善继. 基于图像边缘判别机制的盲图像去模糊方法[J]. 激光与光电子学进展, 2020, 57(24): 241022.

    Qi Q, Guo J C, Chen S J. Blind image deblurring based on image edge determination mechanism[J]. Laser & Optoelectronics Progress, 2020, 57(24): 241022.

夏成权, 梁建娟, 刘洪, 刘本永. 联合双通道对比度和L0正则化强度及梯度先验的模糊图像盲复原[J]. 激光与光电子学进展, 2022, 59(8): 0811010. Chengquan Xia, Jianjuan Liang, Hong Liu, Benyong Liu. Blind Restoration of Blurred Images Combining Dual-Channel Contrast, L0 Regularization Intensity, and Gradient Prior[J]. Laser & Optoelectronics Progress, 2022, 59(8): 0811010.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!