联合双通道对比度和L0正则化强度及梯度先验的模糊图像盲复原 下载: 577次
1 引言
模糊图像盲复原一直以来是计算机视觉和图像处理领域的研究热点和难点。在空间不变的情况下,模糊过程可表达为:b=I *k+n,其中b、I、k和n分别代表模糊图像、待恢复清晰图像、模糊核和噪声,“*”表示卷积运算。清晰图像I的求解问题是一个高度病态问题,因为一个给定的b对应无穷多个I与k,所以求解I时需一直依赖对I和k施加的额外的约束条件和先验信息。近年来模糊图像盲复原取得很大的进展,这是因为其利用了自然图像的统计先验信息[1],如稀疏梯度先验[2-3]、归一化稀疏性先验[4]、L0正则化梯度先验[5-6]、L0正则化强度及梯度结合先验[1]等。
最近,He等[7]首先提出图像的暗通道先验(DCP)并应用到图像去雾中,取得了不错的效果,这引起了图像去雾领域的广泛关注[8]。Pan等[9]在此基础上将暗通道引入到基于最大后验框架的去模糊模型中,并与L0正则化梯度先验加以权衡,取得了较为理想的效果。Yan等[10]受到暗通道的启发,提出了与之相反的亮通道(BCP),并将两个通道相结合构成了极端通道先验(ECP)去模糊模型。Yang等[11]则是通过亮通道与暗通道的差异来模拟对比度,提出了一种基于双通道对比度先验(Dual-CP)去模糊的算法。但是,在实验中观察到部分图像的亮通道和暗通道的值并没有明显地分布在1和0上。当图像不包含足够多的明像素或暗像素时,一系列基于亮暗通道的去模糊算法则表现不佳。
针对这一问题,本文提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法。由于非凸L0极小化问题的求解具有挑战性,本文类似于Yan等[10]利用半二次分裂法[12]推导出了一种有效的优化算法。由粗到细迭代估计出模糊核,再将估计出的模糊核与模糊图像用现有的先进的非盲去模糊算法[13]复原出最终清晰图像。通过大量的实验表明所提算法在直观效果上有更明显的细节恢复能力。并且在3个基准数据集[14-16]上进行了定量分析,从分析结果可知平均峰值信噪和平均结构相似性均优于现有算法。
2 图像先验
2.1 暗通道先验
暗通道先验是大多数自然图像的固有属性,定义为[7]
其中x和y表示像素位置,ψ(x)表示以x为中心的图像块,
2.2 亮通道先验
Yan等[10]受到暗通道先验的启发,统计了大量的自然图像,首次提出了亮通道先验并将其定义为
亮通道先验主要用于描述图像块中的像素最大值。Yan等[9]观察到清晰图像亮通道中的大部分像素是趋于1的,而模糊图像亮通道中的大部分像素是小于1的。
2.3 双通道对比度先验
图像对比度是图像质量的重要指标,清晰图像往往具有较高的对比度。基于图像在模糊过程中,图像质量和对比度明显下降,Yang等[11]通过亮通道先验与暗通道先验的差异来模拟对比度先验,以达到去模糊的目的。如前所述,Bx(I)和Dx(I)分别代表图像的亮通道和暗通道,并且它们是相互独立的,则以像素x为中心的图像斑块的对比度可以定义为
设Hx(I)和Hx(b)分别为清晰图像I和模糊图像b的对比度,则有
为了能够利用利于清晰图像恢复的稀疏性先验,文献[10]将双通道对比度先验表示为
其中||⋅||0表示L0范数,很明显得出清晰图像的双通道对比度先验小于模糊图像的双通道对比度先验,即
2.4 L0正则化强度及梯度先验
对于一幅图像I,文献[1]将L0正则化强度先验定义为
其中
同理,文献[5]将L0正则化梯度先验定义为
文献[1]通过大量的数据集验证:模糊图像梯度的非零值比清晰图像梯度的非零值要密集。这一先验信息对清晰图像的恢复是有利的。
3 模型和优化
从实验中可以观察到:有的图像亮通道和暗通道的值并没有明显地分布在1和0上。当图像不包含足够多明像素或暗像素时,一系列基于亮暗通道的去模糊算法表现并不佳。针对这一问题,提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法,即
其中||⋅||
关于潜像
关于模糊核k:
3.1 估计潜像
假设模糊核是已知的,求解中间潜像。由于目标函数(10)式的优化问题涉及L0正则化和非线性函数
其中α、β和λ是惩罚参数,类似于前面的交替最小化求解,通过固定
下面将解释如何解决非线性算子
非线性运算D(·)等价于线性算子
同理可把B(I)写成向量形式:
这里的
对于真实的清晰图像,
这里的
这里的
给定
3.2 通过潜像 估计模糊核
给定潜像
如前所述,使用FFT来求解(26)式,可得
在得到
输入:模糊图像
for i=1∶5 do
repeat 通过 (23) 式解决
repeat通过 (24) 式解决
repeat通过(25)式解决
until
until
until
end for
输出:中间潜像
4 实验结果及其分析
在实验中,本文所提算法的所有参数都是根据经验来设定的[7-10]。具体的参数设置为:
本节就自然图像、低照度图像、人脸图像、建筑图像和文本图像(选自文献[9]和文献[14-16])定性地分析了本文所提算法和现有先进算法的直观效果,在3个基准数据集上[14-16]定量地分析了所提算法和现有先进算法的平均峰值信噪比和平均结构相似性。文献[14]的基准数据集包含4张真实图像和8个模糊核。文献[15]的基准数据集包含4张真实图像和12个模糊核。文献[16]的基准数据集包含25张真实图像和4个模糊核,每5张真实图像均为同一类别。
4.1 自然图像
4.2 低照度图像
4.3 人脸图像
4.4 建筑图像
4.5 文本图像
4.6 定量评估
如前所述,将本文所提算法与各种先进算法在3个基准数据集上进行定量分析,所绘直方图如
图 7. 数据集1[14]上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性
Fig. 7. Quantitative evaluation results on dataset1[14]. (a) Average PSNR; (b) average SSIM
图 8. 数据集2[15]上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性
Fig. 8. Quantitative evaluation results on dataset 2[15]. (a) Average PSNR; (b) average SSIM
图 9. 数据集3[16]上的定量评估结果。(a)平均峰值信噪比;(b)平均结构相似性
Fig. 9. Quantitative evaluation results on dataset 3[16]. (a) Averge PSNR; (b) average SSIM
表 1. 平均结构相似性得分对比
Table 1. Average SSIM score comparison
|
表 2. 平均峰值信噪比得分对比
Table 2. Average PSNR score comparison
|
在3个基准数据集上进行了定量分析,由
5 结论
在最大后验框架下,提出一种联合双通道对比度先验和L0正则化强度及梯度先验的模糊图像盲复原算法,并利用半二次分裂法推导出了一种有效优化算法。最后,通过估计出的模糊核进一步解出真实图像。实验结果表明,本文所提算法与现有先进算法相比具有一定的竞争力。但是目前无论采用哪种算法,对于比较复杂的非均匀运动模糊图像的盲复原效果均不理想。故下一步工作将进一步改善该算法在比较复杂的非均匀运动模糊图像上的效果。
Article Outline
夏成权, 梁建娟, 刘洪, 刘本永. 联合双通道对比度和L0正则化强度及梯度先验的模糊图像盲复原[J]. 激光与光电子学进展, 2022, 59(8): 0811010. Chengquan Xia, Jianjuan Liang, Hong Liu, Benyong Liu. Blind Restoration of Blurred Images Combining Dual-Channel Contrast, L0 Regularization Intensity, and Gradient Prior[J]. Laser & Optoelectronics Progress, 2022, 59(8): 0811010.