1 引言

在成像过程中,由于受到光学系统的偏差、相机与物体之间的相对位移及气候等因素的影响,图像容易出现模糊,导致有用信息丢失,如不对其复原,就很难进行后续的分类、识别等操作,并且图像盲复原技术在遥感图像处理、人脸识别和公安侦查等领域发挥着越来越重要的作用,因此寻求一种高效的盲复原算法具有重要的科研价值和实际应用的意义。

早期研究大多采用参数估计法,通过估计点扩展函数(PSF)的长度和角度进行图像的盲复原^[1-5]。但现实中图像退化的影响因素通常是未知且相互作用的,点扩展函数的参数难以求出。近年来,许多学者使用正则化技术^[6-7]将图像与点扩展函数的某种内在特性作为约束,通过交替迭代法进行图像的盲复原。Cho等^[8]使用双边滤波器获取图像强边缘,并快速得到模糊核和复原图像,但这种方法较依赖于图像的边缘特征;Krishnan等^[9]用L₁/L₂范数对自然图像添加正则化约束,这种方法的复原速度较快,但复原结果存在较明显的振铃效应;李晖晖等^[10]对湍流退化图像添加边缘预测和稀疏比值正则约束,发现复原图像常会受到噪声的影响;Krishnan等^[11]使用超拉普拉斯(hyper-Laplacian)函数模拟自然图像的梯度分布,提出一种快速获取清晰图像的算法;Shao等^[12]把对点扩展函数添加L₀约束及对自然图像添加L₂约束的组合用于图像盲复原,其复原效果有很大的提升,但增加了计算所需的开销;王灿等^[13]提出一种基于L₁/L₂的高低阶全变差盲复原方法,能够很好地抑制振铃现象并保护图像的细节。Pan等^[14]对文本图像添加L₀约束,获得很好的复原效果,但复原的对象比较单一;Bai等^[15]提出一种重加权总变分(RGTV)方法精确估计出点扩展函数,并采用Pan等^[14]提出的非盲复原法得到了较好的复原效果;仇翔等^[16]提出的基于L₀稀疏先验的改进正则化模糊图像盲复原算法,不仅速度快且适用于不同类型的图像,但不能精确估计出点扩展函数;Kong等^[17]提出将hyper-Laplacian分布作为图像梯度先验,采用广义阈值法求解非凸问题,该算法不仅效率高,而且复原效果好;Tang等^[18]对模糊核添加L₀及L₂正则化先验,准确求出点扩展函数且获得高质量的复原图像。由以上分析可知,尽管正则化技术在图像复原中有很大的优越性,但大多数图像的正则项不能很好地反映出自然图像共有的内在特性,导致不能准确地估计出退化函数,从而降低了复原图像的质量。

针对现有方法存在的缺陷,本文提出一种采用RGTV结合hyper-Laplacian的图像盲复原算法。首先,运用一种更具普适性的自然图像特性——清晰自然图像的边缘权重存在明显双峰分布^[15],采用Bai等^[15]提出的RGTV先验对模糊图像进行正则化约束,以实现边缘权重的重建;然后,利用基于多分辨率金字塔的迭代方法获取清晰的模糊核;最后,采用非盲复原算法来抑制振铃效应,使处理后的图像具有更多细节,从而获得较满意的复原效果。

2 图像盲复原算法概述

模糊图像的退化过程一般可以描述为

y=k⊗x+n,(1)

式中:y为获取的模糊图像;x为原始清晰图像;k为模糊核,即点扩展函数,本研究中k主要为运动模糊核或高斯模糊核;n为加性噪声;􀱋为卷积算子。

图像盲复原就是在模糊核k未知的情况下,仅利用观察到的模糊图像y,求出原始清晰图像x和模糊核k,这是一个不适定问题。目前,盲复原算法主要分为两种:第一种是同时进行模糊核与清晰图像的估计;第二种是先利用先验知识估计模糊核,然后采用非盲复原算法复原模糊图像。本研究采用第二种盲复原算法的思想,首先将Bai等^[15]提出的基于图像的RGTV先验与模糊核k有关的先验作为正则化方法的约束条件,采用多分辨金字塔迭代法对模糊核k进行估计,在一定的迭代次数后,不仅获得了最终的模糊核,而且还得到一幅潜在中间图像。然而,得到的图像是在利用RGTV算法准确估计最终模糊核过程中产生的具有强梯度但少数细节被平滑的灰色中间图像,即重建后的模糊图像,并不能作为最终的复原图像。为此,本研究将仅采用基于RGTV先验求出的精确k值与 Krishnan等^[9]提出的基于图像梯度hyper-Laplacian先验的非盲复原算法结合实现对模糊图像的重建。所采用的盲复原算法流程如图1所示。

图 1. 本文盲复原算法的流程

Fig. 1. Process of the proposed blind restoration algorithm

下载图片 查看所有图片

3 基于图像RGTV先验结合hyper-Laplacian的盲复原算法

3.1 基于图像RGTV先验的模糊核求解

3.1.1 自然图像的RGTV正则化约束

当自然图像受到各种未知退化因素的干扰时,边缘及细节部分会受到严重破坏,导致图像变得模糊,图像中的每个像素与目标上的点不再一一对应,且转变为多个点混合叠加的结果,导致模糊图像中各部分的边缘权重差别不大。因此,边缘权重分布可以作为区分清晰图像与模糊图像的一个重要变量。本研究运用几乎所有自然图像共有的一种特性——清晰自然图像的边缘与细节部分比模糊图像更加稀疏和锐化,使图像各部分的边缘权重差别较大且呈现明显的双峰分布。图2所示分别为清晰自然图像块、模糊图像块以及潜在中间图像块;图3为这三种图像块所对应的权重分布图,其中横轴为节点i与j之间像素差的绝对值d= xi-xj,纵轴表示图像的边缘权重。

图 2. 三种图像块。(a)清晰的自然图像块;(b)模糊图像块;(c)潜在中间图像块

Fig. 2. Three image blocks. (a) Clear natural image block; (b) blurred image block; (c) intermediate latent image block

下载图片 查看所有图片

图 3. 图2中三种图像块的权重分布。(a)清晰自然图像;(b)模糊图像;(c)潜在中间图像

Fig. 3. Weight distribution of three images in Fig. 2. (a) Clear natural image; (b) blurred image; (c) intermediate latent image

下载图片 查看所有图片

2018年,Bai等^[15]观察到骨架图像块边缘权重具有与模糊图像明显不同的双峰分布的特点,提出一种RGTV方法来重构模糊图像的边缘权重分布。由于RGTV是在图像总变分(GTV)的基础上设计出来的,因此本研究首先对GTV先验进行介绍^[15]。

x‖GTV=∑i∈v‖diag(wi,.)∇ix‖1=∑i=1N∑j=1Nwi,jxj-xi,(2)

式中:w_i,.表示图像矩阵w的第i行;diag(w_i,.)表示w_i,.对角线上的元素; ∇ix表示对图像x的节点i求梯度;v表示节点i的邻域范围;N表示节点i的个数;w_i,j表示图像的边缘权重及节点i与j之间像素值的相似性;‖·‖₁用来求矩阵列向量绝对值之和的最大值。图像的GTV先验对存在于信号中的噪声或模糊的处理是强有力的^[15],但其将边缘权重w_i,j设为一个固定值,因此不能用于模糊图像权重双峰分布的重构。

图像的RGTV先验是对GTV先验中的w_i,j进行改进,将w_i,j转变成以像素x_i与x_j为自变量的函数w_i,j(x_i,x_j),其继承了GTV先验的特性,对模糊或噪声的处理更具鲁棒性。图像的RGTV先验值定义为^[15]

x‖RGTV=∑i∈v‖diag[wi,.(x)]∇ix‖1=∑i=1N∑j=1Nwi,j(xi,xj)xj-xi,(3)

式中:w_i,j(x_i,x_j)是w(x)在点i与点j处的取值,是关于图像x的一元非线性函数。由文献[ 15]可知:对于RGTV先验来说,当d= xi-xj取到某极值点时,图像的RGTV先验值达到最大;当减小或增大d值时,图像的RGTV先验值都迅速下降。并且其他基于图像边缘权重的先验函数很少能取得较满意的效果,因此选择合适的RGTV先验作为正则化约束不仅可以去除噪声影响,而且可以用来重建模糊图像边缘权重的双峰分布。

3.1.2 基于RGTV先验对模糊核进行初步估计

根据图像退化模型,采用最大后验概率框架结合Bai等^[15]提出的图像RGTV先验与模糊核k的先验知识,将图像盲复原问题转变成一个求最优值的问题,即

x^,k^=argminx,k12x⊗k-y‖22+λ‖x‖RGTV+Q(k),(4)

式中: ·‖22表示对L₂范数求内积;λ为关于图像RGTV先验的正则化参数。(4)式等号右边第一项为数据项,第二、第三项分别为对潜在中间图像以及模糊核k添加的约束条件。(4)式是非凸且不可微的,是很难求解的数学问题,可将其拆成两个分别求潜在中间图像及模糊核的子问题。

1) 对潜在中间图像x的求解

经过拆分后,潜在中间图像x的求解函数为

x^=argminx12x⊗k-y‖22+λ‖x‖RGTV。(5)

在求解(5)式之前,通常先初始化具有一定尺寸且中间像素面积为1的模糊核^[8,17]。由于RGTV是一个不可微的先验,难以直接用数学公式求出。采用文献[ 15]中提出的算法对这一问题进行求解。

2)对模糊核k的求解

经过拆分后,模糊核k的求解函数为

k^=argmink12∇xRGTV⊗k-∇y‖22+Q(k),(6)

式中:Ñx_RGTV和Ñy分别表示对通过图像RGTV先验求出的潜在中间图像以及原始模糊图像进行的梯度运算;Q(k)为对模糊核k添加的先验知识。由于k表示成像装置在曝光时相对运动的轨迹且仅在一定范围内存在较小的像素值,因此模糊核不仅具有连续性,同时具有稀疏性^[18],则(6)式可表示为

k^=argmink(12∇xRGTV⊗k-∇y‖22+λk1k‖1+λk2‖∇k‖22),k≥0,∑iki=1,(7)

式中:Ñk表示对模糊核求梯度;λ_k1和λ_k2分别为具有连续平滑特性和稀疏性的正则化参数,且λ_k1,λ_k2≥0。(7)式等号右边第一项为数据保真项,第二项是对点扩展函数的连续性添加的L₁范数的约束,第三项是对点扩展函数的稀疏性添加L₂范数的约束。本研究采用文献[ 19]提出的半二次分裂策略对(7)式进行求解,从而得到稀疏且连续的模糊核。

3.1.3 确定最终清晰的模糊核

通过(5)式和(7)式分别求出初步的潜在中间图像x以及模糊核k之后,再对以上两步采用基于图像多分辨率金字塔的由粗到细的迭代方法估计清晰的模糊核,使其越来越接近真实的解。在迭代之前需要设定一个尺寸比模糊图像小且与真实的内核接近或稍大的模糊核,这个值不是固定的,它会随实际图像尺寸的变化而变化;此外,金字塔层数^[20]的求解公式为

n=floorlg[5/min(k1,k2)]lg0.5+1,(8)

式中:k₁、k₂分别表示模糊核的长、宽;min函数表示求k₁,k₂中的最小值,一般情况下k₁=k₂且都为奇数;floor(·)为向下取整函数。

在迭代过程中,首先建立图像多分辨率金字塔,将初始模糊核和模糊图像下采样到一个很小的尺寸,作为金字塔第一层且分辨率最低的k和x。利用初始模糊核k对模糊图像进行复原,对复原后的图像进行上采样,得到金字塔第二层的潜在中间图像x,然后将其代入(7)式,求出第二层的模糊核k并进行上采样,作为下一层的初始值。此外,为了能得到更准确的模糊核k,将金字塔的每一层分为三个水平,并在每个水平内都设置三次迭代操作。如此迭代下去,直到获得最精细的分辨率层级,从而得到清晰的模糊核k以及最终的潜在中间图像。由于获取到的图像为重建后的模糊图像,不能作为最终的复原图像。因此本文将最终的模糊核k与3.2节所述的非盲复原算法结合对模糊图像进行处理,得到清晰的复原图像。

3.2 基于图像梯度hyper-Laplacian先验的非盲复原算法

研究人员通过对大量图像的统计分析发现,自然图像的梯度呈现明显的长拖尾分布^[21]。Krishnan等^[11]通过用大量的函数来对自然图像梯度进行拟合得出:相较于混合高斯函数,hyper-Laplacian函数能更好地拟合自然图像的梯度分布。因此,本研究采用拟合度最高的基于图像梯度的hyper-Laplacian先验结合求出的模糊核k来对模糊图像进行非盲复原。在此复原过程中参数的设置情况为:λ=2×10³,α=0.5,β是一个变量,在每次迭代之后对β加倍,即β^m=2 2β^m-1,直到达到最大值为止。本实验中,将β的初始值设为β⁰=1,最大值设为β^max=2⁸。经过一定次数的迭代后,最终复原出清晰的图像。

4 实验结果与分析

所有的实验是在配置为Intel Core-i5-6200U CPU 2.3 GHz RAM 4.00 GB的Lenono笔记本上实现的。系统为Windows 10,运行的平台为MATLAB 2017b。分别对人为退化模糊图像和真实模糊图像进行处理,并将其与Krishnan等^[9]和Pan等^[14]提出的盲复原算法所得的复原结果从主观视觉和客观评价指标上进行比较。

4.1 人为退化模糊图像的复原实验

选择清晰图像blue car与自定义的模糊核作卷积运算,得到人为退化模糊图像。图4(a)所示为blue car的原始清晰图像,图4(b)所示为将左下角的自定义不规则的模糊核与图像blue car作卷积得到的模糊图像。图4(c)~(e)所示分别为文献[ 9]算法、文献[ 14]算法以及本文算法针对人为退化模糊图像的复原图像。通过比较图4(c)和图4(d)的复原结果以及左下角各算法估计得到的模糊核可以发现,由文献[ 9]算法和文献[ 14]算法估计得到的模糊核及其自定义的模糊核之间有较大的偏差,导致复原效果不是很好,复原后的图像出现明显的阶梯效应。通过观察图4(e)的复原结果以及左下角的模糊核可以发现,由本文算法估计得到的模糊核更加准确,与真实模糊核k之间的误差明显降低,且复原后图像的边缘清晰,振铃效应明显减弱,具有更好的视觉质量。

图 4. 模糊图像blue car盲复原效果对比。(a)清晰图像;(b)模糊图像;(c)文献[ 9]算法的复原效果;(d)文献[ 14]算法的复原效果;(e)本文算法的复原效果

Fig. 4. Comparison of blind restoration effect of blurred image of blue car. (a) Clear image; (b) blurred image; (c) restoration effect by method in Ref.[9]; (d) restoration effect by method in Ref.[14]; (e) restoration effect by proposed method

下载图片 查看所有图片

图 5. 模糊图像red car的盲复原效果对比。(a)模糊图像;(b)文献[ 9]算法的复原效果;(c)文献[ 14]算法的复原效果;(d)本文算法的复原效果;(e)潜在中间图像

Fig. 5. Comparison of blind restoration effect of blurred image of red car. (a) Blurred image; (b) restoration effect by method in Ref.[9]; (c) restoration effect by method in Ref.[14]; (d) restoration effect by proposed method; (e) intermediate latent image

下载图片 查看所有图片

4.2 真实模糊图像的复原实验

采用3幅来自真实世界的模糊图像,与Krishnan等^[9]、Pan等^[14]提出的盲复原算法处理后的结果进行比较,结果如图5~7所示。可以观察到3幅潜在中间图像均为灰色,且具有强梯度、少数细节被平滑的特点。由于篇幅的原因,本研究只给出利用基于RGTV先验知识的复原算法对图7(a)处理前后边缘权重分布的变化情况,如图8所示。

从图5(b)可以看出,经过文献[ 9]算法复原后的图像,其边缘部分出现明显的振铃效应,并且该算法只对车身部分进行了复原,从中很难分辨出车牌信息;通过对比图5(c)和图5(d)可以看出:采用文献[ 14]算法与本文算法复原的结果都能分辨出车牌号,但文献[ 14]算法复原的街道区域出现平滑现象,并且车的底部出现微弱的振铃效应;而经本文算法复原图像的振铃效应明显减弱,汽车的边缘轮廓及背景较其他两种算法更加鲜明。

图6所示为对模糊图像monkey的复原结果。经过文献[ 9]算法复原出的模糊核k不清晰,导致复原后的图像出现振铃效应,轮廓较为模糊,细节特点不清晰,图像质量明显下降;尽管利用文献[ 14]算法基本可以复原出物体的轮廓,但复原后图像的背景过于平滑,丢失了部分图像细节;而经过本文算法复原后的图像背景较清晰,可以较好地复原出退化图像的细节,且在丰富细节信息与锐化边缘之间取得平衡,更符合人眼的视觉感受。

图7所示为对模糊图像summer house的复原结果。从图7(b)可以看出,文献[ 9]算法较其他算法能很好地复原出图像的背景,但对亭子顶部的瓦块及底部护栏的轮廓复原效果较为模糊,细节特点不清晰。对比图7(c)和图7(d)可知,文献[ 14]算法复原图像的边缘细节过于平滑,凉亭顶部各瓦块纹路连接处很难被分辨出来,导致图像丢失了许多重要的细节;而本文算法复原图像的平滑效应较文献[ 14]算法的显著减弱,并且可以清楚地看到顶部瓦块以及柱子的纹路,背景颜色也较图7(c)丰富鲜明,图像视觉效果明显提升。

图8所示为利用基于RGTV先验知识的复原算法对图7(a)处理前、后边缘权重分布的变化情况。可以看出:图8(a)所示的模糊图像的边缘权重并不是呈双峰分布;图8(b)和图8(c)所示的潜在中间图像和复原图像的边缘权重具有明显双峰分布的特点,与理论分析结果相吻合。

图 6. 模糊图像monkey的盲复原效果对比。(a)模糊图像;(b)文献[ 9]算法的复原效果;(c)文献[ 14]算法的复原效果;(d)本文算法的复原效果;(e)潜在中间图像

Fig. 6. Comparison of blind restoration effect of blurred image of monkey. (a) Blurred image; (b) restoration effect by method in Ref.[9]; (c) restoration effect by method in Ref.[14]; (d) restoration effect by proposed method; (e) intermediate latent image

下载图片 查看所有图片

图 7. 模糊图像summer house的盲复原对比效果。(a)模糊图像;(b)文献[ 9]算法的复原效果;(c)文献[ 14]算法的复原效果;(d)本文算法的复原效果;(e)潜在中间图像

Fig. 7. Comparison of blind restoration effect of blurred image of summer house. (a) Blurred image; (b) restoration effect by method in Ref.[9]; (c) restoration effect by method in Ref.[14]; (d) restoration effect by proposed method; (e) intermediate latent image

下载图片 查看所有图片

图 8. 图7(a)复原前、后的边缘权重分布图。(a)模糊图像的权重分布;(b)潜在中间图像的权重分布;(c)本文算法复原图像的权重分布

Fig. 8. Weight distribution of Fig. 7(a) before and after restoration. (a) Weight distribution of blurred image; (b) Weight distribution of intermediate latent image; (c) Weight distribution of restored image by proposed method

下载图片 查看所有图片

除了主观视觉效果对比之外,本研究还从客观评价指标来衡量复原效果。由于本研究是对获取的模糊图像直接进行盲复原处理,缺乏原始清晰图像作为参考,因而采用信息熵、标准差和均值3种无参考质量的客观评价方法对3种算法的复原效果进行比较,且3种无参评价方法都能较好地反映图像的对比度和纹理特征,其值越大,表示图像所含的信息量就越多,保留的细节越丰富,相应的复原效果就越好,计算结果如表1~3所示,并且各表中的加粗数字表示每组实验的每个无参考质量评价指标的最优结果。从实验结果可以看出:在大多数情况下,经本文算法处理后的图像对应的3种评价指标值大于其他两种算法,即复原后的图像轮廓鲜明并能保留更多的细节信息,复原效果更好。综上所述,无论是从主观视觉效果还是采用客观指标进行评价,利用本文算法复原后的图像质量较其他两种算法都有明显的提升。

5 结论

为了解决现有算法在估计模糊核时存在准确性不高的问题,并且尽可能地减少复原后图像存在的振铃效应及失真现象,基于图像的RGTV能有效地重建模糊图像权重的双峰分布,进而准确估计出模糊核的特点,以及hyper-Laplacian函数可以较好地拟合自然图像的梯度分布特点,提出一种采用RGTV结合hyper-Laplacian的图像盲复原算法,并且通过对人为退化模糊图像和真实模糊图像的处理分析表明,该方法不仅能很好地保持图像的边缘细节,有效抑制振铃效应,并且信息熵、标准差以及均值均有所提高,可满足图像复原的实际需求。但在估计模糊核时,交替迭代可能会使图像复原的耗时变长。下一步的研究重点就是进一步提高算法效率,并将所提算法运用到实际生活中空间变化以及非线性等更加复杂的模糊图像中。