联合深度去噪先验图像盲去模糊

杨爱萍; 王金斌; 杨炳旺; 何宇清

doi:doi:10.3788/AOS201838.1010003

光学学报, 2018, 38 (10): 1010003, 网络出版: 2019-05-09

联合深度去噪先验图像盲去模糊下载： 1104次

Joint Deep Denoising Prior for Image Blind Deblurring

论文大纲

杨爱萍 ^*王金斌杨炳旺何宇清

作者单位

天津大学电气自动化与信息工程学院, 天津 300072

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

目前,基于统计先验的图像去模糊方法对噪声敏感,细节恢复能力有限,而基于先验学习的算法对图像及其模糊类型、噪声水平等适应性较差。针对上述问题,基于图像模糊前后像素直方图统计,首先提出一种简单有效的低值像素先验。然后针对现有方法对图像去模糊后出现大量噪声或伪影等问题,设计深度卷积神经网络学习图像深度去噪先验,并联合低值像素先验、梯度稀疏先验提出新的去模糊模型。同时,在模糊核估计过程中,利用图像分解方法分离出图像的结构层,并在结构层估计模糊核,获得更为准确的估计结果。大量实验结果表明,本文算法不仅具有很好的细节恢复能力,且对图像及其模糊类型、噪声水平等更具稳健性。与现有主流算法相比,本文方法优势明显。

Abstract

The traditional blind image deblurring algorithm based on the statistical prior models has the disadvantages of sensitivity to noise and limited detail recovery, while the learning-based image deblurring algorithm has poor adaptability for blurring kernel and noise level. To address the above problems, we propose a simple and effective low pixel sparse prior based on the statistical differences between the histograms of original and blurred images first. Then, in order to remove the noises and artifacts in restored image, a deep convolution neural network is designed to learn image denoising prior, which combines low pixel sparse prior and gradient sparse prior to form a new image deblurring model. Meanwhile, we estimate the blurring kernel in the structure layer so as to get a more accurate one, and the structure layer can be obtained by the image decomposition method. Numerous experimental results show that the proposed algorithm can restore more image details, and show more robustness to image type, blurring kernel type and noise level. The proposed method outperforms other recent state-of-the-art related approaches.

1 引言

受成像设备晃动、散焦或大气湍流等因素的影响,实际获取的图像往往存在模糊现象,致使图像质量大大下降,影响后续的处理和应用。图像去模糊是计算机视觉、图像处理领域的研究热点。

针对去模糊问题的病态性,通常基于图像先验信息利用正则化技术构造图像去模糊模型,并对模型求解得到复原图像。通常有两类方法获得先验信息:一类是基于统计先验模型,另一类是通过学习方法获得。常用的统计先验模型有梯度重尾分布先验^[1-2]、归一化稀疏先验^[3]、L₀正则化梯度先验^[4]、块循环先验^[5]、强度和梯度联合先验^[6]等。Fergus等^[1]提出利用混合高斯模型拟合图像梯度的重尾分布,但该算法会产生严重的振铃效应;Shan等^[7]以分段函数拟合图像梯度的重尾分布,并引入局部先验来抑制振铃效应,提高模糊核估计的准确性;Xu等^[4]提出基于L₀范数的盲去模糊算法,该算法简单可靠,在保证精度的同时显著提升了运算速度,但细节恢复能力不足;Krishnan等^[3,8]提出基于归一化稀疏度量的图像盲去模糊算法,取得了不错的去模糊效果,但其运算复杂度较高,运行速度缓慢。文献[ 9]提出自适应加权的广义全变差(TGV)图像去模糊模型,该模型能够根据图像局部结构自适应调整权值,在去模糊的同时避免阶梯效应,有效保持图像边缘并抑制噪声。文献[ 10]提出一种基于能量约束的自适应加权图像盲去模糊算法,引入图像梯度作为权重构建加权模糊核估计模型,以减少图像纹理模糊核估计的影响,然后根据图像信号能量建立约束方程, 采用二分法选择最优复原结果, 实现自适应图像盲去模糊。基于统计先验模型的去模糊方法通常可以获得解析解,算法稳定性强,但是该类方法很难在抑制噪声的同时,较好地恢复图像细节。

另外一类是通过学习的方法获得先验信息用于图像去模糊。Schuler等^[11]提出一种基于卷积神经网络(CNN)的模糊核估计方法,但是该方法难以处理运动模糊图像。Xu等^[12]利用图像先验初始化网络权值,实现了端对端的图像去模糊,但该算法复杂度较高;Su等^[13]提出基于深度卷积神经网络的视频去模糊方法,但该方法需要学习多帧图像特征,不适用于单幅图像;Kim等^[14]提出了一种深度聚合交替最小化图像的复原方法,虽然取得了较好的去噪效果,但去模糊效果欠佳;Nah等^[15]提出了一种用于动态场景的多尺度卷积神经网络去模糊算法,利用图像金字塔结构由粗到精训练网络,可以较好地保留图像细节并避免振铃伪影,但该算法同样不能有效处理运动模糊图像。

综上,统计先验模型对图像特征表达不足,图像细节恢复能力有限,而目前大多数基于先验学习的方法仅适用于特定图像、模糊类型和噪声水平。基于此,提出一种联合深度去噪先验图像的盲去模糊方法。首先,基于图像模糊前后低值像素的稀疏性变化提出一种简单有效、更具普适性的低值像素先验;然后,针对目前去模糊研究中极少考虑噪声影响的问题,设计深度卷积神经网络,学习图像的深度去噪先验;最后,将包括梯度稀疏先验的统计先验与深度去噪先验融合到同一数学框架,构建新的图像盲去模糊模型,并提出有效的求解方法。所提方法可有效克服统计先验模型方法和基于先验学习方法各自的缺陷,不仅可以取得理想的去模糊效果,还可有效抑制噪声并去除各种视觉伪影。

2 基于统计先验的图像去模糊

图像模糊退化过程可表示为

\begin{matrix} B = K \otimes x + w, (1) \end{matrix}

式中:B、K、x和w分别为模糊图像、模糊核、原始清晰图像以及加性噪声;⊗表示卷积运算。针对去模糊问题的病态性,通常利用先验信息构造如下最小化目标函数:

\begin{matrix} \min_{x} Φ (x, B) + χp (x), (2) \end{matrix}

式中:Φ(x,B)为数据保真项,保证复原图像逼近原始清晰图像;χ为正则化参数;p(x)为图像先验约束项。基于全变差(TV)正则化的去模糊模型如下:

\begin{matrix} \min_{x} ‖K \otimes x - B ‖_{2}^{2} + χ ‖ x ‖_{TV}, (3) \end{matrix}

式中第一项为数据保真项,第二项为全变差项,‖ $\begin{matrix} ‖_{2}^{2} \end{matrix}$ 表示L₂范式。

各向异性全变差‖x‖_TV定义为

\begin{matrix} ‖x ‖_{TV} = \sum_{i, j} ‖ D_{i, j} x ‖_{1} = \sum_{i, j} |x_{i + 1, j} - x_{i, j}| + |x_{i, j + 1} - x_{i, j}|, (4) \end{matrix}

式中D_i_,_jx∈Rⁿ²表示x在(i,j)处沿水平和垂直方向的一阶有限差分。

在图像去模糊领域,近年来提出了很多新的图像先验方法,如暗通道先验^[16]、亮通道先验^[17]、极端通道先验^[18]等。虽然这类方法具有较强的稳健性,但却很难在抑制噪声的同时较好地恢复图像的细节。而且,这些自然图像先验并不适用于某些特定类型的图像,如人脸图像、文本图像等。因此,获取更加高效、更具普适性的图像先验,成为图像去模糊的关键。

本文首先根据图像模糊前后的直方图统计,提出一种简单有效的低值像素先验,同时设计深度卷积神经网络,学习图像的深度去噪先验,并联合梯度稀疏约束构建新的盲去模糊模型。图1所示为本文算法的整体框架。

3 本文方法

3.1 低值像素先验

经研究和大量实验验证,图像在模糊退化过程中低值像素受影响较大。图2为清晰图像和模糊图像的像素灰度直方图,不难发现,模糊图像低值像素部分的尖峰消失,即图像受模糊降质后,低值像素数量大幅减少,也就是说,模糊图像中低值像素表现出更大的稀疏性。因此,可将低值像素稀疏性用于图像去模糊。

采用零范数稀疏性度量构建图像低值像素稀疏性约束p_low(x):

\begin{matrix} p_{low} (x) = ‖ x - c_{peak} ‖_{0}, (5) \end{matrix}

图 1. 算法整体框架

Fig. 1. Whole framework of algorithm

下载图片查看所有图片

图 2. (a)清晰图像和(b)模糊图像的像素灰度直方图

Fig. 2. Pixel gray histograms of (a) clear image and (b) blurred image

下载图片查看所有图片

式中x表示原始清晰图像,c_peak为其直方图在低值像素部分的尖峰所对应的像素值,‖‖₀表示L₀范数。因无法从原始图像获得c_peak,可用下式代替:

\begin{matrix} p_{low} (x) = ‖ x - ω c_{\min} ‖_{0}, (6) \end{matrix}

式中c_min为观测图像的像素最小值,ω≥0为跟模糊程度相关的估计参数。

3.2 深度去噪先验

卷积神经网络继承了深度学习技术自动提取特征的优点,通过权值共享大大减少了所需要训练的参数,使卷积神经网络能快速处理图像,因而在图像去噪^[19]、去雨^[20]、去雾^[21-23]和超分辨率重建^[24]等领域发展迅速,并取得了不错的效果。文献[ 25]指出,图像噪声会严重影响图像去模糊的质量,甚至导致去模糊失败,而简单的图像降噪预处理会使部分模糊信息丢失,导致模糊核估计出现偏差。在去模糊过程中,若能有效抑制噪声,则可以大大提高图像去模糊的质量和效率。

卷积神经网络可有效用于图像去噪,其中文献[ 19]是当前先进的主流方法,但其提出的19层卷积神经网络结构复杂、训练耗时过长,不能直接应用于去模糊过程的多次迭代求解。本文设计7层深度卷积神经网络学习图像深度去噪先验,所提网络结构简单、易于训练、参数规模小、时间复杂度低,更适用于图像去模糊问题。所提出的去噪卷积神经网络(CNN_Denoiser)结构如图3所示。

第一层为输入层,输入一个含有噪声的图像。第二层到第六层为卷积层,其中包含三种卷积模块:1) Covn+ReUL模块,卷积层Covn包含72个大小为3×3×1的卷积核,再通过一个修正线性单元ReUL,ReUL作为激活函数用于非线性映射;2) Covn+Bnorm+ReUL模块,卷积层Covn包含64个大小为3×3×N的卷积核,N为上一卷积层包含的卷积核个数,通过一个批归一化处理层Bnorm加快网络收敛速度,提高训练效率,ReUL作为激活函数用于非线性映射;3) Covn模块,卷积层Covn包含1个大小为3×3×64的卷积核,作为输出层得到去噪图像。

图 3. 去噪深度卷积神经网络结构

Fig. 3. Structure of denoising deep convolution neural network

下载图片查看所有图片

用于训练该网络的损失函数L(Θ)设置为

\begin{matrix} L (Θ) = \frac{1}{2 N} \overset{N}{\sum_{i = 1}} ‖ f (y_{i}; Θ) - (y_{i} - x_{i}) ‖_{2}^{2}, (7) \end{matrix}

式中 $\begin{matrix} {\{(y_{i}, x_{i})\}}^{N}_{i = 1} \end{matrix}$ 表示N个噪声-清晰图像对,Θ表示网络参数。本文采用自适应矩估计(Adam)算法^[26]来优化网络参数,学习步长设置为1×e^-3,当训练误差连续5次小于设置的误差阈值时,则训练终止。Adam算法的其他参数设为默认值。选取伯克利图像分割数据集(BSD)中的400张180 pixel×180 pixel的清晰图像,分为40 pixel×40 pixel总共12800张图像块,再经过随机旋转,加噪产生204800个图像对作为训练的数据集。训练中批处理大小设置为256。大约每30 min进行一次迭代训练。

噪声图像经过卷积层获得一系列特征图,这些特征图经过非线性映射进入下一卷积层获得更深层次特征,最终输出去噪图像。文献[ 27]和文献[ 28]指出,可将基于卷积神经网络的图像去噪模型表示为

\begin{matrix} C_{NN_Denosier} (x, ξ) = \min_{x} \frac{1}{2} ‖ x - f ‖_{2}^{2} + ξ \cdot D_{enoiserCNN} (x), (8) \end{matrix}

式中等号右边第一项为保真项,第二项为卷积神经网络学习得到的深度去噪先验,f为噪声图像,x为去噪后图像,ξ为约束项参数。

表1所示为本文所设计的7层卷积神经网络和文献[ 19]设计的19层卷积神经网络峰值信噪比(PSNR)、结构相似性(SSIM)和时间复杂度对比。可以看出,在数据集BSD68、Classic5、Set12和Set14上,7层卷积神经网络仅仅牺牲了极少的去噪性能(0.017~0.025),却较文献[ 19]提出的19层卷积神经网络提速近百倍。这是将深度去噪卷积神经网络用于图像去模糊模型的关键。实验数据均经叠加均值为0、方差为25的高斯白噪声得到。

表 1. 去噪卷积神经网络性能和时间复杂度对比

Table 1. Comparison of performance and time complexity of denoising convolution neural networks

Dataset	PSNR /dB		SSIM		t /s
Dataset	Proposedmethod	Method inRef. [19]	Proposedmethod	Method inRef. [19]	Proposedmethod	Method inRef. [19]
BSD68	28.74	29.22	0.8035	0.8278	32	3606
Classic5	29.62	30.38	0.8042	0.8323	2	262
Set12	29.79	30.42	0.8381	0.8617	6	580
Set14	29.34	30.01	0.8099	0.8352	3	719

查看所有表

3.3 联合深度去噪先验图像去模糊模型

统计先验模型对图像特征表达不足,图像细节恢复能力有限,而目前基于先验学习的方法大多仅适用于特定应用场景。针对这些问题,本文结合低值像素先验和传统的梯度稀疏先验,并联合深度去噪先验,构造联合深度去噪先验图像去模糊模型:

\begin{matrix} \min_{x} ‖x \otimes k - B ‖_{2}^{2} + λ (σ ‖ x - ωc ‖_{0} + ‖ \nabla x ‖_{0}) + ρ \cdot D_{enoiserCNN} (x), (9) \end{matrix}

式中:第一项为数据保真项,第二项为统计先验约束项,第三项为深度去噪先验约束项,‖Ñx‖₀为梯度稀疏约束项,λ、σ和ρ为平衡各约束项的正则化参数。

4 基于结构层的模糊核估计

文献[ 29]指出,绝大部分的模糊信息存在于图像的结构层,图像的结构信息是模糊核估计的关键,细小的纹理和噪声会导致模糊核估计不准确。针对这一问题,文献[ 29]提出一种基于自适应强边缘提取的模糊核估计方法,但是该方法复杂且可能增强伪边缘。文献[ 30]提出了一种基于图像分层的算法来实现图像的压缩噪声去除。受此启发,本文在模糊核估计过程中,基于图像分解理论分离出结构层,在其结构层估计模糊核。

4.1 图像结构层提取

基于图像分解理论^[31],可将图像I分解为纹理层I_T和结构层I_S:

\begin{matrix} I = I_{S} + I_{T}, (10) \end{matrix}

结构层提取可通过求解以下最小化问题得到:

\begin{matrix} \begin{matrix} \min_{IS} \sum_{i} (I_{Si} - I_{i})^{2} + θ |\nabla (I_{Si})|, (11) \\ \sum_{i} |\nabla (I_{Si})| = \sum_{i} |\partial_{h} I_{Si}| + |\partial_{v} I_{Si}|, (12) \end{matrix} \end{matrix}

式中:i表示图像任意像素点的位置;θ是正则化系数;Ñ表示梯度算子;∂_h和∂_v分别表示水平和垂直差分。图4所示为某图像分解后的纹理层和结构层。

图 4. 图像纹理层与结构层。(a)原图;(b)纹理层;(c)结构层

Fig. 4. Texture layer and structure layer of image. (a) Original image; (b) texture layer; (c) structure layer

下载图片查看所有图片

4.2 模糊核估计

基于图像结构层的模糊核估计模型为

\begin{matrix} \begin{matrix} \min_{k} ‖\nabla I_{S} \otimes k - \nabla B ‖_{2}^{2} + γ ‖ k ‖_{2}^{2} \\ s . t . k (i) \geq 0, \sum_{i} k (i) = 1, (13) \end{matrix} \end{matrix}

式中:图像结构层I_S已有效剔除伪边缘、细小纹理和噪声等不利信息;约束项‖k $\begin{matrix} ‖_{2}^{2} \end{matrix}$ 可较好地保持模糊核的稀疏性和连续性;表示模糊核任意位置,γ为正则化参数。

5 模型求解

本文利用交替最小化和算子分裂技巧,把去模糊问题(9)式求解转化为4个子问题;对于模糊核估计问题(13)式,利用快速傅里叶变换(FFT)得到收敛解。所提求解方法适用于求解多个图像先验联合约束下的一般性图像复原问题。

5.1 联合深度去噪先验去模糊模型求解

首先,分别对应原变量x、x-ωc和Ñx引入辅助变量z、u和g,将(9)式转化为

\begin{matrix} \begin{matrix} \min_{x, u, g, z} ‖x \otimes k - B ‖_{2}^{2} + β ‖ x - u ‖_{2}^{2} + \\ μ ‖ \nabla x - g ‖_{2}^{2} + τ ‖ z - x ‖_{2}^{2} + \\ λ (σ ‖ u ‖_{0} + ‖ g ‖_{0}) + ρ \cdot D_{enoiserCNN} (z) 。 (14) \end{matrix} \end{matrix}

当β、μ和τ的值远大于λ和ρ时,(14)式的解逼近于(9)式的解。固定变量z、g和u,可利用FFT求解(14)式,得到x的闭合解:

\begin{matrix} x = F^{- 1} [\frac{\overset{(}{f} f (B) + βf (u) + τf (z) + μf (g)}{\overset{(}{f} f (k) + β + τ + μ \overset{(}{f} f (\nabla)}] 。 (15) \end{matrix}

固定变量x,可以分别求解z、g和u:

\begin{matrix} \begin{matrix} \min_{u} β ‖ x - u ‖_{2}^{2} + λσ ‖ u ‖_{0}, (16) \\ \min_{g} μ ‖ \nabla x - g ‖_{2}^{2} + λ ‖ g ‖_{0}, (17) \\ \min_{z} τ ‖ z - x ‖_{2}^{2} + ρ \cdot D_{enoiserCNN} (z) 。 (18) \end{matrix} \end{matrix}

(16)式和(17)式可以通过阈值收缩算法求解:

\begin{matrix} \begin{matrix} u = \{\begin{matrix} x - ωc, & {|x - ωc|}^{2} \geq \frac{λσ}{β} \\ 0, & else \end{matrix}, (19) \\ g = \{\begin{matrix} \nabla x, & {|\nabla x|}^{2} \geq \frac{λ}{μ} \\ 0, & else \end{matrix} 。 (20) \end{matrix} \end{matrix}

(18)式可以转换为

\begin{matrix} \begin{matrix} \min_{z} \frac{1}{2} ‖ z - x ‖_{2}^{2} + \\ \frac{1}{2} \sqrt[]{\frac{ρ}{τ}} \cdot D_{enoiserCNN} (z) 。 (21) \end{matrix} \end{matrix}

不难发现,(21)式的形式与(8)式等号右侧的形式相同,相当于利用卷积神经网络得到的深度去噪先验对图像进行去噪。因此,变量z的更新可由去噪网络完成:

\begin{matrix} z = C_{NN_Denosier} (x, \frac{1}{2} \sqrt[]{\frac{ρ}{τ}}) 。 (22) \end{matrix}

去模糊模型(9)式的迭代求解算法如表2所示。

表 2. 图像去模糊模型迭代求解步骤

Table 2. Iterative algorithm for image deblurring

input: blur image B and blur kernel k
I ←B,β ←2λσrepeat: solve for u using Eq. (21)μ ←2λ repeat: solve for g using Eq. (22) solve for z using Eq. (23) solve for x using Eq. (17)μ ←2μ until μ>μ_maxβ ←2βuntil β>β_maxoutput:internediate latent image x→I

查看所有表

5.2 模糊核估计

固定图像I,由图像分解方法得到其结构层I_S,直接对(14)式求导得到闭合解,由FFT得到模糊核k:

\begin{matrix} k = f^{- 1} [\frac{\overset{(\partial_{x} I_{S})}{f} f (\partial_{x} B) + \overset{(\partial_{y} I_{S})}{f} f (\partial_{y} B)}{f {(\partial_{x} I_{S})}^{2} + f {(\partial_{y} I_{S})}^{2} + γ}] 。 (23) \end{matrix}

模糊核迭代求解的算法流程如表3所示。

表 3. 模糊核估计的迭代求解步骤

Table 3. Iterative algorithm for blur kernel estimation

input: blur image B
initialize I and k with the results from the coarser level;for j=1→5 dosolve for I_S using Eq. (11)solve for k using Eq. (23)solve x→I using iterative algorithm in table 1λ←max $\begin{matrix} \{λ / 1.1,1 \times e^{- 4}\} \end{matrix}$ end foroutput:blur kernel k and internediate latent image x

查看所有表

6 实验与结果分析

为了验证本文去模糊模型、模糊核估计及求解算法的有效性,从主观效果和客观评价指标两方面与目前的主流算法进行对比。对比算法包括:快速运动去模糊算法^[32]、基于显著边缘和低秩先验的图像盲去模糊算法^[33]、基于暗通道先验的去模糊算法^[16]、高质量运动去模糊算法^[7],以及边际似然优化盲反卷积算法^[34]。参考上述文献的参数设置方法,以及大量实验验证,最终选取最优参数初始值:λ=0.004,σ=1,ρ=1,ω=1,τ=1,θ=0.2,γ=2,β_max=2³,μ_max=1×e⁵。所有实验均在Matlab R2016b上运行,Windows 10系统,CPU主频为3.2 GHz,内存为8 GB。

6.1 主观效果对比

为了直观、全面地比较各算法性能,本文从相关文献常用的测试图像中选取了5幅不同类型的图像(包括模糊图像ECCV、Cartoon、Flower、Girl、Roma)进行去模糊实验,图5为本文算法与几种主流算法的去模糊效果对比图。

图 5. 各算法去模糊结果。(a)模糊图像;(b)文献[ 7]算法;(c)文献[ 33]算法;(d)文献[ 16]算法;(e)本文算法

Fig. 5. Deblur results of different algorithms. (a) Blur images; (b) method in Ref. [7]; (c) method in Ref. [33]; (d) method in Ref. [16]; (e) proposed method

下载图片查看所有图片

图5(a)~(e)分别为原始模糊图像、高质量运动去模糊算法(包括去模糊图像及模糊核)、基于显著边缘与低秩先验的去模糊算法、基于暗通道先验的去模糊算法以及本文算法的去模糊结果。

由图5可知:文献[ 7]算法可较好地恢复图像边缘与细节,但是会引入严重的噪声,图像复原质量不佳;文献[ 33]算法虽然能够恢复边缘和纹理,但是振铃效应明显,且对文本图像去模糊效果很差;文献[ 16]算法能够较准确地估计模糊核,但恢复图像的边缘和细节模糊,存在块效应和像素化现象;而本文算法估计出的模糊核精度更高,形状和轮廓更加清晰,所复原图像纹理清晰、细节丰富,且不存在振铃效应和噪声伪影等。

6.2 客观性能指标对比

为了进一步验证本文算法性能,计算并比较了各算法图像复原前后的PSNR。利用文献[ 35]给出的测试数据,选取如图6所示的4幅不同类型的图(依次为男孩、桥、画、人脸),每幅图像经4种运动模糊[模糊核如图7(a)所示,模糊核尺寸分别为19×19、17×17、15×15、13×13]后,共得到16幅模糊图像。各方法得到的PSNR结果如表4所示。并以图6(a)男孩为例,给出各方法对4种模糊核的估计结果。图7(a)~(f)分别为真实模糊核,以及文献[ 34]方法、文献[ 16]方法、文献[ 7]方法、文献[ 32]方法和本文方法模糊核估计结果。

图 6. 清晰图像。(a)男孩;(b)桥;(c)画;(d)人脸

Fig. 6. Clear images. (a) Boys; (b) bridge; (c) paint; (d) face

下载图片查看所有图片

图 7. 模糊核估计。(a)真实模糊核;(b)文献[ 16]算法;(c)文献[ 7]算法;(d)文献[ 32]算法;(e)文献[ 34]算法;(f)本文算法

Fig. 7. Blur kernel estimation of different algorithms. (a) True blur kernel; (b) method in Ref. [16]; (c) method in Ref. [7]; (d) method in Ref. [32]; (e) method in Ref. [34]; (f) proposed method

下载图片查看所有图片

由表4及图7可以看出,相对于其他几种方法,本文算法所估计的模糊核更加精确,而且取得了相对更高的PSNR值,算法总体性能最佳。

表5所示为不同算法的时间复杂度对比。文献[ 16]算法引入了暗通道先验约束,计算暗通道也增加了部分时间开销。文献[ 33]算法引入了低秩先验和自适应强边缘提取,求解过程中需要对图像进行奇异值分解,大大增加了算法的时间复杂度,运行时间远超其他算法。本文去模糊模型虽然引入了深度去噪先验,但所设计的7层深度卷积神经网络结构简单,避免了复杂的参数优化过程,在时间复杂度上要优于其他算法。

表 4. 各算法的PSNR值

Table 4. PSNR results of different algorithmsdB

Blur	Image	Method inRef. [16]	Method inRef. [7]	Method Ref. [32]	Method inRef. [34]	Proposedmethod
1	Boys	25.71	24.74	27.11	25.30	30.00
	Bridge	27.74	24.72	24.49	18.97	27.72
	Paint	26.46	23.40	25.10	23.00	29.99
	Face	24.14	25.90	26.36	26.38	29.09
2	Boys	31.21	25.42	28.67	22.79	33.23
	Bridge	28.31	26.41	28.79	20.16	29.40
	Paint	30.99	25.62	28.57	24.79	31.99
	Face	27.80	26.05	28.82	23.64	30.31
3	Boys	27.03	24.22	25.87	18.90	30.84
	Bridge	26.24	22.49	23.48	21.77	28.11
	Paint	22.38	23.76	25.86	18.52	28.46
	Face	24.11	26.60	25.49	25.95	25.83
4	Boys	30.75	26.24	29.03	23.08	32.38
	Bridge	23.39	25.18	26.22	25.64	28.33
	Paint	26.89	25.52	25.98	33.05	30.46
	Face	25.64	23.71	24.79	22.58	29.52

查看所有表

表 5. 各算法的时间复杂度

Table 5. Time complexity of different algorithmss

Image	Image size /(pixel×pixel)	Blur kernelsize /(pixel×pixel)	Method inRef. [16]	Method inRef. [33]	Method inRef. [34]	Proposedmethod
ECCV	123×126	27×27	101	199	168	30
Roma	593×417	35×35	819	2938	792	138
Cartoon	612×442	19×19	726	2880	249	168
Flower	900×896	35×35	2909	8643	1921	358

查看所有表

7 结论

提出了一种联合深度去噪先验图像盲去模糊算法,广泛适用于各类型模糊图像复原。将统计先验(低值像素先验和传统梯度稀疏先验)与深度卷积神经网络学习得到的深度去噪先验相结合,构造了联合深度去噪先验图像去模糊模型。为了剔除不利于模糊核估计的细小纹理、伪边缘和噪声等,提出了基于图像结构层的模糊核估计方法。选取多幅不同种类的模糊图像,从主观和客观两方面对算法进行了比较。实验表明,本文算法能够在有效抑制噪声的同时,恢复更多的图像边缘、纹理等细节信息,大大改善了复原图像质量。不仅对自然图像,本文算法对文本图像、人脸图像等也有很好的去模糊效果。

参考文献

[1] Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787-794.

[2] KoteraJ, ŠroubekF, MilanfarP. Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors[C]∥International Conference on Computer Analysis of Images and Patterns, 2013: 59- 66.

[3] KrishnanD, TayT, FergusR. Blind deconvolution using a normalized sparsity measure[C]∥2011 IEEE Conference on Computer Vision and Pattern Recognition, 2011: 233- 240.

[4] XuL, ZhengS, JiaJ. Unnatural l0 sparse representation for natural image deblurring[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013: 1107- 1114.

[5] MichaeliT, IraniM. Blind deblurring using internal patch recurrence[C]∥European Conference on Computer Vision, 2014: 783- 798.

[6] Pan J S, Hu Z, Su Z X, et al. L0-regularized intensity and gradient prior for deblurring text images and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 342-355.

[7] Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 73.

[8] Krishnan D, Fergus R. Fast image deconvolution using hyper-Laplacian priors[J]. Advances in Neural Information Processing Systems, 2009: 1033-1041.

[9] 杨爱萍, 张越, 王金斌, 等. 基于原始-对偶算法的自适应加权广义全变差图像去模糊[J]. 激光与光电子学进展, 2018, 55(4): 041003.

Yang A P, Zhang Y, Wang J B, et al. Adaptive weighted generalized total variation image deblurring based on primal-dual algorithm[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041003.

[10] 苏畅, 付天骄, 张星祥, 等. 基于能量约束的自适应加权图像盲复原算法[J]. 光学学报, 2018, 38(2): 0210001.

Su C, Fu T J, Zhang X X, et al. Adaptively-weighted blind image restoration algorithm based on energy constraint[J]. Acta Optica Sinica, 2018, 38(2): 0210001.

[11] Schuler C J, Hirsch M, Harmeling S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2016, 38(7): 1439-1451.

[12] XuL, Ren J S J, Liu C, et al. Deep convolutional neural network for image deconvolution[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014: 1790- 1798.

[13] SuS, DelbracioM, WangJ, et al. Deep video deblurring for hand-held cameras[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1279- 1288.

[14] KimY, JungH, MinD, et al. Deeply aggregated alternating minimization for image restoration[C]∥IEEE International Conference on Computer Vision and Pattern Recognition, 2017: 284- 292.

[15] NahS, Kim TH, Lee KM. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]∥Conference on Computer Vision and Pattern Recognition, 2017: 3883- 3891.

[16] Pan J, Sun D, Pfister H, et al. Deblurring images via dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 1.

[17] Fu X, Lin Q, Guo W, et al. Single image dehaze under non-uniform illumination using bright channel prior[J]. Journal of Theoretical & Applied Information Technology, 2013, 48(3): 1843-1848.

[18] YanY, RenW, GuoY, et al. Image deblurring via extreme channels prior[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4003- 4011.

[19] Zhang K, Zuo W M, Chen Y J, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.

[20] Fu X Y, Huang J B, Ding X H, et al. Clearing the skies: a deep network architecture for single-image rain removal[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2944-2956.

[21] RenW, LiuS, ZhangH, et al. Single image dehazing via multi-scale convolutional neural networks[C]∥European Conference on Computer Vision, 2016: 154- 169.

[22] Cai B L, Xu X M, Jia K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[23] ZhuC, ZhouY, XieZ. A pixel-to-pixel convolutional neural network for single image dehazing[C]∥International Conference on Neural Information Processing, 2017: 270- 279.

[24] WangZ, LiuD, YangJ, et al. Deep networks for image super-resolution with sparse prior[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2015: 370- 378.

[25] ZhongL, ChoS, MetaxasD, et al. Handling noise in single image deblurring using directional filters[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013: 612- 619.

[26] Kingma DP, BaJ. Adam: a method for stochastic optimization[C]∥Proceedings of the 3rd International Conference on Learning Representations ( ICLR 2015), 2015.

[27] ZhangK, ZuoW, GuS, et al. Learning deep CNN denoiser prior for image restoration[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 2808- 2817.

[28] Ulyanov D, Vedaldi A, Lempitsky V. Deep image prior[J]. arXiv, 2017, 1711: 10925.

[29] Pan J S, Liu R S, Su Z X, et al. Kernel estimation from salient structure for robust motion deblurring[J]. Signal Processing: Image Communication, 2013, 28(9): 1156-1170.

[30] LiY, GuoF, Tan RT, et al. A contrast enhancement framework with JPEG artifacts suppression[C]∥European Conference on Computer Vision, 2014: 174- 188.

[31] Xu L, Yan Q, Xia Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139.

[32] Cho S, Lee S. Fast motion deblurring[J]. ACM Transactions on Graphics, 2009, 28(5): 1-8.

[33] Dong J X, Pan J S, Su Z X. Blur kernel estimation via salient edges and low rank prior for blind image deblurring[J]. Signal Processing: Image Communication, 2017, 58: 134-145.

[34] LevinA, WeissY, DurandF, et al. Efficient marginal likelihood optimization in blind deconvolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2011: 2657- 2664.

[35] Levin A, Weiss Y, Durand F, et al. Understanding blind deconvolution algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2354-2367.

杨爱萍, 王金斌, 杨炳旺, 何宇清. 联合深度去噪先验图像盲去模糊[J]. 光学学报, 2018, 38(10): 1010003. Aiping Yang, Jinbin Wang, Bingwang Yang, Yuqing He. Joint Deep Denoising Prior for Image Blind Deblurring[J]. Acta Optica Sinica, 2018, 38(10): 1010003.

联合深度去噪先验图像盲去模糊 下载： 1104次

1 引言

2 基于统计先验的图像去模糊

3 本文方法

3.1 低值像素先验

图 1. 算法整体框架

Fig. 1. Whole framework of algorithm

图 2. (a)清晰图像和(b)模糊图像的像素灰度直方图

Fig. 2. Pixel gray histograms of (a) clear image and (b) blurred image

3.2 深度去噪先验

图 3. 去噪深度卷积神经网络结构

Fig. 3. Structure of denoising deep convolution neural network

表 1. 去噪卷积神经网络性能和时间复杂度对比

Table 1. Comparison of performance and time complexity of denoising convolution neural networks

3.3 联合深度去噪先验图像去模糊模型

4 基于结构层的模糊核估计

4.1 图像结构层提取

图 4. 图像纹理层与结构层。(a)原图;(b)纹理层;(c)结构层

Fig. 4. Texture layer and structure layer of image. (a) Original image; (b) texture layer; (c) structure layer

4.2 模糊核估计

5 模型求解

5.1 联合深度去噪先验去模糊模型求解

表 2. 图像去模糊模型迭代求解步骤

Table 2. Iterative algorithm for image deblurring

5.2 模糊核估计

表 3. 模糊核估计的迭代求解步骤

Table 3. Iterative algorithm for blur kernel estimation

6 实验与结果分析

6.1 主观效果对比

图 5. 各算法去模糊结果。(a)模糊图像;(b)文献[ 7]算法;(c)文献[ 33]算法;(d)文献[ 16]算法;(e)本文算法

Fig. 5. Deblur results of different algorithms. (a) Blur images; (b) method in Ref. [7]; (c) method in Ref. [33]; (d) method in Ref. [16]; (e) proposed method

6.2 客观性能指标对比

图 6. 清晰图像。(a)男孩;(b)桥;(c)画;(d)人脸

Fig. 6. Clear images. (a) Boys; (b) bridge; (c) paint; (d) face

图 7. 模糊核估计。(a)真实模糊核;(b)文献[ 16]算法;(c)文献[ 7]算法;(d)文献[ 32]算法;(e)文献[ 34]算法;(f)本文算法

Fig. 7. Blur kernel estimation of different algorithms. (a) True blur kernel; (b) method in Ref. [16]; (c) method in Ref. [7]; (d) method in Ref. [32]; (e) method in Ref. [34]; (f) proposed method

表 4. 各算法的PSNR值

Table 4. PSNR results of different algorithmsdB

表 5. 各算法的时间复杂度

Table 5. Time complexity of different algorithmss

7 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

联合深度去噪先验图像盲去模糊下载： 1104次