基于拉普拉斯算子先验项的水下图像复原

李景明; 侯国家; 潘振宽; 刘玉海; 赵馨; 王国栋

doi:doi:10.3788/LOP57.161026

激光与光电子学进展, 2020, 57 (16): 161026, 网络出版: 2020-08-05

基于拉普拉斯算子先验项的水下图像复原下载： 1256次

Underwater Image Restoration Based on a Laplace Operator Prior Term

论文大纲

李景明 ¹侯国家 ^1,*潘振宽 ¹刘玉海 ²赵馨 ¹王国栋 ¹

作者单位

¹ 青岛大学计算机科学与技术学院, 山东青岛 266071

² 中科曙光国际信息产业有限公司, 山东青岛 266101

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

由于水体及水中的悬浮粒子对光的吸收和散射作用,水下观测到的图像呈现出模糊、对比度低、噪声严重等问题,加大了水下图像分析与理解的难度。为了克服这些缺陷,以水下光学成像模型为基础,提出了一种基于拉普拉斯算子先验项的,可同时去雾、去噪的快速变分复原方法。首先,根据水下光学成像模型设计变分模型的数据项和规则项,对拟恢复图像采用拉普拉斯算子先验项作为变分能量方程的规则项。然后,采用改进后的红通道先验估计得到全局背景光,结合红通道先验估计得到每个通道的透射率图。为进一步提高计算效率,引入交替方向乘子法(ADMM)对所提出的模型进行交替优化迭代求解。实验结果表明,该算法能有效地去除水雾,抑制水下图像的噪声,提高图像的对比度和清晰度。

Abstract

Images captured underwater often suffer from haze, noise, and low contrast owing to the absorption and scattering of water and suspended particles, making it difficult for analysis and understanding. To overcome these limitations, combined with an underwater optical image formation model, a fast variational approach based on a Laplace operator prior term is proposed herein to simultaneously perform dehazing and denoising. Based on the underwater optical image formation model, the data and regular items of the unified variational model are designed, wherein the Laplacian operator prior term is adopted as the regular term. The prior estimation of the improved red channel and the underwater red channel are used to obtain the global background light and the transmission map, respectively. To further accelerate the whole progress, a fast alternating direction multiplier method (ADMM) is introduced to solve the energy function. Our proposed variational method based on the Laplace operator prior term is executed on a set of representative real underwater images, demonstrating that it can successfully remove haze, suppress noise, and improve contrast and visibility.

1 引言

水下图像在海洋环境、工业、**领域有着广泛的应用,但是由于水下光照吸收、散射以及水下悬浮粒子的影响,水下图像普遍存在清晰度差、对比度低、噪声严重等问题。质量发生退化的水下图像应用于水下图像识别和理解时,往往会影响相关应用的准确性。因此,利用图像处理技术,对水下质量退化图像进行清晰化复原处理,提升水下图像的质量,已经成为近几年研究的热点。

目前,水下图像处理方法大致可分为图像增强和图像复原两大类。水下增强方法包括亮通道色彩补偿与融合^[1]和多尺度Retinex^[2]等,此类方法是使用客观衡量标准来提升水下图像质量,未考虑水下成像的物理过程,不适用于具有不同物理特性的水下成像,并且在增强过程中可能会导致噪声更加明显。水下图像复原方法是依赖水下成像模型,并考虑水体光学参数、相机参数、水体点扩展函数及景物距离等信息对水下成像的影响,最后通过逆向求解得到清晰的水下图像。由于大气雾天图像成像模型与水下图像成像模型极为相似,暗通道先验(DCP)方法^[3]在复原方法中被广泛使用。但是由于不同波长的光在水下的衰减系数是不同的,直接将DCP算法应用于水下图像复原时,并不能达到预期的效果。Li等^[4-5]使用改进后的暗通道方法来估计透射率图和背景光,优化了去雾效果。徐岩等^[6]基于由改进暗通道估计的透射率图和背景光,采用逆滤波去除前向散射分量,采用高斯线性拉伸提升了视觉效果。蔡晨东等^[7]基于场景深度进行背景光的估计,并通过白平衡校正颜色,但基于场景深度的估计存在误差,会影响水下图像的复原效果。Peng等^[8]使用图像模糊和光吸收来估计透射率图并改进了背景光的估计,优化了复原效果。但是这些水下复原方法大多数只考虑透射率图和背景光的估计,忽略了水下图像中的大量噪声和边缘对复原结果的影响,故可能会加重图像的噪声,甚至破坏图像原有的边缘信息。

近年来,以偏微分方程、微分几何为基础的变分法在图像处理方面,特别在图像去噪、分割、配准、抠图以及修复等方面有着广泛并出色的应用。Tikhonov 模型^[9]为变分图像处理提供了理论基础。Rudin 等^[10]在1992年对Tikhonov 模型进行改进,提出TV模型,即将规则项改为TV项,此模型改善了图像去噪效果,但是计算效率也随之降低。2003年,Kimmel等^[11]提出了变分Retinex模型,将图像分解成反射与光照两部分,通过求解能量泛函得到各分量的值。该模型提出后,Ng等^[12]提出了基于TV规则项的全变分Retinex (TV-R) 模型。Fang等^[13]使用TV项建立变分模型,对大气含雾图像进行复原,但因TV项容易产生阶梯效应,在扩散噪声的同时破坏了图像纹理信息。Liang等^[14]通过将模型中的低阶项替换为高阶项,解决了阶梯效应,优化了图像的边缘细节。Pu等^[15]在引入非局部算子的同时,将规则项的次数由整数阶改为分数阶,提出了一种新的分数阶变分框架方法。

本文结合海洋光学理论,针对光在水下的传播特点,根据红通道先验去雾的理论,运用变分方法描述水下图像复原模型,提出一种新的自然光照条件下的水下图像变分复原方法,在解决水下图像的雾化和噪声等问题的同时能够增强对比度。主要工作包括:根据水下光学成像模型建立水下图像复原变分模型;利用红通道先验算法准确估计透射率图和背景光;使用拉普拉斯算子重建模型的规则项,并使用交替方向乘子法(ADMM)^[16]解决由模型产生的非光滑优化问题。

2 本文算法

2.1 基于拉普拉斯算子的变分复原模型

自然光照条件下的水下光学成像模型可以表示为

I (x, y) = t (x, y) \times J (x, y) + [1 - t (x, y) \times B], (1)

式中:I(x,y)为获取的水下图像;t(x,y)为各个通道的透射率图;J(x,y)为未经退化的水下图像;B为环境背景光。基于Fang等^[13]的雾天图像复原变分模型,对 (1) 式进行变形:s=ln(B-J),r=ln $(\frac{1}{t})$ ,l=ln(B-I)。根据光在水中传播具有红、蓝、绿3种颜色的衰减比例不同(红色最大,蓝、绿色次之),与雾天图像的成像过程存在区别的特点,添加约束项 ${|s - s_{0}|}^{2}$ 来调节水下图像的颜色失真,由此建立水下图像复原变分能量方程,即

\begin{array}{l} E (s) = argmin (α \int_{Ω} |Δ r| d x + β \int_{Ω} |\nabla s| d x + \\ \frac{μ}{2} \int_{Ω} {|r - r_{0}|}^{2} d x + \frac{θ}{2} \int_{Ω} {|s - s_{0}|}^{2} d x + \frac{1}{2} \int_{Ω} {|s - l - r|}^{2} d x), (2) \end{array}

式中:Ω为具有光滑边界的二维图像空间的开放域子集;拉普拉斯项 $|Δ r|$ 能够在去除噪声的同时保持水下图像的边缘,并通过添加约束 ${|r - r_{0}|}^{2}$ 来控制迭代过程中r与初始值r₀的关系,其中r₀为r的初始值,本研究将退化图像透射率图的倒数作为r₀的初始值;μ为非负参数,用于控制两者的相似程度,μ∈[0.8,1.5],能够适应各种水下场景;α为拉普拉斯项的系数,用于控制模型的保持边缘细节的程度,通常取经验值α∈[1,10];β为TV项的系数,用于控制去噪程度,通常取经验值β∈[1,10];约束项 ${|s - s_{0}|}^{2}$ 用于调节迭代过程中s与初始值s₀的关系;θ为非负参数,用于控制s与s₀的相似程度,通常取θ∈[0.7,1.6]。本研究将拉伸后的s作为s₀的值,即

s_{0} = \ln [B - (s - c) \times (b - a) / (d - c) + a], (3)

其中a为拉伸的下限,b为拉伸的上限,c为图像中最暗的像素值,d为图像中最亮的像素值。

2.2 背景光与透射率图的估计

背景光估计的准确度会直接影响水下图像复原结果的好坏。自适应红通道先验(ARC)算法^[17]考虑了水下3个通道衰减系数之间的关系,用饱和度来描述水下图像的高强度像素,基于绿色、蓝色和反转红色通道的方法来估计背景光,其中饱和度及红通道估计被定义为

\begin{array}{l} ξ (t) = \frac{\max (I^{R}, I^{G}, I^{B}) - \min (I^{R}, I^{G}, I^{B})}{\max (I^{R}, I^{G}, I^{B})}, (4) \\ J^{R ⁃ Sat} (x) = \min {\min_{y \in Ω (x)} [1 - J^{R} (y)], \min_{y \in Ω (x)} [J^{G} (y)], \\ \min_{y \in Ω (x)} [J^{B} (y)], \min_{y \in Ω (x)} [ξ (y)]} \equiv 0 。 (5) \end{array}

为了确保背景光估计的准确性,根据 (5) 式计算出原始图像I的红通道图I^R,将(I^R,I^G,I^B) 3层通道中的所有像素值从大到小排序,分别计算前0.1%的像素值对应的点坐标,再根据点的坐标在3个通道内找到对应的像素值,将区域内计算出来的像素平均值作为不同通道的背景光值:

B_{λ} = \max_{x \in I} [\min_{y \in Ω (x)} I_{λ} (y)], λ \in {R, G, B} 。 (6)

由于求解水下图像成像模型时会产生信息缺失,信息缺失量与透射率t成反比^[4],且红色通道的衰减系数最大,故通过先验估计红通道透射率图能够减少信息的损失。根据红通道先验,求得红通道的透射率图,即

\begin{array}{l} t^{R} (x) = 1 - \min [\frac{\min_{y \in Ω (x)} [1 - I^{R} (y)]}{1 - B_{R}}, \\ \frac{\min_{y \in Ω (x)} [I^{G} (y)]}{B_{G}}, \frac{\min_{y \in Ω (x)} [I^{B} (y)]}{B_{B}}, \min_{y \in Ω (x)} ξ (y)] 。 (7) \end{array}

水下图像不同通道的透射率图的衰减系数与波长的关系^[18]可以表示为

\frac{β^{k}}{β^{R}} = \frac{β^{R} (m λ^{k} + i)}{B^{k} (m λ^{R} + i)}, k \in {G, B}, (8)

其中λ^c(c∈{R,G,B})代表红光、绿光、蓝光的波长,m=-0.00113,i=1.62517。根据预估的红通道透射率图和衰减系数的比值,对绿、蓝通道的透射率图进行重新估计,得

t^{k} (x) = t^{R} {(x)}^{\frac{β^{k}}{β^{R}}}, k \in {G, B} 。 (9)

选择3幅水下图像,通过(7)式求出它们各自的红通道透射率图,如图1所示,其中图1(a)~(c)为3幅退化的水下图像,图1(d)~(f)为通过红通道先验方法估计的红通道透射率图和估计的背景光值。

图 1. 水下退化图像及透射率图。(a)~(c)水下退化图像;(d)~(f)红通道透射率图像和背景光值

Fig. 1. Degraded underwater images and transmission maps. (a)-(c) Degraded underwater images; (d)-(f) transmission maps for red channel and the value of background light

下载图片查看所有图片

2.3 变分复原模型的ADMM算法

目前对于能量泛函的求解方法大致包含分裂Bregman算法、增广Lagrangian算法和交替方向乘子法(ADMM),根据拉普拉斯项算子的迭代模式,使用ADMM算法^[16]对所提出的变分模型进行离散数值化求解,以提高其收敛速度,求解过程如下:

1) 引入辅助变量p,v,w,分别对Ñr、Δr、Ñs进行替换,按照ADMM求解方法进行赋值,能量方程(2)式转化为

\begin{array}{l} E {(r, s, p, v, w)}^{T} = argmin {α \int_{Ω} |v| d x + β \int_{Ω} |w| d x + \frac{μ}{2} \int_{Ω} {|r - r_{0}|}^{2} d x + \int_{Ω} σ_{1} |v - \nabla p| d x + \\ \frac{μ_{1}}{2} \int_{Ω} {|v - \nabla p|}^{2} d x + \int_{Ω} σ_{2} |p - \nabla r| d x + \frac{μ_{2}}{2} \int_{Ω} {|p - \nabla r|}^{2} d x + \int_{Ω} σ_{3} |w - \nabla s| d x + \frac{μ_{3}}{2} + \\ \frac{θ}{2} \int_{Ω} {|s - s_{0}|}^{2} d x + \frac{1}{2} \int_{Ω} {|s - l - r|}^{2} d x + \int_{Ω} {|w - \nabla s|}^{2} d x}, (10) \end{array}

式中:α,β是非负的惩罚参数;σ₁,σ₂,σ₃是拉格朗日乘子。

2) 求解r,s,p,v,w。

(1)固定s,p,v,w求解r,关于r的Euler-Lagrange方程为

\begin{array}{l} r_{i, j}^{k + 1} = \frac{s^{k} - l^{k} - \nabla σ_{2}^{k} - μ_{2} \nabla p^{k} + μ_{2} R^{k} + μ r_{0}}{1 + 4 μ_{2} + μ}, (11) \\ R^{k} = r_{i + 1, j}^{k} (x) + r_{i - 1, j}^{k} (x) + r_{i, j + 1}^{k} (x) + \\ r_{i, j - 1}^{k} (x) - 4 r_{i, j}^{k} (x) 。 (12) \end{array}

(2)固定r,p,v,w求解s,关于s的Euler-Lagrange方程为

\begin{array}{l} s^{k + 1} = \frac{μ_{5} S + r + l - \nabla σ_{3}^{k} - μ_{3} \nabla w + θ s_{0}}{1 + θ + 4 μ_{3}}, (13) \\ S = s_{i + 1, j}^{k} + s_{i - 1, j}^{k} + s_{i, j + 1}^{k} + s_{i, j - 1}^{k} - 4 s_{i, j}^{k} 。 (14) \end{array}

(3)固定r,s,v,w求解p,关于p的Euler-Lagrange方程为

\begin{array}{l} p_{1}^{k + 1} = \frac{P_{1} + μ_{2} (\nabla r_{x}) - σ_{21} - \frac{\partial σ_{1}}{\partial x} - μ_{1} (\frac{\partial v}{\partial x})}{2 μ_{1} + μ_{2}}, (15) \\ p_{2}^{k + 1} = \frac{P_{2} + μ_{2} (\nabla r_{y}) - σ_{22} - \frac{\partial σ_{1}}{\partial y} - μ_{1} (\frac{\partial v}{\partial y})}{2 μ_{1} + μ_{2}}, (16) \\ P_{1} = μ_{1} (p_{1_{i + 1, j}}^{k} + p_{1_{i - 1, j}}^{k}) + \\ \frac{μ_{1}}{4} (p_{2_{i + 1, j + 1}}^{k} + p_{2_{i - 1, j - 1}}^{k} - p_{2_{i + 1, j - 1}}^{k} - p_{2_{i - 1, j + 1}}^{k}), (17) \\ P_{2} = μ_{1} (p_{2_{i, j + 1}}^{k} + p_{2_{i, j - 1}}^{k}) + \frac{μ_{1}}{4} (p_{1_{i + 1, j + 1}}^{k} + p_{1_{i - 1, j - 1}}^{k} - p_{1_{i + 1, j - 1}}^{k} - p_{1_{i - 1, j + 1}}^{k}) 。 (18) \end{array}

(4)固定r,s,p,w求解v,对变量v使用广义软阈值公式求解,得到解析解的计算机表达形式为

v^{k + 1} = \max (||\nabla p^{k}| - \frac{σ_{1}^{k}}{μ_{1}}| - \frac{α}{μ}, 0) \frac{\nabla p^{k}}{|\nabla p^{k}|} 。 (19)

(5)固定r,s,p,v求解w,对变量w使用广义软阈值公式求解,得到解析解的计算机表达形式为

w^{k + 1} = \max (||\nabla s^{k}| - \frac{σ_{3}^{k}}{μ_{3}}| - \frac{β}{μ_{3}}, 0) \frac{\nabla s^{k}}{|\nabla s^{k}|} 。 (20)

3) 对拉格朗日乘子σ₁,σ₂,σ₃进行更新:

\{\begin{array}{l} σ_{1}^{k + 1} = σ_{1}^{k} + μ_{1} (v - \nabla p) \\ σ_{2}^{k + 1} = σ_{2}^{k} + μ_{2} (p - \nabla r) \\ σ_{3}^{k + 1} = σ_{3}^{k} + μ_{3} (w + \nabla s) \end{array} 。 (21)

3 实验结果与分析

3.1 主观效果对比

为了验证本文算法的有效性,将本文算法与水下暗通道先验算法(UDCP)、基于波长补偿和去雾算法(WCID)^[5]、自适应红通道先验算法(ARC)^[17]以及基于DEHAZANET和HWD算法(UIDE)^[19]等常用的水下图像复原方法进行了大量的对比实验。选取4组退化图像,分别为水下不同场景环境中拍摄得到的石像、潜水员、鱼头和鲳鱼图像,如图2~5所示。其中图2(a)是水下原始图像,图2(b)是采用UDCP处理后的效果图,图2(c)是采用WCID处理后的效果图,图2(d)是采用ARC处理后的效果图,图2(e)是采用UIDE处理后的效果图,图2(f)是本文算法处理后的效果图。

图 2. 石像图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 2. Comparison results on stone statue image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

下载图片查看所有图片

图2表明:UDCP、WCID、ARC算法处理后的图像色偏严重,对比度低;UIDE算法对色偏的改善效果比较明显,但整幅图像颜色偏白、清晰度下降;本文算法通过添加约束项 ${|s - s_{0}|}^{2}$ ,明显改善了图像的色偏问题,提升了图像的对比度与清晰度。由此证实本文算法的有效性。

图3表明:UDCP算法对图像的清晰度提升较大,但图像整体颜色偏暗,影响了图像的理解与分析;WCID与ARC算法并不能很好地复原场景;本文算法与UIDE算法相比不仅能够改善图像的色偏问题,而且拉普拉斯算子能够很好地提升图像的对比度与清晰度,复原后的图像更加自然。

图4表明:WCID算法没有很好地复原图像背景中石子区域;UDCP算法与WCID算法的效果图颜色较深,不能很好地体现图像的细节;ARC算法对于图像的复原效果并不明显;UIDE算法对图像处理过度,部分区域曝光严重;本文算法的约束项能够改善图像色彩与对比度,规则项则可以控制图像的曝光程度,提升了图像的质量。

图 3. 潜水员图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 3. Comparison results on diver image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

下载图片查看所有图片

图 4. 鱼头图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 4. Comparison results on fish image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

下载图片查看所有图片

图 5. 鲳鱼图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 5. Comparisons results on pomfret image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

下载图片查看所有图片

图5表明:UDCP算法处理后的效果图颜色偏深,会影响我们对图像细节的观察;WCID算法处理后的效果图在鱼群区域出现大片红色噪声;ARC算法处理后的效果图偏蓝;UIDE算法改善了图像的光照条件,但是鱼群区域颜色过深,会影响我们对鱼群区域的观测;本文算法效果图使用约束项改善图像亮度的同时提升了对比度、清晰度,有利于图像的观察与分析。

基于水下光学成像模型的复原方法能够有效地去除水下图像的水雾,而变分模型能够有效地抑制图像噪声。本文算法基于水下光学成像模型构建的水下图像复原变分模型,融合水下图像复原的去雾和变分模型,通过引入拉普拉斯算子来提升模型的抑制噪声,保持图像边缘效果,通过添加多组约束项来控制水下图像的色彩和对比度。通过以上4组主观对比实验表明,本文算法相较于其他4种水下图像复原算法能够更好地改善图像色彩失真,提升对比度、清晰度,其复原图像更加自然。

3.2 客观指标对比

为了进一步验证本文算法的性能,实验选用了3种常用的水下图像无参考评价指标CQE^[20]、NR-CDIQA^[21]和UCIQE^[22],对得到的复原结果进行客观的质量评价。不同算法的客观评价指标比较结果如表1~3所示。

CQE是彩色图像质量检测指标,可以用色彩η、清晰度χ和对比度γ的线性组合表示,用c₁,c₂,c₃表示线性组合的系数,CQE指标越高表示图像质量越好。CQE指标可以表示为

R_{CQE} = c_{1} \times η + c_{2} \times χ + c_{3} \times γ 。 (22)

表1结果表明:图2(a)的CQE指标在WCID算法下高于其他算法,图3(a)的CQE指标在UDCP算法下高于其他算法,但是WCID和UDCP算法都加深了图像色彩的偏移,图像整体偏暗,影响分析;图4(a)、图5(a)中本文算法的CQE指标高于其他算法,且平均CQE指标比UDCP算法的CQE指标高0.2129,比ARC算法的CQE指标高0.2364。这说明本文算法在提升图像色彩、清晰度和对比度方面优于其他复原算法。

NR-CDIQA评价指标是基于自然场景统计(NSS)的无参考评价方法,能够捕获对比度失真图像自然度的变化,指标越高,效果图越自然,更符合人类视觉感知。表2结果表明:对于图4(a),本文算法的NR-CDIQA指标比ARC算法1.2067;对于图5(a),本文算法的NR-CDIQA指标比UDCP算法高1.1151,并且平均NR-CDIQA指标比UDCP算法高0.6026,比WCID算法高0.7883,比ARC算法高0.4555。这表明本文算法处理后的图像更接近自然真实图像,具有更好的视觉感知。

表 1. 不同算法CQE指标对比

Table 1. Comparison of CQE indicator under different algorithms

Algorithm	Fig. 2(a)	Fig. 3(a)	Fig. 4(a)	Fig. 5(a)	Average
UDCP	0.6561	1.1833	0.7933	0.7207	0.7470
WCID	0.8332	0.9469	0.9092	0.8153	0.8762
ARC	0.7077	0.7674	0.7221	0.6968	0.7235
UIDE	0.6916	0.8958	1.1846	0.8977	0.9179
OUR	0.7361	0.9318	1.2315	0.9401	0.9599

查看所有表

表 2. 不同算法NR-CDIQA指标对比

Table 2. Comparison of NR-CDIQA indicator under different algorithms

Algorithm	Fig. 2(a)	Fig. 3(a)	Fig. 4(a)	Fig. 5(a)	Average
UDCP	2.8918	2.7143	2.2570	2.3199	2.5458
WCID	2.5594	2.0939	2.3237	2.4633	2.3601
ARC	3.4568	2.4497	2.1140	2.7510	2.6929
UIDE	3.0013	3.2533	2.9446	3.3291	3.1071
OUR	2.9701	2.8577	3.3207	3.4350	3.1484

查看所有表

UCIQE是色度标准差σ_c、饱和度的平均值μ_s和亮度的对比度ζ的线性组合,其中c'₁,c'₂,c'₃是组合的加权系数,用于量化描述水下工程和检测图像的不均匀颜色投射、模糊和低对比度,UCIQE数值越高,表示算法复原效果越好。UCIQE指标表示为

R_{UCIQE} = c'_{1} \times σ_{c} + c'_{2} \times ζ + c'_{3} \times μ_{s} 。 (23)

表3中各对比方法的UCIQE指标表明:本文算法对图2(a)的UCIQE指标比UDCP算法高0.139,对图3(a) 的UCIQE指标比WCID算法高0.1430,并且本文算法的平均UCIQE指标超过0.62,高于其他算法。这说明本文算与其他对比算法相比能够更好地改善水下退化图像的颜色投射、模糊和低对比度问题。

表 3. 不同算法UCIQE指标对比

Table 3. Comparison of UCIQE indicator under different algorithms

Algorithm	Fig. 2(a)	Fig. 3(a)	Fig. 4(a)	Fig. 5(a)	Average
UDCP	0.4904	0.6121	0.6387	0.5301	0.5678
WCID	0.5393	0.5049	0.5905	0.4271	0.5154
ARC	0.5558	0.5040	0.5640	0.4484	0.5180
UIDE	0.5634	0.5561	0.6163	0.5655	0.5753
OUR	0.6299	0.6479	0.6618	0.5435	0.6208

查看所有表

由于难以获取水下清晰原始图像,同时现缺少无参考水下图像噪声评价指标,本研究通过模拟添加噪声使用经典的全参考评价指标峰值信噪比(PSNR)来评估本文算法的去噪特性。由于水下图像的噪声主要包含高斯和散斑两类^[23-24],选取6幅清晰原始水下图像作为参考图像,对其添加高斯和散斑噪声,如图6所示。经过各复原方法处理后得到相应的PSNR指标值,如表4所示。本文算法的平均PSNR指标均高于其他几种对比算法,去噪效果最为理想,其中,本文算法PSNR均值与ARC算法相比提升了4.5579。UDCP算法对透射率图进行了光滑处理,在一定程度上抑制了噪声。本文算法采用了高阶拉普拉斯算子,去噪能力与保持边缘的能力更佳。

图 6. 添加噪声后的水下图像。(a)图像1;(b)图像2;(c)图像3;(d)图像4;(e)图像5;(f)图像6

Fig. 6. Underwater images with noise. (a) Image 1; (b) image 2; (c) image 3; (d) image 4; (e) image 5; (f) image 6

下载图片查看所有图片

表 4. 不同算法PSNR指标对比

Table 4. Comparison of PSNR indicator under different algorithms

Algorithm	Fig. 6(a)	Fig. 6(b)	Fig. 6(c)	Fig. 6(d)	Fig. 6(e)	Fig. 6(f)	Average
UDCP	30.0655	30.4632	31.4078	33.5335	30.0432	27.1456	30.4431
WCID	30.4272	30.6484	31.4779	32.8322	28.6961	28.9577	30.5065
ARC	28.0938	26.9625	28.7255	29.1924	28.1914	26.0953	27.8768
UIDE	29.1820	27.7997	28.1086	28.3120	29.5326	28.8981	28.6388
OUR	31.2927	32.1086	33.4512	36.1600	31.6843	29.9113	32.4347

查看所有表

4 结论

针对水下图像存在模糊、对比度低、噪声严重的现象,依据自然光照条件下背景光的理论、海洋光学理论以及水下光学成像模型,提出了一种水下图像复原变分方法。基于拉普拉斯算子设计了水下图像复原变分模型的规则项与数据项,使用红通道先验对背景光与透射率图进行估计优化,引入交替方向乘子法对能量泛函进行迭代求解,提高了算法的迭代效率。同时,构建的多个约束项在图像复原过程中能够保持原有的边缘信息,并能够还原图像的真实色彩。实验结果表明,本文算法针对水下退化图像能够有效提高退化图像的对比度和清晰度,减轻水下图像的模糊程度,去除噪声,恢复图像的真实色彩,提升了视觉效果,具有更好的适用性。

参考文献

[1] 代成刚, 林明星, 王震, 等. 基于亮通道色彩补偿与融合的水下图像增强[J]. 光学学报, 2018, 38(11): 1110003.

Dai C G, Lin M X, Wang Z, et al. Color compensation based on bright channel and fusion for underwater image enhancement[J]. Acta Optica Sinica, 2018, 38(11): 1110003.

[2] 石丹, 李庆武, 范新南, 等. 基于Contourlet变换和多尺度Retinex的水下图像增强算法[J]. 激光与光电子学进展, 2010, 47(4): 041001.

Shi D, Li Q W, Fan X N, et al. Underwater image enhancement algorithm based on Contourlet transform and multi-scale Retinex[J]. Laser & Optoelectronics Progress, 2010, 47(4): 041001.

[3] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[4] Li C Y, Guo J C, Cong R M, et al. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J]. IEEE Transactions on Image Processing, 2016, 25(12): 5664-5677.

[5] Chiang J Y, Chen Y C. Underwater image enhancement by wavelength compensation and dehazing[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1756-1769.

[6] 徐岩, 曾祥波. 基于红色暗通道先验和逆滤波的水下图像复原[J]. 激光与光电子学进展, 2018, 55(2): 021009.

Xu Y, Zeng X B. Underwater image restoration based on red-dark channel prior and inverse filtering[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021009.

[7] 蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 031008.

Cai C D, Huo G Y, Zhou Y, et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Laser & Optoelectronics Progress, 2019, 56(3): 031008.

[8] Peng Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[9] Tikhonov A N. Regularization of incorrectly posed problems[J]. Soviet Mathematics Doklady, 1963, 4(6): 1624-1627.

[10] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.

[11] Kimmel R, Elad M, Shaked D, et al. A variational framework for retinex[J]. International Journal of Computer Vision, 2003, 52(1): 7-23.

[12] Ng M K, Wang W. A total variation model for retinex[J]. SIAM Journal on Imaging Sciences, 2011, 4(1): 345-365.

[13] Fang F M, Li F, Zeng T Y. Single image dehazing and denoising: a fast variational approach[J]. SIAM Journal on Imaging Sciences, 2014, 7(2): 969-996.

[14] Liang J W, Zhang X Q. Retinex by higher order total variation L1 decomposition[J]. Journal of Mathematical Imaging and Vision, 2015, 52(3): 345-355.

[15] Pu Y F, Siarry P, Chatterjee A, et al. A fractional-order variational framework for retinex: fractional-order partial differential equation-based formulation for multi-scale nonlocal contrast enhancement with texture preserving[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1214-1229.

[16] Goldstein T. O'Donoghue B, Setzer S, et al. Fast alternating direction optimization methods[J]. SIAM Journal on Imaging Sciences, 2014, 7(3): 1588-1623.

[17] Galdran A, Pardo D, Picón A, et al. Automatic red-channel underwater image restoration[J]. Journal of Visual Communication and Image Representation, 2015, 26: 132-145.

[18] Zhao X W, Jin T, Qu S. Deriving inherent optical properties from background color and underwater image enhancement[J]. Ocean Engineering, 2015, 94: 163-172.

[19] Pan P W, Yuan F, Cheng E, et al. Underwater image de-scattering and enhancing using dehazenet and HWD[J]. Journal of Marine Science and Technology, 2018, 26(4): 531-540.

[20] Panetta K, Gao C, Agaian S. No reference color image contrast and quality measures[J]. IEEE Transactions on Consumer Electronics, 2013, 59(3): 643-651.

[21] Fang Y M, Ma K D, Wang Z, et al. No-reference quality assessment of contrast-distorted images based on natural scene statistics[J]. IEEE Signal Processing Letters, 2015, 22(7): 838-842.

[22] Yang M, Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.

[23] 蒋洁. 激光水下成像噪声分析及图像处理方法研究[D]. 秦皇岛: 燕山大学, 2010: 38- 40.

JiangJ. Study on the noise of laser underwater imaging system and enhancement technology[D]. Qinhuangdao: Yanshan University, 2010: 38- 40.

[24] 王鑫, 朱行成, 宁晨, 等. 融合暗原色先验和稀疏表示的水下图像复原[J]. 电子与信息学报, 2018, 40(2): 264-271.

Wang X, Zhu H C, Ning C, et al. Combination of dark-channel prior with sparse representation for underwater image restoration[J]. Journal of Electronics & Information Technology, 2018, 40(2): 264-271.

李景明, 侯国家, 潘振宽, 刘玉海, 赵馨, 王国栋. 基于拉普拉斯算子先验项的水下图像复原[J]. 激光与光电子学进展, 2020, 57(16): 161026. Jingming Li, Guojia Hou, Zhenkuan Pan, Yuhai Liu, Xin Zhao, Guodong Wang. Underwater Image Restoration Based on a Laplace Operator Prior Term[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161026.

基于拉普拉斯算子先验项的水下图像复原下载： 1256次

1 引言

2 本文算法

2.1 基于拉普拉斯算子的变分复原模型

2.2 背景光与透射率图的估计

图 1. 水下退化图像及透射率图。(a)~(c)水下退化图像;(d)~(f)红通道透射率图像和背景光值

Fig. 1. Degraded underwater images and transmission maps. (a)-(c) Degraded underwater images; (d)-(f) transmission maps for red channel and the value of background light

2.3 变分复原模型的ADMM算法

3 实验结果与分析

3.1 主观效果对比

图 2. 石像图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 2. Comparison results on stone statue image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 3. 潜水员图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 3. Comparison results on diver image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 4. 鱼头图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 4. Comparison results on fish image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 5. 鲳鱼图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 5. Comparisons results on pomfret image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

3.2 客观指标对比

表 1. 不同算法CQE指标对比

Table 1. Comparison of CQE indicator under different algorithms

表 2. 不同算法NR-CDIQA指标对比

Table 2. Comparison of NR-CDIQA indicator under different algorithms

表 3. 不同算法UCIQE指标对比

Table 3. Comparison of UCIQE indicator under different algorithms

图 6. 添加噪声后的水下图像。(a)图像1;(b)图像2;(c)图像3;(d)图像4;(e)图像5;(f)图像6

Fig. 6. Underwater images with noise. (a) Image 1; (b) image 2; (c) image 3; (d) image 4; (e) image 5; (f) image 6

表 4. 不同算法PSNR指标对比

Table 4. Comparison of PSNR indicator under different algorithms

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于拉普拉斯算子先验项的水下图像复原 下载： 1256次

1 引言

2 本文算法

2.1 基于拉普拉斯算子的变分复原模型

2.2 背景光与透射率图的估计

图 1. 水下退化图像及透射率图。(a)~(c)水下退化图像;(d)~(f)红通道透射率图像和背景光值

Fig. 1. Degraded underwater images and transmission maps. (a)-(c) Degraded underwater images; (d)-(f) transmission maps for red channel and the value of background light

2.3 变分复原模型的ADMM算法

3 实验结果与分析

3.1 主观效果对比

图 2. 石像图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 2. Comparison results on stone statue image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 3. 潜水员图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 3. Comparison results on diver image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 4. 鱼头图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 4. Comparison results on fish image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

图 5. 鲳鱼图像复原结果比较。(a)原始图像;(b) UDCP算法;(c) WCID算法;(d) ARC算法;(e) UIDE算法;(f)本文算法

Fig. 5. Comparisons results on pomfret image. (a) Original image; (b) UDCP algorithm; (c) WCID algorithm; (d) ARC algorithm; (e) UIDE algorithm; (f) proposed algorithm

3.2 客观指标对比

表 1. 不同算法CQE指标对比

Table 1. Comparison of CQE indicator under different algorithms

表 2. 不同算法NR-CDIQA指标对比

Table 2. Comparison of NR-CDIQA indicator under different algorithms

表 3. 不同算法UCIQE指标对比

Table 3. Comparison of UCIQE indicator under different algorithms

图 6. 添加噪声后的水下图像。(a)图像1;(b)图像2;(c)图像3;(d)图像4;(e)图像5;(f)图像6

Fig. 6. Underwater images with noise. (a) Image 1; (b) image 2; (c) image 3; (d) image 4; (e) image 5; (f) image 6

表 4. 不同算法PSNR指标对比

Table 4. Comparison of PSNR indicator under different algorithms

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于拉普拉斯算子先验项的水下图像复原下载： 1256次