基于大气光偏振层析的雾天图像重构方法

邵子奇; 金海红; 钱立进; 范之国

doi:doi:10.3788/LOP57.221009

激光与光电子学进展, 2020, 57 (22): 221009, 网络出版: 2020-11-05

基于大气光偏振层析的雾天图像重构方法下载： 976次

Method of Haze Image Reconstruction Based on PolarizationLayering and Analysis of Airlight

论文大纲

邵子奇 ¹金海红 ^1,2钱立进 ¹范之国 ^1,*

作者单位

¹ 合肥工业大学计算机与信息学院, 安徽合肥 230601

² 安徽建筑大学电子与信息工程学院, 安徽合肥 230601

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了提高偏振去雾方法对大气光估计的准确度,提出一种基于大气光偏振层析的雾天图像重构方法。在偏振空间下,将大气光梯度先验信息作为约束条件,对原始雾天偏振图像进行分层,估计大气光偏振图像;然后从大气光偏振图像中解析大气光,实现对大气光的偏振层析;最后,结合所提雾天图像偏振重构模型,并在大气光图像中估计无穷远处大气光,实现对雾天图像的去雾重构。实验结果表明,所提方法提高了大气光估计的准确度,进而使重构图像更清晰、目标还原度更高,且适用于不同浓度下的雾天图像重构。

Abstract

To improve the accuracy of airlight estimation in polarization dehazing methods, a method for haze image reconstruction based on polarization layering and analysis of airlight is proposed. In the polarization space, the gradient prior information of the airlight is used as a constraint condition, and the original polarized hazy image is layered to estimate the polarized image of the airlight. This allows the analysis of the airlight from the polarized images, and the polarization layering and analysis of the airlight can be realized. Finally, by combining the proposed polarization reconstruction model of haze images and the estimation of atmospheric light at infinity in airlight images, a clear haze-free image is reconstructed. The experimental results show that the proposed method improves the accuracy of airlight estimation, provides a clearer reconstructed image, and provides a higher target restoration degree. The proposed method is suitable for haze image reconstruction under different concentrations.

1 引言

在雾霾等恶劣天气下,成像探测系统受大气中悬浮颗粒、水滴等介质的散射与吸收作用影响,成像质量严重下降。因此,研究雾霾天气下的图像重构方法,提高探测图像的清晰度与对比度,对视频监控、智能驾驶、遥感探测及**侦查等具有重要的应用价值。

近年来,随着偏振成像技术的不断发展,基于偏振的雾天图像重构方法逐渐成为去雾方向的研究热点之一。偏振去雾技术作为一个独立的研究分支快速发展起来^[1]。散射形成的大气光是部分偏振的,可利用偏振成像技术获取更高维度的大气光偏振信息,提高大气光估计的准确度,从而使重构图像更清晰,目标还原度更高。2001年,Schechner等^[2]首次提出偏振差分去雾方法,该方法利用两幅正交的偏振图像来估计大气光偏振度信息,从而解算出大气光,实现目标的偏振重构。在Schechner方法的基础上,王勇等^[3]通过获取三幅不同偏振角度下的偏振图像来估计大气光偏振度,求解大气光。彭文竹等^[4-5]通过识别和分割天空区域,提高了对大气光估计的准确度。方帅等^[6]在估计大气光时考虑目标偏振特性的影响,研究如何提高实际情况下大气光估计的准确度。此外,Liu等^[7]、赵录建等^[8]、Li等^[9]、吕晓宁等^[10]、杨爱萍等^[11]及张肃等^[12]分别将小波变换、中值滤波、直方图均衡、暗通道先验、导向滤波及多小波融合等方法与偏振去雾方法相结合,尝试从不同方向上提高大气光估计的准确度,并取得一定效果。作为雾天图像重构的一个关键参数,大气光的准确估计一直是去雾的重难点问题,上述方法表明利用大气光偏振度信息有利于大气光的准确估计,提高降质图像的重构效果。然而,在实际情况中可能存在几个问题:图像中天空区域如何选择;图像中不存在天空区域;目标的偏振特性不可忽略;大气光偏振度是一个全局变量,不同区域的大气光偏振度差异较大。这增加了大气光估计的难度和复杂度。斯托克斯矢量能够完整地描述一束光的偏振信息与强度信息,通过获取不同偏振角度下的原始偏振图像能够实现偏振信息向强度信息的转换^[13]。因此,在对大气光进行估算时尝试将对大气光偏振度信息的估计转换为对大气光偏振图像信息的估计,从而避免对大气光偏振度的求解。

针对利用偏振去雾方法如何提高大气光估计准确度的问题,本文提出一种基于大气光偏振层析的雾天图像重构方法。在偏振空间下,将大气光梯度先验信息作为大气光估计的限制条件,利用图像分层方法对原始雾天偏振图像进行分层,估计大气光偏振图像,并从不同偏振角度下的大气光偏振图像中解析大气光,实现大气光的偏振层析。最后,在大气光图像中估计无穷远处的大气光,并结合偏振重构模型,实现雾天图像重构。实验结果表明,所提方法能够有效提高大气光估计的准确度,进而提高降质图像重构质量。同时,所提方法验证了大气光偏振度是一个非全局常量,不同像素点处的大气光偏振度存在一定差异。

2 雾天图像偏振重构模型

由大气散射成像模型^[14]可知,成像探测系统获得的总光强I主要由两部分组成,即直接衰减传输光D和大气光A,表达式为

I = D + A 。 (1)

其中,

\begin{array}{l} D = J \cdot t, (2) \\ A = A_{\infty} \cdot (1 - t), (3) \end{array}

式中:J为未退化的原始场景图像,即无雾图像;t为透射率,描述光的衰减程度;A_∞为无穷远处大气光。雾天图像重构的目的是为了恢复无雾图像J的真实信息,结合(1)、(3)式,得

J = \frac{I - A}{1 - \frac{A}{A_{\infty}}} 。 (4)

从(4)式能够看出,恢复无雾图像J需要估计大气光A和无穷远处大气光A_∞。因此,大气光估计的准确度将直接影响重构图像质量。现有偏振差分去雾方法大多是通过估计大气光偏振差分信息与大气光偏振度来实现大气光的估算,即

A = \frac{A_{\max} - A_{\min}}{p_{A}}, (5)

式中:A_max和A_min为两幅正交的偏振图像;p_A为大气光偏振度。求解时,p_A常被看作是一个全局常量,且大气光偏振差分信息也近似雾天图像的偏振差分信息。虽然这种近似能够简化计算,但带来的问题是大气光的估计不够精确,当考虑目标偏振特性影响时,将会增加大气光偏振差分信息与偏振度估计的难度和复杂度。

雾霾天气下,大气光A与总光强I是部分偏振的,并且可以用斯托克斯矢量^[13]描述。当一束斯托克斯矢量为S=(I,Q,U,V)的入射光通过偏振角度为θ的偏振片时,根据斯托克斯矢量与穆勒矩阵的关系,得到用斯托克斯矢量表示的偏振图像光强I_θ的表达式为

I_{θ} = \frac{1}{2} (I + Q \cos 2 θ + U \sin 2 θ), (6)

式中:Q为0°与90°方向上线偏振光分量之差;U为±45°方向上线偏振光分量之差;V为左旋与右旋圆偏振光分量之差。根据(6)式,当斯托克斯矢量为S=(I,Q,U)的光通过方向为0°,60°,120°的偏振片时,其偏振图像光强值为

\{\begin{array}{l} I_{0} = \frac{1}{2} (I + Q) \\ I_{60} = \frac{1}{2} (I - \frac{1}{2} Q + \frac{\sqrt[]{3}}{2} U) \\ I_{120} = \frac{1}{2} (I - \frac{1}{2} Q - \frac{\sqrt[]{3}}{2} U) \end{array} 。 (7)

对(7)式求解,可得

I = \frac{2}{3} (I_{0} + I_{60} + I_{120}), (8)

式中:I₀,I₆₀,I₁₂₀分别为0°,60°,120°三个角度下的偏振图像,可由三通道偏振相机直接获得。由于大气光A也是部分偏振光,因此也可由(8)式表示,即

A = \frac{2}{3} (A_{0} + A_{60} + A_{120}), (9)

式中:A₀,A₆₀,A₁₂₀为0°,60°,120°三个角度下的大气光偏振图像。由(9)式可知,通过获取大气光偏振图像信息,可实现大气光的解析。将(8)、(9)式代入(4)式,得偏振重构模型为

J = \frac{(I_{0} + I_{60} + I_{120}) - (A_{0} + A_{60} + A_{120})}{\frac{3}{2} - \frac{(A_{0} + A_{60} + A_{120})}{A_{\infty}}} 。 (10)

将自然图像与大气光的梯度先验作为图像分层的约束条件,估计大气光偏振图像A₀,A₆₀,A₁₂₀,然后从A₀,A₆₀,A₁₂₀中解析大气光A,并在A中估计无穷远处大气光A_∞,再根据(10)式重构出清晰的无雾图像J。所提方法如图1所示,其中 $L_{A_{0}}$ 为0°通道下的大气光层图像, $L_{B_{0}}$ 为0°通道下的目标纹理层图像。

图 1. 雾天图像重构方法示意图

Fig. 1. Diagram of haze image reconstruction method

下载图片查看所有图片

3 偏振层析估计大气光

成像探测系统无法直接获得大气光偏振图像,因此采用图像处理方法近似估计大气光偏振图像。雾天偏振图像中蕴藏着大气光偏振信息,为了从雾天图像中估计大气光偏振图像,对雾天偏振图像进行分层,从而估计对应通道下的大气光偏振图像。

3.1 大气光梯度先验

将一幅已知的图像分解为两幅未知图像是一个不适定问题,有无穷多个解,通过引入图像的梯度先验信息可以限定解的取值空间,从而在限制条件下求得最优解。Levin等^[15]的研究表明,无雾自然图像的梯度直方图近似服从长尾拉普拉斯分布规律,如图2(b)所示。长尾拉普拉斯分布如图2(c)所示。

梯度先验可以表示为

P (x) = \frac{1}{z} e^{- a x^{α}}, α \leq 1, (11)

式中:x为梯度值;尺度参数z为一个使P(x)积分为1的参数;α决定分布的形态。对大量雾天图像进行梯度处理,并对其梯度直方图进行统计分析,分析发现,随着雾气浓度的增加,雾天图像的梯度分布逐渐从长尾拉普拉斯分布向窄高斯分布逼近。浓雾图像的梯度分布呈现出明显的窄高斯分布特征,如图3所示。

图 2. 自然图像的梯度特征。(a)自然场景图像;(b)梯度直方图;(c)拉普拉斯分布

Fig. 2. Gradient characteristics of nature image. (a) Nature scene image; (b) gradient histogram; (c) Laplace distribution

下载图片查看所有图片

图 3. 不同雾浓度下大气光的梯度特征

Fig. 3. Gradient characteristics of airlight under different dense haze

下载图片查看所有图片

图3中,第一行图像为不同雾气浓度下的雾天图像,第二行图像为对应梯度图像。随着雾气浓度的增加,图像中的大气光强度也在增加,目标强度相应减小,因此将浓雾环境下的雾天图像近似看作大气光图像。根据雾天图像的梯度直方图随雾气浓度变化的统计规律,近似认为大气光的梯度直方图具有窄高斯分布的特征,并用一个窄高斯分布函数进行描述,如图4所示。

图 4. 大气光梯度先验。(a)大气光梯度直方图;(b)大气光梯度先验模型

Fig. 4. Airlight gradient prior. (a) Gradient histogram of airlight; (b) model of airlight gradient prior

下载图片查看所有图片

进而提出表征大气光梯度特征的大气光梯度先验模型,即

p (x) = \frac{1}{\sqrt[]{2 π} σ} e^{- \frac{x^{2}}{2 σ^{2}}}, (12)

式中:σ为模型的尺度参数。比较(11)式与(12)式能够发现,大气光与无雾图像的梯度先验分布特征存在明显差异,因此可以将大气光梯度先验作为大气光估计的约束条件,再结合图像分层方法对大气光偏振图像进行估计。

3.2 大气光偏振层析

雾天偏振图像中蕴藏着大气光偏振信息,且由(1)式可知,成像系统接收到的光可以看作大气光与目标衰减光的线性叠加。因此,在偏振空间下,可以将0°通道下的雾天图像看作无雾的目标纹理层图像与大气光层图像的叠加,即

I_{0} = L_{A_{0}} + L_{B_{0}} 。 (13)

大气光的梯度先验近似服从窄高斯分布,而无雾的自然场景图像则服从长尾拉普拉斯先验分布。结合(11)、(12)式,建立表征大气光图像与目标纹理图像梯度分布的概率密度函数:

\begin{array}{l} p_{A} (x) = \frac{1}{\sqrt[]{2 π} σ_{A}} e^{- \frac{x^{2}}{2 σ_{A}^{2}}}, (14) \\ p_{B} (x) = \frac{1}{\sqrt[]{2 π} σ_{B}} \max {e^{- \frac{x^{\frac{1}{2}}}{2 σ_{B}^{2}}}, ε}, (15) \end{array}

式中:σ_A、σ_B分别为窄高斯函数的标准差、拉普拉斯函数的尺度参数;ε为避免概率为0的很小常数。

根据Levin等^[16]的图像分层理论,在对雾天图像进行分层时,为了找到大气光图像的最优解,构造一个存在极值点的图像分层函数。由于大气光层与目标层是弱相关的,联合概率密度函数P[A(x),B(x)]存在一个极大值,因此使用P[A(x),B(x)]来构建图像分层函数。对(14)、(15)式取-ln,得

\begin{array}{l} - \ln [p_{A} (x)] = \ln \sqrt[]{2 π} σ_{A} + \frac{x^{2}}{2 σ_{A}^{2}} \propto \frac{x^{2}}{2 σ_{A}^{2}} + C_{1}, (16) \\ - \ln [p_{B} (x)] = \ln \sqrt[]{2 π} σ_{B} + \min {\frac{x^{\frac{1}{2}}}{2 σ_{B}^{2}}, - \ln ε} \propto \\ \min {\frac{x^{\frac{1}{2}}}{2 σ_{B}^{2} (- \ln ε)}, 1} + C_{2} 。 (17) \end{array}

根据联合概率密度函数的性质,有

\begin{array}{l} - \ln {\max {P [A_{0} (x), B_{0} (x)]}} = \\ \min {- \ln [p_{A} (x)] - \ln [p_{B} (x)]} 。 (18) \end{array}

结合(16)、(18)式,可得

\begin{array}{l} - \ln {\max {P [A_{0} (x), B_{0} (x)]}} \propto \\ \min_{A_{0}, B_{0}} [\min (\frac{x_{B_{0}}^{\frac{1}{2}}}{k}, 1) + λ x_{A_{0}}^{2}], (19) \end{array}

式中:k=2 $σ_{B}^{2}$ (-ln ε);平滑权重 $λ = \frac{1}{2 σ_{A}^{2}},$ 它决定雾天偏振图像中大气光的平滑度。σ_A越小,λ越大,表明大气光的梯度分布越集中,大气光越平滑。

为了求解每一像素点的梯度值,对于一幅图像F(x,y),可以将其梯度向量定义为

\nabla F = [\begin{array}{l} G_{x} \\ G_{y} \end{array}] = [\begin{array}{l} \frac{\partial F}{\partial x} \\ \frac{\partial F}{\partial y} \end{array}], (20)

式中:G_x、G_y分别为沿x、y方向的梯度,可以用一阶梯度算子表示,即f₁= $[\begin{array}{l} - 1 & 1 \end{array}]$ ,f₂= $[\begin{array}{l} - 1 \\ 1 \end{array}]$ 。为了使求解的大气光更加准确,增加对大气光梯度特征的二阶限制条件,引入二阶梯度算子f₃= $[\begin{array}{l} 0 & 1 & 0 \\ 1 & - 4 & 1 \\ 0 & 1 & 0 \end{array}]$ 。因此,图像中每一像素点的梯度值可以用ÑF=F􀱋f_j表示。将像素梯度值用梯度算子表示并代入(19)中,能够得到最终的目标函数为

\min_{A_{0}, B_{0}} \sum_{j = 1,2} ρ (L_{B_{0}} \otimes f_{j}) + λ (L_{A_{0}} \otimes f_{3})^{2}, (21)

式中:􀱋为卷积;ρ( $L_{B_{0}}$ 􀱋f_j)=min $[\frac{(L_{B_{0}} \otimes f_{j})^{\frac{1}{2}}}{k}, 1]$ 。

为了简化计算,根据(13)式,大气光层可以用 $L_{A_{0}}$ =I₀- $L_{B_{0}}$ 表示,结合(21)式,得

\begin{array}{l} \min_{B_{0}} \sum_{j = 1,2} ρ (L_{B_{0}} \otimes f_{j}) + λ (I_{0} \otimes f_{3} - \\ L_{B_{0}} \otimes f_{3})^{2}, l \leq L_{B_{0}} \leq h 。 (22) \end{array}

(22)式是一个非凸函数,[l,h]决定了 $L_{B_{0}}$ 的亮度范围,l为规定的 $L_{B_{0}}$ 的亮度最低值,h为规定的 $L_{B_{0}}$ 的亮度最高值。为了找到非凸目标函数的最优解,根据半二次优化^[17]和最小化全变分图像重建方法^[18],对每一像素点引入惩罚项:

g^{j} = \{\begin{array}{l} L_{B_{0}} \otimes f_{j}, L_{B_{0}} \otimes f_{j} > \frac{1}{ξ} \\ 0, L_{B_{0}} \otimes f_{j} \leq \frac{1}{ξ} \end{array}, (23)

式中:ξ为梯度分辨率,求解过程中随迭代次数的增加而逐渐增大,它是一个非常重要的参数,决定图像分层的结果。图5为ξ对图像分层的影响,ξ越大,表明目标纹理层的梯度分辨率越高,细节越丰富,ξ越小,表明大气光层的梯度分辨率越高,梯度特征越明显。

利用(23)式对(22)式进行优化,得到新的代价函数为

\begin{array}{l} \min_{L_{B_{0}}, g^{j}} \sum_{j = 1,2} {[ξ (L_{B_{0}} \otimes f_{j} - g^{j})^{2}] + \\ ρ (g^{j})} + λ (L_{B_{0}} \otimes f_{3} - I_{0} \otimes f_{3})^{2} 。 (24) \end{array}

利用最小二乘法对优化后的目标函数求最优解,并进行二维傅里叶变换,在频域求F( $L_{A_{0}}$ )的最优解,并进行傅里叶逆变换得到大气光偏振图像

$L_{A_{0}}$ 的最优解:

L_{A_{0}} = I_{0} - F^{- 1} \{\frac{ξ \sum_{j} [F (f_{j})^{*} \times F (g^{j})] + λ F (f_{3})^{*} \times F (f_{3}) \times F (I_{0})}{ξ \sum_{j} [F (f_{j})^{*} \times F (f_{j})] + λ F (f_{3})^{*} \times F (f_{3}) + τ}\}, (25)

式中:τ为防止分母为0的常数。同理, $L_{A_{60}}$ 、 $L_{A_{120}}$ 可以用上述方法获得。由于大气光具有局部平滑特征,为了使分层到的大气光偏振图像在保留梯度特征的同时,更加符合局部平滑特性,利用引导滤波器^[19]的保边平滑特性,将目标纹理层作为引导图像,对(25)式求解得到的大气光偏振图像 $L_{A_{0}}$ 进行平滑滤波:

A_{0} = L_{A_{0}}^{smooth} = guidedfilter (L_{B_{0}}, L_{A_{0}}) 。 (26)

图 5. ξ对图像分层的影响

Fig. 5. Influence of ξ for image layering

下载图片查看所有图片

图6为0°通道下大气光偏振图像的分层结果。将滤波后的偏振图像近似看作大气光偏振图像,因此,估计的大气光将同时兼顾平滑与梯度两个特征,如图6(d)所示,取τ=10^-16,λ=10³。

图 6. 0°通道下大气光偏振图像分层结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 6. Layering results for polarized airlight images under 0° channel. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image by proposed method

下载图片查看所有图片

同理,可以估计60°、120°通道下的大气光偏振图像A₆₀、A₁₂₀。

3.3 估计无穷远处大气光

A_∞的准确估计对雾天图像重构至关重要。Schechner等^[2,4,7]直接在雾天图像I中选取天空区域估计A_∞。这类估计方法具有一定的局限性,首先,天空区域如何选择,其次,雾天图像中可能不存在天空区域。为避免天空区域选取不当造成的影响,曾致远等^[5]利用K均值聚类算法提高天空区域分割的准确度,进而提高A_∞估计的准确度;赵录建等^[8]利用雾天图像的亮通道估计A_∞;吕晓宁等^[10]利用雾天图像的暗通道提高A_∞估计的准确度。但是他们的估计方法依然直接在雾天图像中进行,A_∞的估计仍会受到目标干扰。根据大气光的定义,A_∞反映大气光的强度特征,因此,在大气光图像A中估计A_∞将更加符合A_∞的物理意义。本文通过图像分层从雾天偏振图像中分离出大气光偏振图像,根据(9)式,能够获得大气光的强度图像。因此,在大气光强度图像A中对A_∞进行估计,这能有效避免目标和天空区域选择不当而对A_∞估计的影响,从而提高A_∞的估计准确度。

A_∞是一个全局常量,代表大气光的全局特性。根据大气光的定义:

A (x, y) = A_{\infty} [1 - t (x, y)] 。 (27)

当透射率t→0时,大气光A≈A_∞。由于A_∞为一个全局常量,梯度值为0,因此有

\underset{t \to 0}{\nabla A} = \nabla A_{\infty} = 0 。 (28)

另外,根据大气光梯度通道先验,大气光的梯度值分布服从窄高斯分布,且集中在0附近,可以利用这种全局特性来描述A_∞。因此,在A的梯度通道内选取n个梯度值为0的区域,并在A中寻找对应区域内的最亮像素点,然后将n个像素点的强度均值作为A_∞的估计值,即

A_{\infty} = \frac{1}{n} \overset{n}{\sum_{i = 1}} \max_{Ω_{i} (x, y) \in {\nabla A = 0}} A_{Ω_{i}} (x, y), (29)

式中:Ω_i为大气光图像中梯度值为0的区域。

4 实验与讨论

4.1 实验结果

为了验证所提方法的有效性,利用实验室研制的偏振相机开展在不同场景、不同天气条件下的验证实验。与传统的旋转偏振片的方式获取偏振图像不同,使用的偏振相机能够同时获得0°,60°,120°三个通道下的雾天场景图像I₀,I₆₀,I₁₂₀。大气光偏振图像估计方法能够从I₀,I₆₀,I₁₂₀三幅偏振图像中估计出大气光偏振图像A₀,A₆₀,A₁₂₀,如图7所示。

图 7. 大气光偏振图像估计结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 7. Estimated results for polarized airlight images. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image using the proposed method

下载图片查看所有图片

此外,根据(7)式,能够获得雾天场景下的光强图像,如图8(a)所示。利用雾天偏振图像分层获取大气光偏振图像A₀,A₆₀,A₁₂₀,再结合(6)式,能够获得大气光的强度图像A,如图8(b)所示。在大气光图像A中,利用(28)式可估计出无穷远处大气光,然后,根据所提雾天图像偏振重构模型,可恢复出清晰的无雾图像,重构结果如图8(c)所示。

图 8. 雾天图像重构结果。(a)雾天强度图像;(b)所提方法估计的大气光图像;(c)所提方法重构的图像

Fig. 8. Results of haze image reconstruction. (a) Haze intensity image; (b) estimated airlight image by proposed method; c) reconstructed image using the proposed method

下载图片查看所有图片

另外,对原始雾天图像、重构图像的灰度直方图与梯度直方图进行对比,结果如图9所示。从梯度直方图中能够看出,重构图像梯度直方图具有更长的拖尾,这说明重构图像在细节纹理上更加突出。另外,从灰度直方图上来看,重构图像具有更宽的灰度范围,且灰度分布更加均匀。

图 9. 灰度直方图与梯度直方图比较结果。(a)雾天图像与重构图像;(b)灰度直方图;(c)梯度直方图

Fig. 9. Comparison results of gray histogram and gradient histogram. (a) Haze image and reconstructed image; b) gray histogram; (c) gradient histogram

下载图片查看所有图片

图10为不同雾气浓度下的雾天图像重构结果。可以看出,所提方法对具有不同雾气浓度的雾天图像均有较好的重构效果。相比于重构之前的雾天图像,所提方法重构的图像具有更高的清晰度和对比度。此外,对所提方法与偏振差分去雾方法进行比较。根据赵录建等^[8]提出的偏振图像最大最小光强拟合方法,利用0°,60°,120°三个偏振角度下的雾天原始偏振图像,计算出I_max与I_min,然后利用Schechner等^[2]提出的偏振差分去雾方法对雾天图像进行重构,偏振差分去雾结果如图10(b)所示。经对比发现,所提方法去雾更彻底,目标还原度更高。

图 10. 不同雾浓度条件下的雾天图像重构结果。(a)雾天图像;(b) Schechner方法的去雾结果;(c)所提方法的去雾结果

Fig. 10. Reconstructed results for haze image with different dense haze. (a) Haze image; (b) dehazing results of Schechner method; (c) dehazing results of proposed method

下载图片查看所有图片

为了从客观上验证所提方法的有效性,采用图像的对比度与平均梯度对图10中不同浓度下的重构图像质量进行客观评价。评价结果如表1所示,通过比较发现,与Schechner等^[2]的去雾方法相比,所提方法重构的图像在对比度与平均梯度提升方面具有较大优势,说明所提方法重构图像质量较高,恢复图像细节信息的能力更强。此外,从表1还能看出,所提方法具有较好的环境适应性,可有效提高中雾、大雾、浓雾天气下的图像重构质量。

表 1. 不同去雾方法的客观评价结果

Table 1. Objective evaluation results for different dehazing methods

Haze density	Haze image		Schechner's method		Proposed method
	Degree ofcontrast	Averagegradient	Degree ofcontrast	Averagegradient	Degree ofcontrast	Averagegradient
Mist haze	8.31	6.49	15.24	10.83	23.41	46.57
Middle haze	5.35	3.25	8.32	5.21	12.63	27.47
Big haze	4.22	2.96	6.16	4.00	9.76	22.93
Dense haze	3.20	2.35	4.54	2.66	6.73	17.38

查看所有表

4.2 大气光偏振度讨论

在利用偏振差分去雾方法重构图像时,偏振度p_A常被视为一个全局常数,这种近似虽然能够降低算法的复杂度,但是仍然存在一定的问题。因为在实际情况中,由于受景深变化影响,大气光的偏振度可能是一个全局变量,且远、近处的大气光偏振度可能会存在一定的差异。所以利用偏振差分去雾法时,偏振度估计的准确度也成为了影响重构效果的重要因素。

为了验证大气光偏振度是一个全局变量,利用雾天偏振图像和大气光偏振图像计算雾天场景与大气光的斯托克斯矢量,然后根据偏振度的定义,

D_{op} = \frac{\sqrt[]{Q^{2} + U^{2}}}{I}, (30)

求解雾天图像和大气光图像的偏振度,如图11所示。根据Schechner等^[2]提出的大气光偏振度估计方法,选取的雾天偏振图像中的天空区域估计的大气光偏振度为0.384,如图11(b)所示。通过分析发现,在大气光偏振度图像中,不同像素点的偏振度具有一定差异,且随着景深的变化而逐渐改变,远处的大气光偏振度较大,近处的大气光偏振度较小,偏振度的最大值与最小值具有较大差异。如图11(e)所示,大气光偏振度的最大值为0.388,最小值为0.252。此外,从大气光偏振图像的灰度直方图也能看出,其偏振度分布在一定区间内,而非集中在某一点,这一结果验证了大气光偏振度p_A是一个全局变量。在利用大气光偏振度p_A估计大气光时,将p_A视为全局变量进行估计,这有利于提高大气光估计的准确度。若能准确地估计出图像中每一像素点的大气光偏振度,大气光的求解将更加准确,重构质量将会进一步提升。

图 11. 雾天图像与大气光图像的偏振度图像及其灰度直方图。(a)雾天图像;(b)雾天图像的偏振度图;(c)雾天图像的灰度直方图;(d)所提方法估计的大气光图像;(e)大气光图像的偏振度图;(f)大气光图像的灰度直方图

Fig. 11. Degree of polarization(Dop) image and its gray histogram of haze image and airlight image. (a) Haze image; (b) Dop image of haze image; (c) gray histogram of haze image; (d) estimated airlight image by proposed method; (e) Dop image of airlight image; (f) gray histogram of airlight image

下载图片查看所有图片

5 结论

提出一种基于大气光偏振层析的雾天图像重构方法。该方法将对大气光偏振度的估计转换为对大气光偏振图像的估计,避免了对大气光偏振度的求解,提高了大气光估计的准确度。将自然图像与大气光图像梯度先验信息作为图像分层的约束条件,估计大气光偏振图像,然后从大气光偏振图像中解析大气光。最后,结合雾天偏振重构模型,并在大气光图像中估计无穷远处大气光,重构出清晰的无雾图像。实验结果表明,所提方法重构的图像更清晰,细节更丰富,可适用不同浓度下的雾天图像重构,同时验证了大气光偏振度是一个全局变量。但在估计大气光偏振图像时,所提方法采用分层和引导滤波,可能会破坏偏振信息,将与实际大气光偏振信息有一定误差。未来,将就如何准确获取大气光偏振图像信息开展进一步研究。

参考文献

[1] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.

Liang J, Ju H J, Zhang W F, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica, 2017, 37(4): 0400001.

[2] Schechner YY, Narasimhan SG, Nayar SK. Instant dehazing of images using polarization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, December 8-14, 2001, Kauai, HI, USA. New York: IEEE, 2001.

[3] 王勇, 薛模根, 黄勤超. 基于大气背景抑制的偏振去雾算法[J]. 计算机工程, 2009, 35(4): 271-272, 275.

Wang Y, Xue M G, Huang Q C. Polarization dehazing algorithm based on atmosphere background suppression[J]. Computer Engineering, 2009, 35(4): 271-272, 275.

[4] 彭文竹. 基于大气散射模型的偏振图像去雾算法[J]. 电子测量技术, 2011, 34(7): 43-45, 61.

Peng W Z. Polarization dehazing algorithm based on atmosphere scattering model[J]. Electronic Measurement Technology, 2011, 34(7): 43-45, 61.

[5] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.

Zeng Z Y, Zhou Y T, Chi Y, et al. Dark channel prior dehazing algorithm based on sky optimization of digital image[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081010.

[6] 方帅, 夏秀山, 赵育坤, 等. 利用偏振分析的雾天图像复原[J]. 合肥工业大学学报(自然科学版), 2015, 38(4): 468-473.

Fang S, Xia X S, Zhao Y K, et al. Image haze removal using polarization analysis[J]. Journal of Hefei University of Technology (Natural Science), 2015, 38(4): 468-473.

[7] Liu F, Cao L, Shao X P, et al. Polarimetric dehazing utilizing spatial frequency segregation of images[J]. Applied Optics, 2015, 54(27): 8116-8122.

[8] 赵录建, 高隽, 毕冉, 等. 基于最大和最小光强图像的偏振去雾方法[J]. 应用光学, 2017, 38(3): 415-420.

Zhao L J, Gao J, Bi R, et al. Polarization defogging method based on maximum and minimum intensity images[J]. Journal of Applied Optics, 2017, 38(3): 415-420.

[9] Li X B, Hu H F, Zhao L, et al. Pseudo-polarimetric method for dense haze removal[J]. IEEE Photonics Journal, 2019, 11(1): 6900611.

[10] 吕晓宁, 刘扬阳, 谭政, 等. 一种偏振普适性多尺度实时的图像去雾算法[J]. 光子学报, 2019, 48(8): 0810003.

Lü X N, Liu Y Y, Tan Z, et al. A polarizing universal multi-scale and real-time image defogging algorithm[J]. Acta Photonica Sinica, 2019, 48(8): 0810003.

[11] 杨爱萍, 王海新, 王金斌, 等. 基于透射率融合与多重导向滤波的单幅图像去雾[J]. 光学学报, 2018, 38(12): 1210001.

Yang A P, Wang H X, Wang J B, et al. Image dehazing based on transmission fusion and multi-guided filtering[J]. Acta Optica Sinica, 2018, 38(12): 1210001.

[12] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 122602.

Zhang S, Zhan J T, Fu Q, et al. Polarization detection defogging technology based on multi-wavelet fusion[J]. Laser & Optoelectronics Progress, 2018, 55(12): 122602.

[13] Bickel W S, Videen G W. Polarized light-scattering applications and measurements of fundamental systems[J]. Proceedings of SPIE, 1992, 1746: 14-21.

[14] Cox L J. Optics of the atmosphere-scattering by molecules and particles[J]. Journal of Modern Optics, 1977, 24(7): 779.

[15] LevinA, ZometA, WeissY. Learning to perceive transparency from the statistics of natural scenes[C]∥Advances in Neural Information Processing Systems 2003, December 8-13, 2003, Vancouver, British Columbia, Canada.New York: MIT Press, 2003.

[16] LevinA, WeissY. User assisted separation of reflections from a single image using a sparsity prior[M] ∥Pajdla T, Matas J. Computer vision - ECCV 2004. Lecture notes in computer science. Berlin, Heidelberg: Springer, 2004, 3021: 602- 613.

[17] Geman D, Yang C. Nonlinear image recovery with half-quadratic regularization[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 1995, 4(7): 932-946.

[18] Wang Y L, Yang J F, Yin W T, et al. A new alternating minimization algorithm for total variation image reconstruction[J]. SIAM Journal on Imaging Sciences, 2008, 1(3): 248-272.

[19] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

邵子奇, 金海红, 钱立进, 范之国. 基于大气光偏振层析的雾天图像重构方法[J]. 激光与光电子学进展, 2020, 57(22): 221009. Ziqi Shao, Haihong Jin, Lijin Qian, Zhiguo Fan. Method of Haze Image Reconstruction Based on PolarizationLayering and Analysis of Airlight[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221009.

基于大气光偏振层析的雾天图像重构方法下载： 976次

1 引言

2 雾天图像偏振重构模型

图 1. 雾天图像重构方法示意图

Fig. 1. Diagram of haze image reconstruction method

3 偏振层析估计大气光

3.1 大气光梯度先验

图 2. 自然图像的梯度特征。(a)自然场景图像;(b)梯度直方图;(c)拉普拉斯分布

Fig. 2. Gradient characteristics of nature image. (a) Nature scene image; (b) gradient histogram; (c) Laplace distribution

图 3. 不同雾浓度下大气光的梯度特征

Fig. 3. Gradient characteristics of airlight under different dense haze

图 4. 大气光梯度先验。(a)大气光梯度直方图;(b)大气光梯度先验模型

Fig. 4. Airlight gradient prior. (a) Gradient histogram of airlight; (b) model of airlight gradient prior

3.2 大气光偏振层析

图 5. ξ对图像分层的影响

Fig. 5. Influence of ξ for image layering

图 6. 0°通道下大气光偏振图像分层结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 6. Layering results for polarized airlight images under 0° channel. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image by proposed method

3.3 估计无穷远处大气光

4 实验与讨论

4.1 实验结果

图 7. 大气光偏振图像估计结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 7. Estimated results for polarized airlight images. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image using the proposed method

图 8. 雾天图像重构结果。(a)雾天强度图像;(b)所提方法估计的大气光图像;(c)所提方法重构的图像

Fig. 8. Results of haze image reconstruction. (a) Haze intensity image; (b) estimated airlight image by proposed method; c) reconstructed image using the proposed method

图 9. 灰度直方图与梯度直方图比较结果。(a)雾天图像与重构图像;(b)灰度直方图;(c)梯度直方图

Fig. 9. Comparison results of gray histogram and gradient histogram. (a) Haze image and reconstructed image; b) gray histogram; (c) gradient histogram

图 10. 不同雾浓度条件下的雾天图像重构结果。(a)雾天图像;(b) Schechner方法的去雾结果;(c)所提方法的去雾结果

Fig. 10. Reconstructed results for haze image with different dense haze. (a) Haze image; (b) dehazing results of Schechner method; (c) dehazing results of proposed method

表 1. 不同去雾方法的客观评价结果

Table 1. Objective evaluation results for different dehazing methods

4.2 大气光偏振度讨论

图 11. 雾天图像与大气光图像的偏振度图像及其灰度直方图。(a)雾天图像;(b)雾天图像的偏振度图;(c)雾天图像的灰度直方图;(d)所提方法估计的大气光图像;(e)大气光图像的偏振度图;(f)大气光图像的灰度直方图

Fig. 11. Degree of polarization(Dop) image and its gray histogram of haze image and airlight image. (a) Haze image; (b) Dop image of haze image; (c) gray histogram of haze image; (d) estimated airlight image by proposed method; (e) Dop image of airlight image; (f) gray histogram of airlight image

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于大气光偏振层析的雾天图像重构方法 下载： 976次

1 引言

2 雾天图像偏振重构模型

图 1. 雾天图像重构方法示意图

Fig. 1. Diagram of haze image reconstruction method

3 偏振层析估计大气光

3.1 大气光梯度先验

图 2. 自然图像的梯度特征。(a)自然场景图像;(b)梯度直方图;(c)拉普拉斯分布

Fig. 2. Gradient characteristics of nature image. (a) Nature scene image; (b) gradient histogram; (c) Laplace distribution

图 3. 不同雾浓度下大气光的梯度特征

Fig. 3. Gradient characteristics of airlight under different dense haze

图 4. 大气光梯度先验。(a)大气光梯度直方图;(b)大气光梯度先验模型

Fig. 4. Airlight gradient prior. (a) Gradient histogram of airlight; (b) model of airlight gradient prior

3.2 大气光偏振层析

图 5. ξ对图像分层的影响

Fig. 5. Influence of ξ for image layering

图 6. 0°通道下大气光偏振图像分层结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 6. Layering results for polarized airlight images under 0° channel. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image by proposed method

3.3 估计无穷远处大气光

4 实验与讨论

4.1 实验结果

图 7. 大气光偏振图像估计结果。(a)雾天偏振图像;(b)目标纹理层;(c)大气光层;(d)所提方法估计的大气光偏振图像

Fig. 7. Estimated results for polarized airlight images. (a) Polarized haze image; (b) object texture layer; (c) airlight layer; (d) estimated polarized airlight image using the proposed method

图 8. 雾天图像重构结果。(a)雾天强度图像;(b)所提方法估计的大气光图像;(c)所提方法重构的图像

Fig. 8. Results of haze image reconstruction. (a) Haze intensity image; (b) estimated airlight image by proposed method; c) reconstructed image using the proposed method

图 9. 灰度直方图与梯度直方图比较结果。(a)雾天图像与重构图像;(b)灰度直方图;(c)梯度直方图

Fig. 9. Comparison results of gray histogram and gradient histogram. (a) Haze image and reconstructed image; b) gray histogram; (c) gradient histogram

图 10. 不同雾浓度条件下的雾天图像重构结果。(a)雾天图像;(b) Schechner方法的去雾结果;(c)所提方法的去雾结果

Fig. 10. Reconstructed results for haze image with different dense haze. (a) Haze image; (b) dehazing results of Schechner method; (c) dehazing results of proposed method

表 1. 不同去雾方法的客观评价结果

Table 1. Objective evaluation results for different dehazing methods

4.2 大气光偏振度讨论

图 11. 雾天图像与大气光图像的偏振度图像及其灰度直方图。(a)雾天图像;(b)雾天图像的偏振度图;(c)雾天图像的灰度直方图;(d)所提方法估计的大气光图像;(e)大气光图像的偏振度图;(f)大气光图像的灰度直方图

Fig. 11. Degree of polarization(Dop) image and its gray histogram of haze image and airlight image. (a) Haze image; (b) Dop image of haze image; (c) gray histogram of haze image; (d) estimated airlight image by proposed method; (e) Dop image of airlight image; (f) gray histogram of airlight image

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于大气光偏振层析的雾天图像重构方法下载： 976次