光学学报, 2021, 41 (19): 1910001, 网络出版: 2021-10-09   

基于高斯凸优化与光幕双约束的退化场景复原 下载: 687次

Degraded Scene Restoration Based on Gaussian Convex Optimization and Double Constraints of Light Curtain
作者单位
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
摘要
针对雾霾和沙尘天气下的场景退化问题,提出一种基于高斯模型凸优化与光幕双约束的退化场景复原算法。首先根据景深与场景亮度和饱和度之间的相关关系,利用高斯模型和凸优化估计景深;其次通过对大气光幕与场景关系作深入分析,结合最小通道平滑和景深衰减双约束获得退化场景的大气光幕;然后通过亮通道先验以及局部大气光的改进求解获得大气光值;最后基于复原模型对退化场景进行复原处理,并对沙尘场景进行颜色修正,进而实现场景复原。实验结果表明,所提算法的复原场景亮度适宜,颜色自然,细节信息丰富,在定量指标中也可以取得理想的评分,有效解决退化场景出现的偏色和细节丢失等问题。
Abstract
Aim

ing at the problem of scene degradation in haze and sandy weather, a degraded scene restoration algorithm based on convex optimization of Gaussian model and double constraints of light curtains is proposed. First, according to the correlation between depth of field and scene brightness and saturation, Gaussian model and convex optimization are used to estimate depth of field. Second, the relationship between atmospheric light curtain and scene is deeply analyzed, and the atmospheric light curtain of degraded scene is obtained by combining minimum channel smoothing and depth-of-field attenuation constraints. Then, the atmospheric light value is obtained through the improvement of the bright channel a priori and the local atmospheric light. Finally, the degraded scene is restored based on the restoration model, and the color of the sand and dust scene is corrected to realize the scene restoration. The experimental results show that the restored scene of the proposed algorithm has suitable brightness, natural color and rich detail information. It can also obtain an ideal score in the quantitative index, which can effectively solve the problems of color cast and detail loss in degraded scenes.

1 引言

在雾霾、沙尘天气下采集到的图像或者视频信息往往具有低对比度、高模糊性、颜色偏移等特征,这对计算机视觉的相关任务造成了极大的影响,因此对于此类退化场景的复原研究具有较大的研究价值和现实意义。

随着计算机视觉的快速发展,基于物理模型和基于深度学习的去雾算法齐头并进,并显示出了各自的优势。He等[1]提出了著名的暗通道先验(Dark Channel Prior,DCP)算法,对于一般雾天场景均具有较好的处理效果,但在含有天空或高亮白色物体的情况下透射率估计错误,从而导致算法失效。Xu等[2]通过观察发现,退化场景图像的三个颜色通道中至少有一个具有较大的强度值,且该强度值趋于清晰场景的大气光值,尽管该算法对大气光估计的更加准确,但透射率估计不足,导致复原场仍然出现一些失真现象。Mei等[3]为了克服DCP算法的不足,提出了一种暗通道融合的去雾算法,尽管对于天空等区域有所改善,但仍存在不足。Yang等[4]为了克服DCP算法中最小滤波操作引入的块效应和光晕问题,提出了一种边缘保持和幂律压缩函数代替最小值滤波的去雾算法,其对DCP算法实现了较大的改善,除一些远景去雾不彻底外,该算法对其他场景均能获得较好的复原效果。由于大气散射模型不具有直接可解性,因此该类模型[5-9]需借助一些假设或先验信息,但先验信息往往只针对特殊场景,而在一般场景下具有一定的局限性。尽管如此,从复原成本和质量效果等方面分析,该类模型依然具有较高的实用价值。

由于卷积网络在图像处理中的独特优势,基于数据驱动的去雾算法也取得了快速发展。Cai等[10]设计了一种端到端的去雾网络,该网络利用先验信息以多尺度映射和最大池化等操作得到透射率。Ren等[11]提出了一种用于透射率估计的多尺度网络,其主要思想是粗级网络提取、精细尺度网络优化,这种处理方式在很大程度上避免了透射率信息的丢失。Li等[12]将透射率和大气光值整合为一个新变量,并以一种轻量级网络获得该变量,此方法在一定程度上消除了分别估计透射率和大气光值的过程中引入的误差叠加问题,具有一定的参考价值。Qian等[13]在颜色恢复和图像去雾的基础上设计了一种去雾网络,对于测试集图像实现了良好的去雾效果,但在真实场景的复原处理中具有一定的局限性。基于深度学习的去雾算法[14-18]得到了研究者的重视,此类算法以模型训练代替参数估计,具有一定的优势,然而在有限数据集上学习到的模型映射关系很难反映真实场景在雾霾、沙尘等天气下的退化过程,且大规模的计算对实验设备和数据量的要求极高。

综上所述,根据CAP(Color Attenuation Prior)理论[19],首先利用高斯模型和凸优化设计了一种退化场景深度图估计模型;其次,对退化场景作了深入分析,以最小颜色通道和深度图作为双约束条件,得到了反映退化程度的大气光幕图;然后根据亮通道先验理论[20-21]和局部大气光的优势与不足,获得了自适应融合的场景大气光,并以全反射理论对沙尘场景进行颜色修复;最后利用场景大气光和大气光幕获得复原场景。整个算法不涉及透射率估计,避免了透射率估计不足引入的失真问题,且对任意退化场景有理想的复原效果。

2 相关理论

计算机视觉任务中,大气散射模型常被用来描述恶劣天气下场景的退化过程,数学表达式为

I(x)=J(x)t(x)+A[1-t(x)],(1)

式中:I(x)表示退化场景;J(x)表示复原场景;t(x)表示介质透射率;A表示大气光值;x表示图像中像素的位置。J(x)t(x)为直接衰减成分,表示场景辐射在介质中的衰减;A[1-t(x)]为大气光幕,表示场景退化中加入的大气散射光,其造成了退化场景的模糊和颜色偏移。大气光幕V(x)的表达式为

V(x)=A[1-t(x)](2)

大气光幕V(x)小于退化场景I(x),而且V(x)总为正值,则进一步可得

V(x)W(x)=min[Ic(x)]V(x)>0,(3)

式中:W(x)表示退化场景的最小通道图像;c∈{r,g,b}表示退化场景的三个颜色通道。在均匀介质中,透射率随场景深度呈指数衰减,表达式为

t(x)=exp[-Bd(x)],(4)

式中:B表示大气散射系数;d(x)表示场景深度函数。联立(2)式和(4)式,V(x)可表示为

V(x)=A{1-exp[-Bd(x)]}(5)

Zhu等[19]认为,景深反映着雾浓度信息,且与退化场景的亮度和饱和度特征有关,通过对大量退化场景的统计发现,景深越大的区域,雾浓度越高,亮度值越大,饱和度越低。根据上述特性进行景深建模,结合监督学习的方式获得景深模型的参数,进而获得景深估计。虽然景深较大的区域具有高亮、偏白等特性,但有些退化场景的近景区域同样存在白色物体,容易造成景深错误估计,进而影响复原效果。

3 本文算法

根据大气成像理论及第2节的相关理论分析,景深与退化场景的亮度分量呈正相关,与退化场景的饱和度分量呈负相关;大气光幕强度值低于退化场景的最小通道图像,且与景深呈(5)式所示的关系。对大量不同特征的退化场景进行分析,本文提出了一种基于凸优化的景深估计和大气光幕求解方法,进而得到复原场景。

3.1 基于高斯模型凸优化的景深估计

根据(5)式可知,透射率与景深呈指数衰减,衰减曲线如图1(a)所示。从图1(a)可以看到,随着景深趋于无穷,透射率趋于0,但对于天空等区域,透射率并非为0,因此透射率随景深的真实关系如图2(a)所示。当大气光值确定时,大气光幕与景深存在一种非线性的正相关关系,如图1(b)所示,在近景、中景等区域,大气光幕随着景深的增加而快速增加,在远景浓雾区域,大气光幕的变化趋于平缓。在天空等远景区域,雾浓度尽管很高,但并非完全不可见,因此大气光幕与景深的修正关系如图2(b)所示。

图 1. 不同参数与景深的关系。(a)透射率;(b)大气光幕

Fig. 1. Relationship between different parameters and depth of field. (a) Transmittance; (b) atmospheric light curtain

下载图片 查看所有图片

图 2. 不同参数与景深的修正关系。 (a)透射率;(b)大气光幕

Fig. 2. Modification relationship between different parameters and depth of field. (a) Transmittance; (b) atmospheric light curtain

下载图片 查看所有图片

不同情况下的雾图及性能曲线如图3所示。对于雾天退化图像,场景深度越大,则雾浓度越高,亮度越高,饱和度越低,以灰度分布的形式更是说明了上述特性[图3(d)],反之亦然。因此以退化场景的亮度和饱和度为约束,对场景深度建模是可行的。颜色衰减先验景深如图4所示。Zhu等[19]建立了一种基于景深的线性模型,但由于白色区域的误判和监督学习训练参数的局限性,景深估计的准确性较低,且在近景具有高亮区域的退化场景中,极易造成由景深估计不准带来的复原失真和偏色现象,如图4的火车灯和白色房子具有较高的亮度,但这些区域并非景深区域,因此CAP算法[22]的线性景深估计不准确,进而影响复原效果。

图 3. 不同情况下的雾图及性能曲线。(a)原始图像; (b)亮度;(c)饱和度;(d)亮度和饱和度与灰度的关系

Fig. 3. Fog images under different conditions and performance curves. (a) Original image; (b) brightness; (c) saturation; (d) relationship among brightness, saturation, and gray scale

下载图片 查看所有图片

图 4. 不同情况下的颜色衰减先验景深示意图。(a)原始图像;(b)亮度;(c)饱和度;(d)景深

Fig. 4. Diagram of depth of field for color priori attenuation under different conditions. (a) Original images; (b) brightness; (c) saturation; (d) depth of field

下载图片 查看所有图片

在凸优化问题中,对于定义在凸集Ω上的函数f,存在任意变量m,nΩ和任意参数α∈(0,1),具有如下关系

f[αm+(1-α)n]αf(m)+(1-α)f(n)(6)

近景区域的白色物体或高亮区域会对场景深度估计造成影响,主要表现为由近景偏白和偏亮造成的景深估计偏大,进而导致复原场景的失真。通过观察(6)式的凸优化规则,有如下启发:1)对于雾霾天气下的退化场景,若近景区域含有高亮、偏白等物体,则景深估计会偏大,导致透射率估计偏小,进而造成复原场景的失真;2)对于沙尘天气下的退化场景,如图4(a)image 1所示,若近景区域不含高亮、偏白物体,且远景区域由于蓝光的吸收和散射出现偏黄,其亮度效果偏暗,景深估计偏小,透射率估计过大,进而造成局部区域的复原不彻底。为了保证算法在任意场景下的适用性和景深估计的精确性,本文首先结合景深和亮度v(x)与饱和度s(x)的相关关系,建立一种基于高斯模型的景深估计函数,表达式为

d0(x)=expδv(x)2-(1-δ)s(x)2ε-1,(7)

式中:δ表示权重参数;ε表示高斯模型方差。根据凸优化准则可得d0(x)≤d1(x),其中d1(x)为基于高斯模型的景深估计函数。其次根据凸优化规则建立(7)式的放大模型,模型可表示为

d1(x)=δexpv(x)2ε+(1-δ)exp-s(x)2ε-1(8)

下面详细分析了基于凸优化与高斯模型估计景深的可行性。对于具有不同特征的退化场景,由(7)式和(8)式获得的景深具有不同的精度,不同景深下的图像如图5所示。若退化场景的近景区域不含高亮、白色物体,则景深可以完全反映雾浓度的分布情况,且与亮度与饱和度呈严格的相关关系;若退化场景的近景区域含有高亮和白色等物体,常规的景深估计会将这些高亮、白色物体的灰度错误地映射到景深分布中,进而导致景深估计偏大。根据大气成像理论,一般退化场景的近景区域具有较低的雾浓度,远景区域的雾浓度较高;因此以亮度和饱和度为约束的景深估计在近景区域的偏差较小,而景深的错误估计往往体现在远景浓雾区域。如前分析,对于沙尘场景,景深估计往往会偏小;雾化场景的景深估计往往偏大,而景深估计无论是偏大还是偏小都会造成透射率估计出现偏差,进而影响复原效果。凸优化规则对于相同变量下的函数具有良好的约束能力,本文将雾化场景和沙尘场景的景深分别设为(6)式左右两端的形式,具体表达式为(7)式和(8)式。为了消除同一估计模型对雾化场景景深估计偏大和沙尘场景景深估计偏小的问题,本文引入几何均值对(7)式和(8)式的景深进行处理,进而获得最终景深,景深的表达式为

d(x)=d0(x)×d1(x)(9)

根据凸优化规则和几何均值可得d0(x)≤d(x)≤d1(x),即最终景深克服了在不同场景下产生的偏大或偏小问题,具有更高的准确性。(9)式中的参数δε的取值决定着景深分布的准确性,本文提出了一种基于绝对值误差的参数迭代求取算法,算法采用RESIDE数据集[23],选取100幅包含室内外图像进行参数迭代,高斯模型参数求取算法输出δε的步骤如下。

1) 根据高斯模型及图像景深特征,确定δ的估计区间为(0,1),ε的估计区间为(0,0.5)。

2) 设定迭代步长为0.1,利用(9)式的景深进行图像复原,并将此复原结果与数据集标签进行比较,求取二者的绝对值误差(MAE),表达式为

VMAE=1M×Ni=1M×NJ'i(x)-Ji(x),(10)

式中:MN分别表示图像的长和宽;J'(x)表示本文复原图像;J″(x)表示数据集标签图像。

3) 设定MAE的阈值为0.05,当MAE值小于0.05时,输出参数δε

4) 对随机选定的100张数据集图像重复步骤2)和步骤3),最后对输出的参数求取均值,进而获得本文高斯模型参数δε,通过所提的迭代算法对参数进行迭代计算。当高斯模型参数δ=0.8和ε=0.2时,图像的时复原效果最佳,MAE值最小。

图5为本文算法和CAP算法[22]的景深估计对比结果。从图5可以看到,对于景深突变较快的图像,CAP算法将中景区域与远景区域错误地连在一起,没有明显的过渡区域,这将导致中景区域出现去雾不彻底、远景区域出现失真、估计结果存在整体偏大的现象,这一现象在远景区域更加明显;本文算法的估计结果较好地体现了近景、中景、远景区域的层次性和差异性,相较于CAP算法具有更高的准确性。

图 5. 不同景深下的对比结果。(a)原始图像;(b) CAP算法;(c)景深d0(x);(d)景深d1(x);(e)最终景深d(x)

Fig. 5. Comparison results under different depths of field. (a) Original images; (b) CAP algorithm; (c) depth of field d0(x); (d) depth of field d1(x); (e) final depth of field d(x)

下载图片 查看所有图片

3.2 基于双约束的大气光幕估计

大气光幕主要体现了雾浓度的分布情况,根据(4)式和(6)式可知,大气光幕存在如下约束

0<V(x)W(x)V(x)=A{1-exp[-Bd(x)]}(11)

大气光幕与最小颜色通道的对应关系如图6所示。从图6可以看到,浓雾区域的大气光幕灰度值较大且相邻像素之间的差异性很小;而薄雾、次浓雾区域的大气光幕灰度值较小且差异性明显。大气光幕与景深的对应关系如图7所示。从图7可以看到,在近景、中景等雾浓度较低区域,大气光幕随着景深的增大而快速增大,在浓雾区域大气光幕趋于平缓;换言之,大气光幕随退化图像最小颜色通道和景深分布的变化关系在远近景具有不同的速率。研究者往往倾向于以最小颜色通道估计大气光幕,而忽视了景深对大气光幕的影响,为了获得更加真实的大气光幕,本文提出了一种基于最小颜色通道与景深双约束的大气光幕估计方法。

图 6. 大气光幕与最小颜色通道的对应关系。(a)原始图像;(b)最小颜色通道;(c)大气光幕

Fig. 6. Correspondence between atmospheric light curtain and minimum color channel. (a) Original image; (b) minimum color channel; (c) atmospheric light curtain

下载图片 查看所有图片

图 7. 大气光幕与景深的对应关系。(a)原始图像;(b)最小颜色通道;(c)大气光幕随景深的变化曲线;(d)大气光幕

Fig. 7. Correspondence between atmospheric light curtain and depth of field. (a) Original image; (b) minimum color channel; (c) variation curve of atmospheric light curtain with depth of field; (d) atmospheric light curtain

下载图片 查看所有图片

根据(11)式可知,大气光幕与退化图像的最小颜色通道存在一定的衰减关系。在大气成像理论中,大气光幕同样受到景深分布的约束,并且根据上述分析,在不同的景深区域,其映射关系的速率不同。考虑到算法复杂度和各参数对光幕精度的影响,本文提出光幕估计算法,该算法输出大气光幕的步骤如下。

1) 求取退化场景的最小颜色通道W(x)=min[Ic(x)],c∈{r,g,b}。由于大气光幕反映着雾浓度的分布,而浓雾区域通常具有高亮度和低可见度等特点,即远景浓雾区域下,物体纹理几乎不可见。因此为了更加逼近真实的大气光幕,对最小颜色通道作联合双边滤波以消除纹理且使其更加平滑。联合双边滤波的表达式为

Jp=1kpqIqf(|p-q|)g(|p'-q'),(12)

式中:Jp表示输出图像;(p,q)表示图像像素坐标;f(·)表示空间域权重分布函数;g(·)表示像素范围域权重分布函数。本文采用退化场景的亮度分量作为联合双边滤波的引导图像。

2) 由图6及(11)式可知,大气光幕总是大于0且小于退化场景的最小颜色通道,因此本文规定大气光幕上边界为退化场景的最小颜色通道的平滑图像,即

Vmax(x)=BF[W(x)],(13)

式中:Vmax(x)表示大气光幕上边界;BF(·)表示联合双边滤波函数,表达式为(12)式。

3)根据图7及前文所述,大气光幕随景深的变化而变化。在近景、中景等非浓雾区域,大气光幕随景深快速变化,在远景等浓雾区域大气光幕趋于平缓,如图2(b)所示。在近景、中景等区域,景深和大气光幕一一映射,其映射关系近似为指数映射,表达式为

Vmin(x)=1-exp[-k×d(x)],(14)

式中:Vmin(x)表示大气光幕下边界;k表示映射系数,从大气成像理论的角度讲,其反映了大气散射系数的大小,取值为1。

4) 不失一般性,求取大气光幕上下边界的均值并作为最终大气光幕,表达式为

V(x)=Vmax(x)+Vmin(x)2(15)

从退化场景深度和最小颜色通道出发,大气光幕的估计有效避免了透射率估计不准确的问题,随机选取户外不同雾浓度分布的三幅真实退化图像进行光幕的估计和复原,复原结果如图8所示。从图8可以看到,雾浓度分布稍微均匀的退化场景对应的大气光幕雾气均匀,如图8(a)image 1和image 3所示,而对于雾浓度分布不均匀且景深复杂的退化图像,其大气光幕雾气在远景分布浓密,近景和中景稍淡,如图8(a)image 2所示。从直观视觉效果分析,复原场景的亮度适宜,颜色自然,去雾效果彻底。

图 8. 大气光幕估计和复原的示意图。(a)退化场景;(b)景深;(c)大气光幕; (d)复原的场景

Fig. 8. Schematic of atmospheric light curtain estimation and restoration. (a) Degradation scenarios; (b) depth of field; (c) atmospheric light curtains; (d) scenes of restoration

下载图片 查看所有图片

3.3 大气光值的估计

退化场景复原中,大气光值反映着获取场景时的亮度信息,其准确估计对复原场景的亮暗程度有较大的影响。文献[ 1]利用暗通道估计全球大气光值,将暗通道图像中最亮的前0.1%个像素点对应原图中的像素值作为大气光值,这种估计极易受到近景强光的干扰,进而导致估计结果偏大。文献[ 5]以局部大气光值代替全球大气光值,并利用形态学消亮和滤波平滑操作得到局部大气光值,表达式为

A'(x)=BF{imclose[v(x),se],v(x)},(16)

式中:imclose(·)表示形态学闭操作;se表示形态学滤波核参数。文献[ 2]通过统计观察,发现退化场景的颜色通道图中至少存在一个通道具有较大的像素值,这个通道被称为亮通道,其像素值趋于清晰场景的大气光值,表达式为

A(x)=maxc{r,g,b}maxxΟ[Ic(x)],(17)

式中:O表示最大滤波局部窗口。大气光值估计的难点在于当近地面出现强光或高亮物体时,大气光值估计严重偏大;局部大气光值采用单一尺寸形态学滤波核来处理,极易造成滤波区域的错误选择,即选取过大会引入额外噪声,过小会发生信息丢失的问题。亮通道先验的大气光值取决于退化场景的亮通道值,通常对于雾天退化图像较为适宜,但沙尘天气下的退化图像严重偏黄,退化场景整体偏暗,其对应的亮通道也偏小,进而造成亮通道值和大气光值的错误计算。为了解决局部大气光值偏大和亮通道值偏小的问题,本文利用自适应阈值对局部大气光值和亮通道值进行融合处理,表达式为

A(x)=αA(x)+βA'(x),(18)α=mean[V(x)]β=1-α,(19)

式中:αβ表示根据图像亮度所产生的大气光融合参数,且满足α+β=1。对于雾天条件下的图像,雾浓度越大的区域亮度值越大,而大气光值在图像退化或者复原中仅仅反映着亮度信息,本文根据景深和最小颜色通道双约束的方式得到了反映雾浓度的大气光幕图,对大气光幕图逐像素求取灰度均值,该值的大小反映了退化图像的亮度,因此可作为大气光融合参数。不同情况下的大气光墓图如图9所示。对于近地具有强光干扰和超远景天空的退化图像,本文算法估计的更加准确。

图 9. 不同情况下的大气光幕图。(a)退化场景;(b)局部大气光;(c)亮通道大气光;(d)本文算法

Fig. 9. Atmospheric light curtain under different conditions. (a) Degradation scenarios; (b) local atmospheric light; (c) bright channel atmospheric light; (d) proposed algorithm

下载图片 查看所有图片

3.4 沙尘退化场景颜色修复

沙尘天气下退化场景偏黄的原因:1)大气中的颗粒介质对光有反射和散射;2)沙尘杂质对部分场景有蓝光吸收。对于任意图像,最亮的像素点为白点,以此为出发点,本文对沙尘天气下的退化场景利用全反射处理进行颜色修正。全反射理论认为,一幅图像在YCbCr空间中亮度最大的点为白点,并逐像素进行颜色修正,图10为沙尘天气下的退化场景颜色修复结果。从图10可以看到,对于偏黄的沙尘退化场景基本完成了颜色的修复,且保持了原图的信息。

图 10. 沙尘天气下的退化场景颜色修复结果。 (a)沙尘场景;(b)修正场景

Fig. 10. Color restoration results of degraded scene in sand and dust weather. (a) Sand-dust scene; (b) correction of scenes

下载图片 查看所有图片

3.5 退化场景复原

根据大气散射模型可得大气光幕下场景复原的表达式,即

J(x)=A(x)×I(x)-V(x)A(x)-V(x)(20)

雾天和沙尘天气下退化场景的复原结果如图11所示,本文算法的原理框图如图12所示。从图11可以看到,本文算法取得了彻底的复原效果,且复原场景亮度适宜,颜色自然。

图 11. 退化场景的复原结果。(a)退化场景;(b)景深;(c)大气光幕;(d)复原的场景

Fig. 11. Restoration results of degraded scene. (a) Degraded scene; (b) depth of field; (c) atmospheric light curtain; (d) restored scene

下载图片 查看所有图片

图 12. 所提算法的原理框图

Fig. 12. Block diagram of proposed algorithm

下载图片 查看所有图片

4 实验分析

为了验证所提算法的可行性和有效性,本文将进行主观评价和客观评价。实验环境为MATLAB(R2016b),计算机配置为Intel(R) Core(TM) i5-9400 CPU @2.90 GHZ。为了充分体现所提算法的有效性,本文从常规去雾算法和深度学习算法两方面进行实验对比,常规算法选择He等[1]提出的DCP算法、Wang等[7]提出的线性传输算法、Yang等[4]提出的去雾算法和Yang等[9]的提出的可见度复原算法;深度学习算法选择Cai等[10]提出的Dehaze-Net算法、Ren等[14]提出的GFN(Gated Fusion Network)算法和Li等[12]提出的AOD-Net(All-in-One Dehazing)算法。

4.1 主观评价

主观实验可以直观地给出各算法的差异性,为了充分说明本文算法在景深估计和大气光幕求解方面的合理性,本文主观评价主要包含以下实验:1)户外真实环境下的雾天退化场景复原;2)户外真实环境下的沙尘条件退化场景复原;3)测试集图像复原,测试集采用公开数据集RESIDE[23]。具体实验对比结果如图13~15所示。

图 13. 不同算法下真实雾图的复原结果。(a)退化场景;(b)文献[ 1]; (c)文献[ 7];(d)文献[ 4];(e)文献[ 10]; (f)文献[ 14];(g)文献[ 12]; (h)所提算法

Fig. 13. Restoration results of real fog images under different algorithms. (a) Degradation scenarios; (b) Ref. [1]; (c) Ref. [7]; (d) Ref. [4]; (e) Ref. [10]; (f) Ref. [14]; (g) Ref. [12]; (h) proposed algorithm

下载图片 查看所有图片

图 14. 不同算法下沙尘场景的复原结果。(a)退化场景;(b)文献[ 1]; (c)文献[ 7];(d)文献[ 4];(e)文献[ 10]; (f)文献[ 14];(g)文献[ 12]; (h)所提算法

Fig. 14. Restoration results of sand and dust scene under different algorithms. (a) Degradation scenarios; (b) Ref. [1]; (c) Ref. [7]; (d) Ref. [4]; (e) Ref. [10]; (f) Ref. [14]; (g) Ref. [12]; (h) proposed algorithm

下载图片 查看所有图片

图13可以看到,各算法对于不同特征的雾天退化场景复原具有明显的差异性;He等[1]算法去雾彻底,但在景深突变区域出现了光晕和伪影,在天空等高亮区域出现了偏色;Wang等[7]算法很大程度上消除了光晕和伪影,但出现了明显的去雾不彻底现象和偏色问题;Yang等[4]算法在近景区域去雾彻底,但在超远景区域仍具去雾不彻底现象;Cai等[10]算法出现了光晕且留有轻微的残雾;Ren等[14]算法去雾彻底,但发生了偏色;Li等[12]算法的复原结果中残雾较多且严重偏暗;本文算法去雾彻底,亮度适宜,颜色自然。从图14可以看到,对于沙尘场景,由于去雾算法的失效性,对比算法的复原效果较差;Yang等[9]的近大气光检测算法通过直方图预处理对沙尘场景的颜色作了较大的修正,得到了较为理想的复原结果;本文算法利用全反射理论对沙尘场景的颜色进行修正,相较而言,复原场景有所改善,但仍具很大的研究空间。从图15可以看到,在测试集合成图像复原实验中,He等[1]算法和Wang等[7]算法同样出现了上述问题;Cai等[10]算法去雾彻底,但结果偏暗;Ren等[14]算法和Li等[12]算法残雾较多,但色彩保持较好;本文算法的清晰度高,细节明显,颜色真实,进一步表明所提算法具有较高的有效性和可行性。

图 15. 不同算法下RESIDE测试集的复原结果。(a)合成雾图;(b)文献[ 1]; (c)文献[ 7];(d)文献[ 10];(e)文献[ 14]; (f)文献[ 12];(g)所提算法;(h)真实场景

Fig. 15. Recovery results of RESIDE test set under different algorithms. (a) Composite fog chart; (b) Ref. [1]; (c) Ref. [7]; (d) Ref. [10]; (e) Ref. [14]; (f) Ref. [12]; (g) proposed algorithm; (h) real scenes

下载图片 查看所有图片

4.2 客观评价

主观视觉效果具有片面性,本文对所提算法以客观指标对比的方法进行辅助评价,采用无参考图像质量评价方法[20-22]、选择直方图相似度(Histogram Similarity, HS)、图像对比度(Image Contrast, IC)、视觉对比度(Visual Contrast, VC)、通用质量指数(Usual Quality Index, UQI)作为评价指标,其中HS主要衡量图像直方图的相似性,IC反映了图像的色彩度,VC反映了图像的主观视觉效果(可视度),UQI主要衡量复原图像和退化图像之间的结构相似性,另外,以运行时间来评价各算法的复杂度。对于测试集图像,选择峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性(Structural Similarity, SSIM)和相关系数(Correlation Coefficient, CC)作为定量指标,并随机选取RESIDE测试集的50张图片求取平均对比度进行比较。除运行时间,其余指标越大,则算法越有效。各指标的表达式为

IC=Cj-Ci,(21)VC=100×Rv/Rt,(22)

式中:CjCi分别表示清晰图像和有雾图像的平均对比度;Rv表示图像局部区域的像素值大于一定阈值的数量;Rt表示图像局部区域的像素总数。各算法在真实雾图上的指标对比如表1所示,在沙尘场景下的指标对比如表2所示,在测试集上的评价结果如表3所示。

表 1. 各算法在雾天场景下的指标对比

Table 1. Comparison of indicators of various algorithms in foggy scene

IndexRef. [1]Ref. [7]Ref. [4]Ref. [10]Ref. [14]Ref. [12]Proposed algorithm
HS0.48020.57510.60920.55570.45170.55400.6126
IC0.31180.13300.21290.32490.44260.31210.4009
VC83.4984.0774.7568.5081.4773.2589.09
UQI0.79800.80890.85840.75860.60200.76900.8610
Time /s0.8990.8741.6172.0452.1781.8941.132

查看所有表

表 2. 各算法在沙尘场景下的指标对比

Table 2. Comparison of indicators of various algorithms in sand and dust scene

IndexRef. [1]Ref. [7]Ref. [4]Ref. [10]Ref. [14]Ref. [12]Proposed algorithm
HS0.05240.06610.21400.10230.08540.08900.2139
IC0.16820.07150.24060.18360.24960.14580.2413
VC32.3950.1553.6649.9628.1424.0853.64
UQI0.85930.90580.95870.80970.82390.86450.9582
Time /s1.0550.9771.6262.0982.1771.9241.147

查看所有表

表 3. 各算法在测试集中的指标对比

Table 3. Comparison of indicators of various algorithms in test set

IndexRef. [1]Ref. [7]Ref. [4]Ref. [10]Ref. [14]Ref. [12]Proposed algorithm
PSNR16.5918.7721.6319.2622.0521.9422.47
SSIM0.94790.95090.95930.95170.97240.94180.9617
CC0.94110.81290.95010.94670.93900.94980.9506

查看所有表

结合客观评价,各算法在不同的退化场景下表现出了各自的优势,Wang等[7]算法具有更快的运行时间,Ren等[14]算法获得了较高的图像对比度评价,本文算法在直方图相似度、视觉对比度、通用质量指数等方面均超越了对比算法。在测试集复原实验中,尽管Ren等[14]算法获得了较高的SSIM指标,但本文算法整体较好,且优于其他算法。则综合主、客观评价结果,本文算法在退化场景的复原处理中具有较高的可行性和有效性。

5 结论

雾天、尘霾天气下的退化场景复原一直是计算机视觉的重要研究之一,为了高效且低成本地实现退化场景复原,本文提出了一种基于高斯模型凸优化与大气光幕双约束的场景复原算法。首先,利用场景亮度和饱和度进行高斯建模,并以凸优化的巧妙关系获得任意退化场景的深度估计;其次,以场景最小通道和景深作为双约束条件,借助均值处理得到任意退化场景的大气光幕;然后根据大气光仅反映亮度信息为原则,在局部大气光的基础上引入亮通道大气光,并以自适应融合的方式得到场景大气光;最后将大气光幕和大气光值代入复原模型进行场景复原,并对沙尘场景进行颜色修正。主、客观评价进一步验证了所提算法在退化场景复原中的适用性和有效性;在沙尘场景复原中,本文算法较其他算法具有较大的优势,但全反射的颜色修正并不具通用性,因此沙尘场景的复原处理仍具一定的研究改进空间。

参考文献

[1] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[2] Xu YS, Guo XQ, Wang HY, et al.Single image haze removal using light and dark channel prior[C]∥2016 IEEE/CIC International Conference on Communications in China (ICCC), July 27-29, 2016, Chengdu, China.New York: IEEE Press, 2016: 16410299.

[3] MeiW, LiX. Single image dehazing using dark channel fusion and haze density weight[C]∥2019 IEEE 9th International Conference on Electronics Information and Emergency Communication (ICEIEC), July 12-14, 2019, Beijing, China.New York: IEEE Press, 2019: 579- 585.

[4] Yang Y, Wang Z W. Haze removal: push DCP at the edge[J]. IEEE Signal Processing Letters, 2020, 27: 1405-1409.

[5] 梅康, 刘小勤, 沐超, 等. 基于自适应指数加权移动平均滤波的快速去雾算法[J]. 中国激光, 2020, 47(1): 0109001.

    Mei K, Liu X Q, Mu C, et al. Fast defogging algorithm based on adaptive exponentially weighted moving average filtering[J]. Chinese Journal of Lasers, 2020, 47(1): 0109001.

[6] Sun W, Wang H, Sun C H, et al. Fast single image haze removal via local atmospheric light veil estimation[J]. Computers & Electrical Engineering, 2015, 46: 371-383.

[7] Wang W C, Yuan X H, Wu X J, et al. Fast image dehazing method based on linear transformation[J]. IEEE Transactions on Multimedia, 2017, 19(6): 1142-1155.

[8] 王振东, 靖旭, 孙国栋, 等. 基于区域对比度约束的暗通道图像去雾[J]. 中国激光, 2019, 46(8): 0810003.

    Wang Z D, Jing X, Sun G D, et al. Image dehazing of dark channels based on area contrast constraint[J]. Chinese Journal of Lasers, 2019, 46(8): 0810003.

[9] Yang Y, Zhang C, Liu L L, et al. Visibility restoration of single image captured in dust and haze weather conditions[J]. Multidimensional Systems and Signal Processing, 2020, 31(2): 619-633.

[10] Cai B L, Xu X M, Jia K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[11] Ren WQ, LiuS, ZhangH, et al. Single image dehazing via multi-scale convolutional neural networks[M] ∥Leibe B, Matas J, Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9906: 154- 169.

[12] Li BY, Peng XL, Wang ZY, et al.AOD-net: all-in-one dehazing network[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE Press, 2017: 4780- 4788.

[13] QianW, ZhouC, Zhang DY. CIASM-net: a novel convolutional neural network for dehazing image[C]∥2020 5th International Conference on Computer and Communication Systems (ICCCS), May 15-18, 2020, Shanghai, China. New York: IEEE Press, 2020: 329- 333.

[14] Ren WQ, MaL, Zhang JW, et al.Gated fusion network for single image dehazing[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA.New York: IEEE Press, 2018: 3253- 3261.

[15] Qin X, Wang Z L, Bai Y C, et al. FFA-Net: feature fusion attention network for single image dehazing[J]. Association for the Advance of Artificial Intelligence (AAAI), 2020, 34(7): 11908-11915.

[16] Li C Y, Guo C L, Guo J C, et al. PDR-net: perception-inspired single image dehazing network with refinement[J]. IEEE Transactions on Multimedia, 2020, 22(3): 704-716.

[17] 杨燕, 陈高科. 基于光补偿和逐像素透射率的图像复原算法[J]. 通信学报, 2017, 38(5): 48-56.

    Yang Y, Chen G K. Single image visibility restoration using optical compensation and pixel-by-pixel transmission estimation[J]. Journal on Communications, 2017, 38(5): 48-56.

[18] 刘杰平, 杨业长, 陈敏园, 等. 结合卷积神经网络与动态环境光的图像去雾算法[J]. 光学学报, 2019, 39(11): 1110002.

    Liu J P, Yang Y C, Chen M Y, et al. Image dehazing algorithm based on convolutional neural network and dynamic ambient light[J]. Acta Optica Sinica, 2019, 39(11): 1110002.

[19] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[20] Min X K, Zhai G T, Gu K, et al. Quality evaluation of image dehazing methods using synthetic hazy images[J]. IEEE Transactions on Multimedia, 2019, 21(9): 2319-2333.

[21] Xu Y, Wen J, Fei L K, et al. Review of video and image defogging algorithms and related studies on image restoration and enhancement[J]. IEEE Access, 2016, 4: 165-188.

[22] 苏畅, 毕国玲, 金龙旭, 等. 基于暗通道图像质心偏移量的去雾算法[J]. 光学学报, 2019, 39(5): 0533001.

    Su C, Bi G L, Jin L X, et al. Dehazing algorithm based on dark-channel image centroid offset[J]. Acta Optica Sinica, 2019, 39(5): 0533001.

[23] Li B Y, Ren W Q, Fu D P, et al. Benchmarking single-image dehazing and beyond[J]. IEEE Transactions on Image Processing, 2019, 28(1): 492-505.

杨燕, 张金龙, 王蓉. 基于高斯凸优化与光幕双约束的退化场景复原[J]. 光学学报, 2021, 41(19): 1910001. Yan Yang, Jinlong Zhang, Rong Wang. Degraded Scene Restoration Based on Gaussian Convex Optimization and Double Constraints of Light Curtain[J]. Acta Optica Sinica, 2021, 41(19): 1910001.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!