1 引言

在雾、霾等天气条件下,空气中悬浮着大量的小水滴、浮尘颗粒等介质。这些介质对光线具有散射和折射作用,导致成像设备获得的图像对比度和饱和度下降,可视效果较差,也不能满足人们后续对图像的处理需求^[1]。因此,从有雾图像中复原出视觉效果良好的图像具有十分重要的研究意义^[2]。

目前,图像去雾算法主要分为图像增强算法和图像复原算法两大类。图像增强算法以直方图均衡^[3]和Retinex算法^[4]为代表,其主要目的是满足人眼的视觉感知,并在不考虑降解模型的情况下为计算机识别提供便利。图像增强算法不但无法从本质上实现图像去雾,而且容易丢失图像局部细节信息并引入相应噪声。图像复原算法根据大气散射物理模型,利用先验知识或假设,通过求解模型中的未知量复原出无雾图像。这类算法具有一定的内在优势,是当前图像去雾领域的主流算法。近年来,基于假设或先验知识的图像去雾算法的研究取得了重大突破。He等^[5]通过对大量清晰无雾图像的观察和统计,提出暗通道先验理论,并利用软抠图算法细化透射率,最终复原出无雾图像。但是,暗通道先验理论在图像中的大片天空等明亮区域失效,导致透射率估计不准确,且软抠图算法时间复杂度较高。Meng等^[6]提出了基于边界约束的去雾算法,通过牺牲图像的部分细节特征可以获取效果较好的无雾图像。虽然该方法复原的图像细节有所增多,但是所回复的图像出现了明显的偏色现象。Sun等^[7]提出一种局部大气光估计算法,有效地改善了暗通道先验理论中全局大气光估计不足所造成的影响,但其对含大面积明亮区域的图像复原效果不佳,同时所复原的图像过饱和。杨燕等^[8]提出一种基于边缘保持的自适应高斯衰减图像去雾算法,该方法对边缘与非边缘区域进行了分离,利用邻域内像素点的空间距离构建自适应高斯函数平滑非边缘区域,有效地抑制了景深突变处的Halo效应,但该方法仍然不能有效地估计图像中大面积天空等明亮区域的透射率。Zhu等^[9]通过观察有雾图像在HSV[H表示色调,S表示饱和度,V表示亮度]颜色空间的分布情况,提出利用亮度和饱和度的差值估计景深,并通过建立线性模型对该方法进行了验证。该方法简单有效,但容易受训练样本的影响。Wang等^[10]假设在有雾图像和无雾图像的最小值通道之间存在一种线性关系并提出一种基于线性变换的图像去雾算法。该方法能够很好地处理景深突变的边缘区域,但对明亮区域透射率估计过小,需要一定的后处理操作。最近,基于机器学习的去雾方法被提出,该方法利用深度学习神经网络可更好地提取与雾相关的特征并进行透射率估计。Cai等^[11]提出端到端深度学习去雾算法,并提出双边线性修正的方法,提高了恢复图像的质量。Ren等^[12]提出多尺度卷积神经网络图像去雾算法,利用多级神经网络训练图像特征信息,但在训练神经网络时多采用合成数据集,因此不适用于不同类型的图像。该方法模型复杂,同时受到数据集的约束,目前在去雾领域发展有限。

针对暗通道先验理论中明亮区域透射率估计不足以及景深边缘处出现Halo效应的问题,本文提出一种基于高斯衰减的自适应线性变换图像去雾算法。首先,利用线性变换约束有雾图像的最小值通道来近似估计无雾图像最小值通道操作。其次,通过高斯函数衰减有雾图像的最小值通道,对大面积天空等明亮区域透射率进行自适应补偿,以解决透射率估计不足的问题。最后,利用交叉双边滤波器消除透射率纹理效应,得到局部平滑且边缘保持良好的优化透射率。本文采用局部大气光策略估计大气光值,避免了由于全局大气光值估计不准确引起的误差,最终结合大气散射模型复原出无雾图像。

2 暗通道先验理论

在计算机视觉和计算机图形中,大气散射模型^[13-14]被广泛用于描述有雾图像信息,

I(x)=J(x)×t(x)+A×1-t(x),(1)t(x)=exp-β×d(x),(2)

式中:x为像素值;I(x)为观测到的有雾图像;J(x)为无雾图像;t(x)为透射率;A为大气光值;β为大气散射系数;d(x)为场景深度。

暗通道先验理论是He等^[5]通过对大量清晰无雾的户外图像进行数理统计后得到的一个先验规律。暗通道先验理论表明:在绝大多数无雾图像的非天空区域,红、绿、蓝三个颜色通道中至少存在一个颜色通道的值很低,趋近于0,即

Jdark(x)=miny∈Ω(x)minc∈(r,g,b)Jcy→0,(3)

式中:r为红色通道;g为绿色通道;b为蓝色通道;c为颜色通道的集合;Ω(x)为以像素x为中心的最小值滤波窗口;y为最小滤波窗口中的像素;J^c为某一颜色通道的分量;J^dark为暗通道图。

假设大气光值A已知,根据(3)式的暗通道先验理论,可以估计透射率为

t(x)=1-ω×Idark(x)/A,(4)

式中:I^dark(x)为有雾图像的暗通道结果,参数ω可使获取的图像具有保真性,在景深较大的区域保留少量的雾,取ω=0.95。

暗通道先验理论采用局部最小值滤波(15×15的滤波窗口)方法,该滤波方法可能导致暗通道图像的像素值在局部区域内是一个常数。如果一个像素点x处于边缘区域的明亮侧,像素值较高,则该点暗通道值显然会被边缘区域像素值最小的点所取代,导致该像素点的暗通道值小于实际值。这样,暗通道图像就丢失了图像的边缘特性,使得恢复图像在景深突变边缘处出现明显的Halo效应。此外,当图像包含大片天空、强光源或白色物体等明亮区域时,这些区域的暗通道值远远大于0,导致暗通道先验理论失效。此时所得的透射率估计过小,复原的图像在明亮区域出现色彩失真。

3 算法

针对暗通道先验理论中明亮区域透射率估计不足及景深边缘处出现Halo效应的问题,提出一种基于高斯衰减的自适应线性变换图像去雾算法,算法流程如图1所示。1) 通过逐像素处理求出有雾图像的最小值通道,建立有雾图像与无雾图像最小值通道之间的线性变换模型。2) 利用有雾图像最小值通道构造高斯函数,结合线性变换得到自适应线性变换模型。利用该模型对大片天空等明亮区域透射率进行自适应补偿,粗略估计出透射率。3) 利用交叉双边滤波器对其进行平滑处理,优化透射率。同时,采用局部大气光策略估计大气光值。4) 根据大气散射模型复原出无雾图像。该算法的具体实现效果如图2所示。

图 1. 本文算法的流程图

Fig. 1. Flow chart of proposed algorithm

下载图片 查看所有图片

图 2. 所提算法效果图。(a)有雾图像;(b)自适应线性变换;(c)局部大气光值;(d)粗略透射率;(e)优化透射率;(f)复原图像

Fig. 2. Effect images of proposed algorithm. (a) Hazy image; (b) adaptive linear transformation; (c) local atmospheric optical value; (d) rough transmittivity; (e) optimal transmittivity; (f) restored image

下载图片 查看所有图片

3.1 透射率估计

3.1.1 自适应线性变换

假设大气光值A已知,结合暗通道先验理论和大气散射模型,透射率可以转换为

t(x)=A-IdarkxA-Jdarkx。(5)

为了消除暗通道先验理论中最小值滤波引起的Halo效应,从基于像素的角度考虑,采用逐像素处理的方法可得

t(x)=minc∈(r,g,b)Ac-minc∈(r,g,b)Icxminc∈(r,g,b)Ac-minc∈(r,g,b)Jcx。(6)

在雾天条件下,大气光对图像成像的影响是随着场景到观察点距离的增大而增大。从视觉效果来看,随着雾浓度的增加,图像的亮度逐渐增加;随着景深越大,有雾图像的像素值越大。根据文献[ 10]中的线性变换理论,在有雾图像和无雾图像的最小值通道之间存在一种线性关系,即

minc∈(r,g,b)Jcx)∝minc∈(r,g,b)Ic(x)。(7)

通过(7)式可建立有雾图像与无雾图像的最小值通道之间的线性变换模型为

minc∈(r,g,b)Ic(x)=a×minc∈(r,g,b)Jc(x)+ρ,(8)

式中:a为斜率(0<a<1),且随着a增大,图像对比度反而减小;ρ为截距(ρ>0),随着ρ增大,图像亮度逐渐增加。(8)式有两个未知量,因此,可用一个二次函数的分段区域来近似表示为

minc∈(r,g,b)Jc(x)=minc∈(r,g,b)Ic(x)-RMINRMAX-RMIN×minc∈(r,g,b)Ic(x),(9)

式中:R_MAX和R_MIN分别为 minc∈(r,g,b)I^c(x)的最大值和最小值,因此,0≤ minc∈(r,g,b)Ic(x)-RMINRMAX-RMIN≤1。令i= minc∈(r,g,b)I^c(x),j= minc∈(r,g,b)J^c(x),若i为自变量,j为因变量,则该二次函数曲线如图3所示。

图 3. 二次函数曲线

Fig. 3. Curve of quadratic function

下载图片 查看所有图片

因此,在[R_MIN,R_MAX]范围内,红色实曲线中分段函数的线性关系可用图3中的绿色直线近似表示。当i=R_MIN时,j=0;当i=R_MAX时,j=i。

假设大气光值A的三个颜色通道的分量相同,即为{A₀,A₀,A₀}的矢量,则(6)式可转换为

t(x)=A0-minc∈(r,g,b)IcxA0-μ×minc∈(r,g,b)Ic(x)-RMINRMAX-RMIN×minc∈(r,g,b)Icx,(10)

式中:μ为引入的控制因子,用来控制线性变换速度,进而调整复原图像的质量,其取值范围为[0,1]。

为了直观地说明μ值对有雾图像近景和远景处理结果的影响,选用包含近景和远景的图像进行实验仿真,实验结果如图4所示。从图4(b)~(f)可以看出:当μ值较小时,复原图像远景细节丰富,雾感较小,但近景出现过饱和的现象。随着μ值的增大,复原图像近景色彩自然,但远景细节丢失严重。因此,对于同一幅图像选取不同的μ值会产生不同的复原结果。通过对大量有雾图像进行统计实验发现,当μ=0.4时可以获得最佳效果。

图 4. 仿真实验比较。(a)有雾图像;(b) μ=0.2;(c) μ=0.4;(d) μ=0.6;(e) μ=0.8;(f) μ=1.0

Fig. 4. Comparison of simulation experiments. (a) Hazy image; (b) μ=0.2; (c) μ=0.4; (d) μ=0.6; (e) μ=0.8; (f) μ=1.0

下载图片 查看所有图片

对于存在大片明亮区域的无雾图像,其暗通道值远大于0,导致暗通道先验理论在估计明亮区域的透射率时失效。由(10)式得到的透射率会随着 minc∈(r,g,b)I^c(x)值的增大而逐渐减小,因此对明亮区域的透射率估计是不足的。高斯曲线呈钟形分布,通过参数期望和标准差可以调整其峰值和宽度。因此,本文通过构造高斯函数自适应控制线性变换,对图像中明亮区域的透射率进行自适应补偿,即

t(x)=A0-minc∈(r,g,b)IcxA0-μ×minc∈(r,g,b)Ic(x)-RMINRMAX-RMIN×G(x),(11)G(x)=exp-1-minc∈(r,g,b)Icx2δ2,(12)

式中:G(x)为构造的高斯函数;δ为高斯函数的标准差。δ与G(x)成正比,当δ较小时,G(x)→0,则t(x)→1- minc∈(r,g,b)I^c(x)/A₀,图像中非明亮区域的透射率可以得到准确估算;当δ较大时,G(x)>0,t(x)>1- minc∈(r,g,b)I^c(x)/A₀,图像中暗通道先验理论失效区域的透射率可以得到补偿,且景深较大区域的透射率也能被有效地估计。通过大量实验测试观察发现,当δ²=0.3时,图像复原的效果最佳。

因此,可得到粗略透射率为

t(x)=A0-ω×minc∈(r,g,b)IcxA0-μ×minc∈(r,g,b)Ic(x)-RMINRMAX-RMIN×exp-1-minc∈(r,g,b)Icx2δ2,(13)

式中:参数ω可使获取的图像具有保真性,得到的透射率如图5(c)所示。

3.1.2 优化透射率

本文算法是从基于像素的角度考虑,所得的透射率在很大程度上受到其自身灰度值的影响。交叉双边滤波器是空域和值域滤波器的结合,它不仅能够消除纹理效应,还能够保持图像的边缘信息。所以,为了得到更为平滑的透射率,引入交叉双边滤波器^[7]对透射率进一步优化。最终的优化透射率为

t2(x)=∑n∈RpwChs2×hr×k1×‖E-Enhr‖×k2×‖f-fnhs‖*Dn,(14)

式中:E= minc∈(r,g,b)I^c(x);D=t₁(x);R_pw为计算t₂(x)的窗口;f为空域部分;f_n是窗口R_pw中围绕像素x的位置;E_n是f_n对应的值域部分;k₁、k₂分别为值域和空域滤波器;h_r、h_s分别为值域和空域滤波器的内核;C为归一化常数;*为卷积操作;D_n为t₁(x)在窗口R_pw中的位置。(14)式的效果如图5(d)所示。

从图5可以看出,对比He等方法获得的透射率,本文算法消除了局部最小值滤波引起的块状效应,对图像中明亮区域的透射率估计更准确,且透射率对比度增强,图像的细节增多。从图5(d)还可以看出,利用交叉双边滤波后的结果局部平滑,不仅能够消除纹理效应,而且较好地保留了图像的边缘信息。

图 5. 透射率对比图。(a)有雾图像;(b)文献[ 5]中的方法;(c)粗略透射率;(d)优化透射率

Fig. 5. Comparison of transmittivity. (a) Hazy image; (b) method in Ref. [5]; (c) rough transmittivity; (d) optimal transmittivity

下载图片 查看所有图片

3.2 局部大气光估计

大气光值A的准确性也会影响最终复原图像的视觉效果。通常定义景深最大处的像素点作为大气光值,但该值的选取容易受到明亮区域的影响,故直接将图像中景深最大处的最大像素点作为大气光值并不准确。He等^[5]选取暗通道亮度值前0.1%的像素,将对应的输入图像中最高强度的像素值作为大气光值A。该方法容易受到天空、强光源或白色物体等的影响,因此具有一定的局限性。Sulami等^[15]通过判断大气光矢量方向来自动获取大气光值。尽管该方法可以获得良好的大气光值,但是如果大气光矢量的方向判断出错,该方法也就失效了。Kim等^[16]提出一种基于4叉树细分的大气光值估计方法,该方法稳定性强且收敛速度快,但容易受到白色物体的干扰。考虑到全局大气光值估计的不准确性,本文采用局部大气光策略。

首先对有雾图像求取最大值通道得到A_mc(x),然后对A_mc(x)进行形态学闭操作,最后利用交叉双边滤波器得到局部平滑且边缘保持良好的大气光值A,实验效果图如图6所示。

3.3 图像复原

以上分析可确定透射率t₂(x)和大气光值A,再根据大气散射模型即可得复原图像为

J(x)=I(x)-Amax[t2(x),t0]+A,(15)

图 6. 基于局部大气光值的效果图。(a)有雾图像;(b)最大通道图;(c)形态学闭操作;(d)交叉双边滤波结果

Fig. 6. Effect images based on local atmospheric optical value. (a) Hazy image; (b) map of maximum channel; (c) morphologically closed operation; (d) cross-bilateral filtering result

下载图片 查看所有图片

式中:为了防止分母趋于0,取t₀=0.1。最终的复原效果如图2(f)所示。

4 实验效果对比分析

为了验证所提算法的有效性,对取经典的图像去雾算法与本文所提算法进行实验对比,从主观评价和客观评价两个方面进行比较分析。本文算法是在Matlab R2014Ra的环境下运行,计算机的CPU为Intel(R) Core(TM) i7-7500U,CPU主频为2.70 GHz,计算机内存4.00 GB,操作系统为64位Windows 10。

4.1 主观评价

主观评价即人眼所看到的视觉效果。主观评价往往具有一定的片面性,但是可以快速看出复原图像效果的好坏。为了验证本文算法的有效性,分别与He等^[5]提出的暗通道先验理论、Meng等^[6]提出的边界约束算法、Sun等^[7]提出的局部大气光遮罩估计算法、杨燕等^[8]提出的基于边缘保持的自适应高斯衰减图像去雾算法以及Zhu等^[9]提出的颜色衰减先验算法进行了比较,实验结果如图7所示。

图 7. 实验结果对比。(a)有雾图像;(b)文献[ 5]中的方法;(c)文献[ 6]中的方法;(d)文献[ 7]中的方法;(e)文献[ 8]中的方法;(f)文献[ 9]中的方法;(g)本文方法

Fig. 7. Comparison of experimental results. (a) Hazy image; (b) method in Ref. [5]; (c) method in Ref. [6]; (d) method in Ref. [7]; (e) method in Ref. [8]; (f) method in Ref. [9]; (g) proposed method

下载图片 查看所有图片

图7(a)所示为不同场景下的有雾图像,从左至右分别是景深变化剧烈的有雾图像、浓雾图像、含强光源的有雾图像以及包含大面积天空区域的有雾图像。图7(b)所示为暗通道先验理论的去雾效果。复原的图像基本上去除了雾气的干扰,但在景深突变的边缘区域仍有残雾。在包含强光源及大面积天空区域的图像中,复原图像出现偏色现象。图7(c)所示为边界约束算法的去雾效果,该方法复原的图像出现了严重的偏色现象,且在天空区域的噪声较大。图7(d)所示为局部大气光遮罩算法的去雾效果。由于该方法使用了形态学闭操作,在部分图像中出现了颜色失真且复原图像的饱和度太高的现象。图7(e)所示为基于边缘保持的自适应高斯衰减去雾算法的去雾效果。由于该方法在明亮区域对透射率估计不足,故所复原的图像在强光源及天空区域出现了偏色现象。图7(f)所示为颜色衰减先验算法的去雾效果,该方法复原的图像存在细节丢失、边缘模糊和图像偏暗的问题。图7(g)所示为本文算法实现的去雾效果。与He等的算法相比较,本文算法保留了更多的细节,在景深突变区域过渡自然,不但消除了残雾,而且在浓雾区域实现了彻底去雾。该方法具有良好的色彩保真度,且抑制了因明亮区域透射率估计过小而出现的色彩失真。

4.2 客观评价

主观评价具有一定的片面性,客观评价则有一定的理论支撑,因此具有一定参考性。为了客观地验证本文算法的有效性,采用无参考的图像质量评估方法^[17-18],将可见边集合数(e)、平均梯度( r-)、复原图像的饱和点像素个数(σ)及运行时间作为复原图像的评价指标。e和 r-的值越大表明复原图像的视觉效果越好,σ值小则表明复原图像既没有饱和也没有模糊视觉边缘,运行时间越小表明算法的运行效率越高。e、 r-和σ的计算公式分别为

e=nr-n0n0,(16)r-=exp1nr×∑m∈Nrlgrm,(17)σ=nsw×h,(18)

式中:n₀为有雾图像的可见边数;n_r为复原的无雾图像的可见边数;r_m为m处无雾图像与有雾图像的梯度比;N_r为无雾图像的可见边集合;n_s为饱和像素点数;w和h分别为图像的宽和高。实验采用图7(a)中的4幅图像,实验对比数据如图8所示。

图 8. 客观评价。(a)可见边数;(b)归一化平均梯度;(c)饱和像素点个数;(d)运行时间

Fig. 8. Objective evaluation. (a) Number of visible edges; (b) normalized average gradient; (c) number of pixels in saturation point; (d) running time

下载图片 查看所有图片

从图8(a)可以看出,本文方法取得了不错的效果;从图8(b)可以看出,本文方法相比于文献[ 6]和文献[ 9]中的方法略显不足;从图8(d)可以看出,文献[ 9]中的方法的时间复杂度较低,本文方法由于使用交叉双边滤波来优化透射率,故该算法的运行时间略高。综合考虑,本文算法具有一定的优越性。

5 结论

暗通道先验理论在图像景深突变的边缘处会出现Halo效应,并且对图像中的天空、强光源或白色物体等明亮区域的透射率估计不足。针对上述问题,从基于像素角度出发,通过将有雾图像的最小值通道与线性变换理论相结合,近似估计无雾图像的最小值通道,从而消除了由于局部最小值滤波引起的Halo效应。通过高斯函数衰减有雾图像的最小值通道对图像中明亮区域的透射率进行自适应补偿,从而得到粗略透射率。最后,采用交叉双边滤波器对透射率进行优化。本文算法复原的图像色彩自然,细节明显,并且在客观评价中也具有很大的优势。但是本文算法依然存在不足,对于高斯函数标准差和控制因子的选取有一定的局限性。自适应地选取标准差和控制因子,进一步提高去雾效果将是接下来的研究重点。