1 引言

雾霾天气的空气中,大量的水分子和PM_2.5颗粒等杂质会影响光线的直线传播,导致获得的图像存在模糊不清和对比度下降等问题,这不仅影响人们对图像的视觉感知,还严重影响计算机视觉系统的识别和特征提取^[1]。图像作为获取信息最直观的媒介之一,如何将低质量图像处理成可以获取更多有效信息的图像具有十分重要的意义^[2]。

随着去雾技术的不断发展,图像去雾的方法可以分为图像复原和图像增强两类^[3]。图像增强算法主要是以直方图均衡算法、Retinex算法以及基于Retinex的相关算法为代表^[4-6]。图像复原算法中由He等^[7]提出的基于暗通道先验的图像复原算法最具创造性,使用大气散射模型可以有效复原出无雾图像,但是该算法具有局限性,当一幅图像含有大片天空区域或高亮光源时,这会导致大气光值估计不准确,采用最小值滤波和软抠图的方法会造成复原图像出现光晕效应,而且算法的时效性差。Yu等^[8]提出了一种单图像的去雾算法,采用由块到像素的插值方法对暗通道进行优化,但在复原图像的边缘区域出现光晕效应且天空区域的色彩恢复较差。Zhu等^[9]提出了颜色衰减先验,在此条件下可以有效地恢复天空区域且较好地保护细节信息,但是复原图像中含有薄雾。孙伟等^[10]提出了一种局部大气光值估计算法,该算法可以解决暗通道先验算法对全局大气光值估计不准确而导致的一系列复原问题。Meng等^[11]通过对透射率进行限制并采用正则化方法对图像进行处理,复原结果出现偏色的现象。Cai等^[12]使用了神经网络设计一种端对端的深度学习去雾算法可以复原出无雾图像,说明该算法对天空区域有着很好的恢复效果。赵春丽等^[13]对有雾图像采用暗通道先验算法进行处理,再将处理后的图像转至HSV(Hue, Saturation, Value)空间中并根据Retinex理论对V分量进行优化。马文君等^[14]为了保护图像边缘信息以及保持图像色彩,将有雾图像转换至Lab色彩空间中,其中L表示亮度,a表示绿色到红色的分量,b表示蓝色到黄色的分量,根据Retinex理论对L分量(亮度)进行处理。

由于大气环境、地形的复杂多变或者设备成像效果较差等因素,造成图像的对比度较低,可视化效果差。现阶段常用校正和增强对比度的方法主要有Retinex理论图像增强、 直方图均衡化和形态学滤波等。Retinex理论图像增强法依据色彩恒常性来去除光照分量以保证物体的反射属性,但这类方法处理图像后在边缘突变的区域出现光晕现象^[15]。直方图均衡化法具有算法简单和时效性强等优点,但是对光照不均匀图像中不同亮度区域的自适应情况较差^[16]。形态学滤波法可以增强图像的可视性,但物体的自然特征会因此改变^[17]。

针对暗通道先验算法对天空或高光区域复原后存在失真、边缘区域出现明显的光晕效应,复原图像整体偏暗和对比度较低的问题,提出一种具有边缘保护、消除光晕效应和增强对比度的图像去雾算法。该算法首先将多尺度Retinex(MSR)算法和Canny边缘检测算子结合,将RGB(Red, Green, Blue)图像转换至Lab颜色空间中并进行保边处理;其次采用交叉双边滤波算法优化图像的透射率,然后使用大气散射模型得到无雾图像;最后将无雾图像转换至HSV颜色空间中,使用二维伽马函数对亮度分量进行调整以增强对比度,最终获得细节信息保护良好、色彩自然和层次分明的无雾图像。

2 算法基础

2.1 Retinex理论

根据Retinex理论,一幅给定的图像S(x,y)可以分解为反射图像R(x,y)和入射图像L(x,y)^[18],其中(x,y)为图像中点的坐标,S(x,y)可表示为

S(x,y)=R(x,y)·L(x,y)。(1)

L(x,y)决定图像的动态范围,R(x,y)决定图像的内在性质。通常使用高斯滤波函数F(x,y)处理S(x,y),可以得到

L(x,y)=F(x,y)*S(x,y),(2)

式中:*为卷积符号。为了得到R(x,y),将图像转到对数域中进行求解,表达式为

lnR(x,y)=lnS(x,y)-lnL(x,y)。(3)

将(2)式代入(3)式,可以得到

lnR(x,y)=lnS(x,y)-lnF(x,y)*S(x,y)。(4)

2.2 大气散射模型

Nayer和Narasimhan改进了大气散射模型,该模型以雾天图像降质为基础来描述图像退化的原因^[19],数理表达式为

I(x)=J(x)t(x)+A[1-t(x)],(5)t(x)=exp[-βd(x)],(6)

式中:I(x)为获得的有雾图像;J(x)为清晰的无雾图像;A为大气光值;t(x)为透射率,取值范围为(0,1),其表示光线在传播过程中受到外界因素的作用而产生损耗,除去损耗部分后最终到达成像设备的光线;d(x)为场景光线的景深;β为大气散射系数。各通道的t(x)可表示为

t(x)=1-Ic(x)/Ac(x)1-Jc(x)/Ac(x),(7)

式中:c为RGB颜色通道。

2.3 暗通道先验理论

在户外无雾图像(非天空区域)中的大部分局部区域,存在一些像素点在至少一个颜色通道中具有非常低小的值,往往趋近于0,因此该通道被命名为暗通道。He等^[7]通过对5000多幅无雾图像的暗通道图进行统计和观察,发现约有75%的像素值为0,有90%的像素点具有非常小的值且集中在[0,16]。图像的暗通道表达式为

Jdark=mini∈Ω(x)minc∈(R,G,B)Jc(i),(8)

式中:J_dark为无雾图像的最小通道图;Ω(x)为最小值滤波的窗口大小。

根据(5)式和(8)式,在A值为常数的情况下,可以得到估计透射率 t˙(x),表达式为

t˙(x)=1-ω[Idark(x)/A],(9)

式中:I_dark(x)为有雾图像的最小通道图;ω为雾气保留系数,取值范围为[0,1]。最终得到恢复后的图像为

J(x,y)=I(x,y)-Amax[t(x,y),t0]+A,(10)

式中:t₀为透射率的下界,值为0.1。

3 所提算法

本课题组提出一种图像去雾复原算法,该算法可以很好地解决某些光照不均的有雾图像出现的光晕效应、雾感、整体图像偏暗,图像明暗区域亮度差异过大而导致细节信息无法体现的问题。

将RGB图像转换至Lab空间中,利用Canny算子对L分量进行边缘检测,根据MSR理论对非边缘区域进行高斯滤波以除去L分量;使用交叉双边滤波对由暗通道先验理论获得粗略估计的透射率进行优化,可以获得较为准确的透射率。大气光值的选取采用改进的四叉树子空间搜索法,该方法可以避免全局大气光值的取值过大;使用大气散射模型可以复原出去雾图像。为了进一步优化图像、调整亮度和增强对比度,首先将图像转换至HSV空间中并对V分量进行提取,然后利用二维伽马函数对V分量进行处理,最后合成RGB图像,从而获得亮度校正后的无雾图像。所提算法的处理流程如图1所示。

图 1. 所提算法的处理流程

Fig. 1. Flowchart of proposed algorithm

下载图片 查看所有图片

3.1 Lab颜色空间的改进MSR算法

为了避免单尺度Retinex算法处理不同图像,图像的色彩保真度和细节保持度不能实现相对平衡,则引入MSR算法,该算法可以同时实现图像色彩的增强以及局部和全局动态范围的压缩。MSR算法的数学表达式为

r(x,y)=∑nNωn{lnS(x,y)-ln[Fn(x,y)·S(x,y)]},(11)

式中:r(x,y)为初步估计的反射分量;N为中心环绕函数的个数;ω_n为权重。在图像亮度相差较大的边缘处,图像亮度未平滑过渡,因此适用于平滑图像的Retinex算法作用于非平滑图像后,出现明显的光晕效应以及光照强度高的区域细节信息未能有效改善。

3.1.1 亮度分量的处理

采用传统的MSR算法分别对图像的三个颜色通道进行增强,因颜色通道之间会相互影响,使得最后得到的图像出现色彩失真的现象。但是在Lab色彩空间中,三个通道彼此独立互不干扰,当仅对亮度分量进行处理时,因a分量(绿色到红色变量)和b分量(蓝色到黄色变量)均保持不变,则不会给处理后的图像的准确分析带来不便。

由于亮度分量对图像的影响较小,反射分量对图像色彩的影响较大,为了消除亮度分量对图像的影响,根据Retinex理论将亮度分量分离出来,剩下的反射分量可优化有雾图像^[14]。因此在Lab色彩空间中,将亮度分量提取出来并进行处理,则图像S可以表示为

S(x,y)=L'(x,y)·R(x,y),(12)

式中:L'为提取亮度分量后的入射图像。为了计算方便,将(12)式转换到对数域中进行求解,表达式为

ln[R(x,y)]=∑n=1Nωn{ln[S(x,y)]-ln[L'(x,y)]}。(13)

L'(x,y)是在Lab空间中利用高斯卷积估计得到的,表达式为

L'(x,y)=L(x,y)*F(x,y)。(14)

则F(x,y)可表示为

F(x,y)=λexp[-(x2+y2)/σ2],(15)

式中:λ为归一化常数。F(x,y)的取值需要满足

∬F(x,y)dxdy=1。(16)

当σ值较小时,细节信息的保持和动态范围的压缩较好,且提取的光照值全局特性较好,但是色彩无法保持;当σ值较大时,色彩可以更好保持且提取的光照值全局特性较好,但是细节信息保持较差。

3.1.2 边缘保护

当采用Retinex算法处理边缘细节时,易丢失复原后的图像边缘细节信息,因此采用Canny边缘算子求取边缘信息E(x,y)。为了使边缘细节信息能够较好地存在于复原图像中,将图像分为边缘区域和非边缘区域两部分,使用多尺度高斯滤波对非边缘区域进行处理,得到非边缘区域的亮度分量,最终得到含有融合边缘信息的亮度分量,表达式为

L'(x,y)=E(x,y)+[(1-E(x,y)]·L(x,y)*F(x,y)。(17)

由(15)式、(16)式和(19)式可得初步估计的反射分量,表达式为

r(x,y)=ln[R(x,y)]=∑n=1Nωn{ln[L(x,y)]-ln[L'(x,y)]}。(18)

转回RGB颜色空间中,将R(x,y)作为待处理的图像。

3.1.3 透射率优化

R(x,y)的暗通道用 J˙dark来表示,根据暗通道先验理论,透射率粗略估计可表示为

tc(x)=1-Idark(x)/Ac(x)1-J˙dark(x)/Ac(x)。(19)

由He等^[7]提出的暗通道先验算法使用了最小值滤波,这会导致有雾图像边缘处的透射率过小,细节被覆盖,获得的透射率有明显的块状效应,复原处的图像出现明显的光晕效应^[20]。为了能够得到较为理想的透射率,采用交叉双边滤波算法对透射率进行优化。交叉双边滤波器是空域滤波器和值域滤波器的结合,能够起到保护边缘细节信息和降低噪声等作用。双边滤波器的表达式为

t2(x)=∑j∈pwChs2hrk1E-Ejhr×k2f-fnhs*Dj,(20)

式中:E= minc∈R,G,BI_c;p和w分别为窗口的长和宽;f为空域;f_n为窗口中围绕像素x的位置;E_j为f_n的值域部分;k₁和k₂分别为值域滤波器和空域滤波器;h_r和h_s分别为值域滤波器和空域滤波器的内核;C为归一化常数;D_j为t₁(x)在窗口中的位置,D_j=t₁(x)。双边滤波器处理后的效果如图2所示。

图 2. 不同方法处理后的透射率图像。(a)有雾图像;(b)文献[ 8];(c)透射率粗估计;(d)优化透射率

Fig. 2. Transmittance images after processing by different methods. (a) Hazy images; (b) Ref. [8]; (c) rough estimations of transmittance; (d) transmittance optimization

下载图片 查看所有图片

3.1.4 局部大气光估计

为了求得更为接近真实值的大气光值,实验采用四叉树子空间分块搜索法。该方法可以提取图像的局部特征,消除因大气光值估计不准而出现复原效果不理想的现象。

为了降低图像中天空区域或者光亮光源对获取大气光的影响,首先对图像进行直方图均衡化,接着将处理后的图像均分为4个子矩形区域,然后使用像素平均值减去像素标准差作为评分标准并对4个区域进行评分,对评分最高的区域进行上述步骤的处理,直至所选区域内的像素点个数小于设定的阈值,最后在该区域的RGB颜色通道中选择符合的像素值并作为大气光值。

3.2 对比度增强

在HSV空间中对亮度分量进行处理,可以避免在RGB空间中处理的运算量大、时效性差以及色彩失真^[21-22]。依据Retinex理论,多尺度高斯滤波函数可以有效压缩动态范围以及准确估计场景的照射分量,因此采用多尺度高斯滤波函数来提取光照分量。针对图像中不同区域光照亮度差异过大的特点,并且为了提高对比度以及突出细节信息,采用改进的二维伽马函数对图像进行处理,数理表达式为

O(x,y)=255I(x,y)255γ,(21)

式中:m为光照图像中亮度分量的均值;γ表示校正参数,γ=(m/255 )m-V(x,y)m,V(x,y)为提取出的分量;O(x,y)为二维伽马函数处理后的输出图像。

二维伽马函数是将每一个像素点处的光照值作为参数并与亮度分量的均值相结合,能够提高或者降低不同区域的光照值以实现自适应的校正,从而生成新的HSV图像,最后将其转成RGB图像。实现校正亮度的目的是在有效保留原始图像有效信息的同时,压缩图像的动态范围,增强对比度,提高图像质量。

4 算法验证

实验与仿真均是在个人计算机上进行的,使用的软件为MATLAB 2017a,操作系统为Windows 10。计算机的处理器为Intel(R)Core(TM)i7-8750H CPU@2.20 GHz,内存为24.0 GB。将所提算法与其他经典算法进行对比,从主观和客观两方面对实验结果进行分析。

4.1 主观评价

主观分析虽然有一定的片面性,但是可以最直接地观察图像复原后的效果。将所选取的图像按照不同的性质分为近景组、远近景交替组和远景组三组图像,并将所提算法分别与文献[ 7-9,12]进行对比。近景图像的效果对比如图3所示。

图 3. 不同算法处理近景图像的效果。(a)原图;(b)文献[ 7];(c) 文献[ 8]; (d) 文献[ 9]; (e) 文献[ 12];(f)所提算法

Fig. 3. Effect of different algorithms for processing close-range images. (a) Original images; (b) Ref. [7]; (c) Ref. [8]; (d) Ref. [9]; (e) Ref. [12]; (f) proposed algorithm

下载图片 查看所有图片

从图3可以看到,文献[ 7]基本上消除图像中的雾气且细节恢复的较多,但是在边缘区域出现明显的光晕效应,而且在存在白色高亮区域的情况下,复原后的图像偏暗;文献[ 8]的算法简单且运算快,但对边缘细节信息的恢复效果较差,而且有明显的光晕效应且复原的图像色彩失真严重;文献[ 9]对薄雾的处理有较为明显的效果,但复原图像仍然有雾感,而且复原后的图像色彩偏暗;文献[ 12]的复原效果较好,但在景深突变处依然存在残雾,高亮区域的存在会导致图像整体偏暗;相较于其他算法,所提算法的去雾效果最好,图像整体色彩自然,景深突变处没有光晕现象。

远近交替图像的效果对比如图4所示。从图4可以看到,文献[ 7]复原后的图像在近景区域偏暗,天空区域出现失真的现象,而且边缘处存在块状效应,这是由天空区域的透射率估计不足造成的;文献[ 8]对远景图像的处理效果较差,处理后的天空区域严重失真,而且出现光晕效应;文献[ 9]对天空区域的恢复效果较好,但是估计的大气光值偏大会导致近景区域偏暗,而且细节信息的恢复效果较差;文献[ 12]提出的端对端系统去雾算法具有优秀的性能,可以有效地恢复天空区域以及复原细节信息,但是依然存在去雾不彻底的问题;所提算法的去雾效果最为明显,对天空区域有较好的恢复效果,而且近景区域色彩的恢复效果自然,细节恢复较优。

图 4. 不同算法处理远近交替图像的效果。(a)原图;(b)文献[ 7];(c) 文献[ 8]; (d) 文献[ 9]; (e) 文献[ 12];(f)所提算法

Fig. 4. Effect of different algorithms for processing alternating near-and-far images. (a) Original images; (b) Ref. [7]; (c) Ref. [8]; (d) Ref. [9]; (e) Ref. [12]; (f) proposed algorithm

下载图片 查看所有图片

远景图像的效果对比如图5所示。从图5可以看到,文献[ 7]处理后的图像在天空区域出现色彩失真的现象,而且出现明显的光晕效应;文献[ 8]处理后的图像色彩偏暗,而且天空区域的色彩失真严重;文献[ 9]可以恢复大部分细节信息,而且天空区域的处理效果较好,但是复原后的图像整体偏暗且处理浓雾图像的效果一般;文献[ 12]对天空区域的复原效果较好,但未能完全除去远景区域存在的雾;与其他算法对比,所提算法的去雾效果较好,而且能够复原丰富的细节信息,图像清晰,但近景区域出现过饱和的现象。

图 5. 不同算法处理远景图像的效果。(a)原图;(b)文献[ 7];(c) 文献[ 8]; (d) 文献[ 9]; (e) 文献[ 12];(f)所提算法

Fig. 5. Effect of different algorithms for processing perspective images. (a) Original images; (b) Ref. [7]; (c) Ref. [8]; (d) Ref. [9]; (e) Ref. [12]; (f) proposed algorithm

下载图片 查看所有图片

从主观方面来看,所提算法的处理效果较优,能够有效去雾,较为自然且真实地复原图像,而且可以增强图像的对比度以突出细节,但是不能仅凭主观判断对复原图像进行评价,也应从客观恢复标准进行评价以验证算法的可行性和有效性。

4.2 客观评价

采用的客观评价恢复指标有可见边p、平均梯度r、峰值信噪比(PSNR)以及运行时间t。其中p、r和PSNR值越大表示图像的复原效果越好,t值越小表示效率越高。表达式分别为

p=lr-l0l0,(22)

r=exp⁡[1b∑t∈℘lnrt],(23)

xPSNR=10 10×lg⁡lg2b-12xMSE,(24)

式中:l_r和l₀分别为原图和复原图像的可见边数;r_t为某一像素处复原图与原图的平均梯度比值; ℘为复原图像可见边的集合;b为每个采样值的比特数;x_MSE为原图像与去雾图像之间的方均误差。客观评价的各项数据分别如表1~4所示。

从表1可以看到,所提算法具有明显优势,能够消除融合边缘信息中亮度分量的影响,保护边缘细节的信息。从表2可以看到,所提算法相对于其他经典算法有很大的提升。从表3可以看到,文献[ 12]的复原结果优于所提算法,而所提算法的复原结果优于文献[ 6-8]。从表4可以看到,文献[ 7-8]算法简单,可以较为节省时间,而文献[ 8, 12]算法和所提算法在时效性稍逊一筹,由于所提算法为了精确计算大气光值、优化透射率以及增强对比度,所以运行时间较长,同时所提算法根据Retinex理论可快速消除光照分量的影响,所以所提算法的时效性较好。综上所述,所提算法的性能较优。

5 结论

针对暗通道先验算法处理带有明亮区域图片易导致透射率偏小、景深边缘处出现光晕效应,大气光值估计不足而导致复原图像整体偏暗的问题,提出以暗通道先验算法为基础并结合多尺度Retinex算法,在Lab颜色空间中提取并消除亮度分量带来的影响,避免传统的Retinex算法对图像色彩产生影响。边缘提取可以有效增加复原图像的细节,避免因最小值滤波引起的光晕效应,采用交叉双边滤波对粗略透射率进行处理,可以有效平滑透射率。在HSV空间中利用二维伽马函数对亮度分量进行处理,可以校正不同区域的亮度值,从而实现对比度的增强,最终获得优化后的无雾图像。实验结果表明,所提算法对近景、近远交替和远景图像都有较为良好的处理效果,复原后的图像细节丰富、色彩自然且对天空或高亮区域的处理效果较好,在客观评价方面也具有明显优势。但是所提算法对远景图像中近景部分的处理易出现过饱和的现象,因此进一步处理色彩偏差是接下来的研究重点之一。