1 引言

工业化的进步与发展,使雾、霾等自然环境降低了户外视觉系统获取视频的能见度和清晰度,严重影响了道路交通、户外监察等实时视觉系统的监控效果。因此,实现快速高效地对视频进行去雾,使其“看得见”、“看得清”,具有一定的理论研究意义和社会应用价值。

去雾算法分为图像去雾与视频去雾两个研究方向,现今国内外学者对单幅图像的高效去雾研究,已取得了较大的理论突破^[1]。图像去雾算法主要分成两大类:图像增强去雾算法和图像复原去雾算法^[2-3]。图像增强去雾算法中最典型的有基于多尺度Retinex原理的去雾算法,该方法可有效提高图像局部信息的对比度,凸显图像的纹理信息,达到去雾目的。Yang等^[4]提出了一种基于Retinex理论的夜间图像去雾算法,虽然可以有效处理夜间非均匀照明情况下的有雾图像,但本质上并未去除雾层,复原信息有限。最典型的图像复原去雾算法有He等^[5]基于暗原色先验理论的去雾算法,该方法假定大气光为定值,结合暗通道先验理论和大气散射模型进行去雾,虽然可以复原大部分降质图像,但复原后图像的天空区域色彩失真严重,且边缘骤变区域存在光晕效应。Yang等^[6]在He的基础上引入了引导滤波,有效解决了光晕效应,但复原图像整体偏暗。视频去雾算法的研究还处于初始完善阶段,目前已有的算法包括基于图像融合的视频去雾算法和基于帧间图像的视频去雾算法。Xu等^[7]提出了一种使用直方图均衡化处理前、后景的视频去雾算法,利用区间估计及图像融合的思想,通过后景图像求取大气光值和介质传输率,实现视频的有效去雾,但该方法的时效性较差。Qin等^[8]提出了一种基于引导滤波和暗原色先验理论透射率估值的视频去雾算法,是一种对帧间图像进行有效还原的视频去雾算法,该方法实现简单,但复原图像亮度偏暗。

为解决上述算法存在的问题,本文基于He等^[2]的理论提出了一种基于金字塔模型的快速高效视频去雾算法。通过金字塔向下采样,有效减少了信息处理量,加快了图像还原速度;同时引入伪去雾图像与暗原色置信度作为修正因子,结合改进的大气散射模型复原图像;最后基于帧间图像视频去雾算法理论对降质视频进行去雾。实验结果表明,该算法运行速度快、复原效果好,且具有较好的时效性和实用性。

2 暗原色先验去雾算法

为有效描述有雾图像的产生机理,McCartney提出了一种大气散射模型^[2],可表示为

I(x)=J(x)t(x)+A[1-t(x)],(1)

式中,I(x)为有雾图像,J(x)为复原图像,t(x)为透射率,A为大气光值,J(x)t(x)为直接衰减项,表征被拍摄物体的反射光经过空气介质到摄像设备的部分,A[1-t(x)]为大气光项,表征自然光经空气介质作用受到的光强影响。在空气介质同质均匀的情况下,透射率可表示为

t(x)=exp[-βd(x)],(2)

式中,β为大气的散射系数,d(x)为被拍摄物体到摄像设备的距离。通过(1)式可将透射率t(x)表示为

t(x)=1-I(x)/A1-J(x)/A。(3)

He等^[2]对5000多幅无雾层的图像进行统计观察后发现,各类图像暗原色通道图像中86%的像素值集中分布在[0, 16]范围内的灰度空间,因此结合概率学知识,提出了暗原色先验理论,即图像的非天空区域在RGB(Red,Green,Blue)的三个通道中,存在一个通道的像素趋近于0,可表示为

Jdark(x)=mins∈Ω(x)minc∈{R,G,B}Jc(s)→0(4)

式中,J^dark(x)为J(x)的暗原色通道图像,s为滤波窗口遍历图像时的选定区域,Ω(x)为最小值滤波器的滤波窗口,R、G、B为J(x)在RGB通道下各自对应的分量,J^c(s)为J(x)的R、G、B三个通道的分量值。

假设大气光为一个定值,根据(4)式,可将透射率t(x)修正为

t(x)=1-ω[Idark(x)/A](5)

式中,ω为保留少量雾层的权值系数,以保持还原图像的视觉景深感,实验取ω=0.95,I^dark(x)为降质图像I(x)的暗原色通道图像,A为大气光值,为I^dark(x)中像素值降序排列前0.1%的像素均值。

由(1)式可得

J(x)=I(x)-A(x)t(x)+A(x)。(6)

根据He等^[2]的暗原色先验理论即(4)式的数学模型,结合(6)式可得到复原的降质图像。该理论对绝大多数图像都是成立的,但当降质图像存在大片天空区域时,暗原色先验理论就会失效,原因是天空区域透射率过估计会引起颜色失真,以及边缘骤变区域的光晕效应。

3 去雾算法

为解决上述算法存在的缺陷,提出了一种基于金字塔模型的视频去雾算法。首先,将降质视频拆分为帧,并对降质帧G₀采用金字塔下采样(1/4下采样),以获取的下采样图像G₁为对象,采用局部大气光估计法获取大气光估计图像A(x)^[9]。采用限制对比度自适应直方图均衡化(CLAHE)算法获取“伪”去雾图像J'(s)^[10],采用色调、饱和度、明度(HSV)模型求取暗原色置信度ω';然后,以s为滤波窗口遍历图像时的选定区域J'(s)和ω'为修正因子改进(5)式,获取G₁的粗透射率图像t'(x),调整t'(x)的尺寸,使其与G₀相同并利用联合双边滤波对其纹理进行细化,得到精细化的透射率图像t″(x);最后,结合大气散射模型逐帧还原降质视频,算法的实现过程如图1所示。

图 1. 算法实现过程。(a) G₀;(b) G₁;(c) J'(s);(d) t'(x);(e) t″(x);(f)去雾图像

Fig. 1. Implementation process of the algorithm. (a) G₀; (b) G₁; (c) J'(s); (d) t'(x); (e)t″(x); (f) dehazing image

下载图片 查看所有图片

3.1 金字塔向下采样

图像金字塔是图像中多尺度表达的一种方式,主要用于机器视觉和图像压缩。金字塔向下采样能有效减少图像的待处理信息,具体步骤:1)对有雾图像G₀进行高斯内核卷积;2)去除有雾图像G₀中的所有偶数行与列,得到下采样图像G₁;3)继续采样,可获得下一层下采样图像G₂。对采样图像依次去雾,效果如图2所示。图2从左往右依次为原始图像,有雾图像G₀,下采样图像G₁、G₂,还原图像J₀(x)、J₁(x)、J₂(x)。以峰值信噪比(PSNR)和图像平均结构相似性(MSSIM)为客观对比指标,将去雾图像与测试库中的无雾图像进行对比,结果如表1所示。可以发现,下采样图像信息只有原图像的1/4,下采样一次的复原图像J₁(x)与未采样复原图像J₀(x)相比,虽然降低了图像的视觉效果,但能明显提升算法的处理速度;与下采样两次的复原图像J₂(x)相比,丢失的信息更少,且更易保留纹理。这表明在兼顾去雾效果与处理速度的基础上,向下采样一次后的图像更适合视频去雾算法。

图 2. 金字塔向下采样示意图

Fig. 2. Schematic diagram of pyramid downward sampling

下载图片 查看所有图片

3.2 粗透射率获取

要获取粗透射率,必须先获取大气光估计图像、“伪”去雾图像和暗原色置信度。通常选取暗原色通道图像中前0.1%的最亮像素值作为大气光值A,实验采用局部大气光估计方法获取大气光估计图像;利用CLAHE算法获取“伪”去雾图像,通过加强局部区域的对比度达到去雾的目的;利用HSV(Hue,Saturation,Value)颜色模型提取S通道进行最大值滤波、V通道进行最小值滤波,然后引入暗原色置信度公式获取暗原色置信度,可表示为

ω1=11+exp[k1·(Vmin/A--1)]ω2=11+exp(-k2Smax),(7)ω'=ω1·ω2,(8)

式中,ω₁为亮度系数,ω₂为饱和度系数,V_min为亮度通道V的最小值滤波结果,S_max为饱和度通道S的最大值滤波结果,暗通道置信度ω'随V_min的增加或S_max的减小而大幅度下降, A-为大气光均值,k₁和k₂为Sigmoid函数的缩放系数,依据经验分别取8和20^[11]。

用得到的大气光估计图像、“伪”去雾图像及暗原色置信度,将(5)式修正为

t'(x)=1-ωmins∈Ω(x)[Ic(s)]/A(x)1-ω'mins∈Ω(x)[J'(s)]/A(x)。(9)

根据(9)式可求取粗透射率,具体流程如图3所示。

图 3. 粗透射率获取流程图

Fig. 3. Flow chart of obtaining the coarse transmittance

下载图片 查看所有图片

3.3 透射率精细化

3.2节获取的粗透射率边缘信息模糊,不适用于去雾处理。由于联合双边滤波具有细化图像边缘、恢复图纹细节和降低图像噪声的作用,实验用该方法对粗透射率进行进一步细化,具体步骤:将粗透射率图像t'(x)调整为与G₀相同的尺寸,再用联合双边滤波对其进行纹理细化处理,得到精细化透射率图像t″(x)。结果如图4所示,可以发现,经过联合双边滤波的透射率边缘纹理信息更加细腻,且能有效解决天空域颜色失真的问题。

图 4. 透射率精细化流程图

Fig. 4. Flow chart of transmittance refinement

下载图片 查看所有图片

3.4 图像复原

得到精细化的透射率t″(x)和大气光估计图像A(x)后,可根据暗原色先验理论结合大气散射模型复原降质图像,复原公式为

J(x)=I(x)-A(x)maxt″(x),t0+A(x)(10)

式中,t₀透射率下限,以防止在透射率趋于0时导致分母为零。

4 实验分析与比较

该算法的所有实验结果均在CPU为Intel(R) Core(TM) i7-8550U @1.80 GHz、内存为8 GB的计算机上运行所得,操作系统为Windows 7,开发语言为C++和OpenCV 3.3.0,开发平台为Visual Studio 2018。实验参数:滤波窗口尺寸均为7×7,透射率下限t₀=0.1。

4.1 视觉效果

为验证本算法的去雾效果和时效性,选取基于暗原色先验去雾算法^[2]、基于多尺度Retinex图像增强算法^{[4, 12]}和经典的引入引导滤波的暗原色去雾算法^{[6, 13-14]}作为对比进行实验。测试用的样本集选自ICIP2019去雾大赛的官方图库,降质场景包括街道、森林及建筑物等,且包含较多的天空区域。实验结果如图5所示,可以发现,虽然基于暗原色先验去雾算法(图5(b))可有效去雾,但光晕效应明显,像素值骤变区域失真严重;基于多尺度Retinex图像增强算法的去雾结果(图5(c)),虽然在一定程度上达到了“伪”去雾的效果,但图像颜色失真严重;引入引导滤波的暗原色去雾算法(图5(d))虽然有效解决了光晕效应,但由于透射率过估计,图像整体偏暗;而本算法的去雾结果(图5(e))不存在光晕效应与颜色失真现象,且较好地保存了图像的纹理信息,解决了透射率过估计的问题,相比其他算法去雾效果更优。

图 5. 不同算法的视觉效果。(a)有雾图像;(b)参考文献[ 2]算法;(c)参考文献[ 4]算法;(d)参考文献[ 6]算法;(e)本算法

Fig. 5. Visual effects of different algorithms. (a) Haze image; (b) Ref. [2] algorithm; (c) Ref. [4] algorithm; (d) Ref. [6] algorithm; (e) our algorithm

下载图片 查看所有图片

4.2 客观评价

由于视觉效果评价存在一定的主观性,为进一步证明本算法的去雾效果,采用PSNR和MSSIM作为客观评价标准,这两项评价标准,都是值越大,表明对应的处理效果越好。从测试用的样本集中,选取包括建筑、道路、湖泊、山区场景下的薄雾、中雾、浓雾样本各20个,共60个样本进行去雾处理,结果的平均值如表2所示。可以发现,相比其他算法,在运行速度上,本算法有较大提升;在薄雾、中雾、浓雾三种状态下,相比文献[ 2]、文献[ 4]、文献[ 6]中使用的算法,本算法的PSNR分别提高了14.249%、36.896%、9.315%,MSSIM分别提高了3.245%、16.013%、22.911%,较对比算法,本算法的PSNR和MSSIM整体平均提高了20.153%、14.056%。这表明,本算法在上述场景的去雾效果和时效性上都比较好,对一张分辨率为1280 pixel×720 pixel的图像进行去雾处理的平均用时为24 ms,完全满足帧间视频的去雾要求。

4.3 视频实时去雾

读取一段航拍的分辨率为1280 pixel×720 pixel视频,先对视频进行帧拆分,再利用本算法进行实时去雾,最后融合离散帧,输出还原后的视频流,实验结果的效果截图如图6所示。实验选取降质视频同一场景下时间有一定间隔的6帧图像,为凸显去雾的视觉效果,对输入的视频流进行分割,右侧为去雾前的图像,左侧为去雾后的图像。可以发现,去雾后的视频边缘纹理明显,色彩饱和真实,且在建筑物与天空区域的切换中过渡自然,不存在光晕效应与边缘信息失真,适用性广,且能满足每秒约30帧的数据处理量。

图 6. 雾天无人机航拍视频实时去雾效果

Fig. 6. Real-time defogging effect of drone aerial video

下载图片 查看所有图片

5 结论

以暗原色先验理论去雾算法为基础,通过金字塔向下采样,极大减少了透射率计算过程中的数据处理量,有效提高了算法的时效性。利用联合双边滤波对调整尺寸后的粗透射率图像进行精细化,结合大气散射模型及基于帧间图像视频去雾算法理论,对视频进行去雾。实验结果表明,该算法的处理速度较快,去雾效果好,视觉效果较优,对分辨率为1280 pixel×720 pixel降质视频,能达到每秒约30帧的数据处理量。但对于分辨率为1920 pixel×1080 pixel的降质视频,该算法在处理速度上还有待改进,同时在金字塔回归后,对粗透射率进行精细化的过程仍需改善。