1 引言

在雾、霾等天气条件下,大气中悬浮的大量微小水滴、气溶胶等颗粒对大气中的光线传播有着很大的影响,导致可见光成像系统得到的图像出现颜色失真、对比度下降等现象,影响着人们的日常生活、工业生产以及战场态势采集、处理、传输。图像去雾是对雾天图像进行清晰化处理的过程,从图像中获取更多的信息,为目标跟踪、监测、侦查和识别等提供高质量图像,具有十分重要的意义。

近年来,基于雾天退化模型的单幅图像去雾方法取得了重大进展^[1-3]。Tan^[4]利用中值滤波估计介质传输图,降低了算法的复杂度;Fattal^[5]对局部区域内的像素点进行方程求解时采用独立成分分析方法,得到无雾图像,然而在浓雾图像的处理上有所欠缺;Dong等^[6]通过引入加性高斯白噪声修改了雾天退化模型,基于稀疏先验估计介质传输图,然而该方法利用迭代求解,时间复杂度较高;Zhu等^[7]提出了一种基于颜色衰减先验的图像去雾算法,通过求解线性模型估计介质传输图,提高了算法运行效率,然而该方法过度依赖图像的颜色信息,不能处理好整幅雾天图像;He等^[8]通过对大量室外无雾图像的统计分析暗通道先验估计初始介质传输图,然后利用软抠图以及速度更快的引导滤波^[9]算法对介质传输图进行精细化,该方法目前得到了广泛应用,然而该方法估计的介质传输图蕴含的原始图像结构信息较少,不适用于天空区域或者大片白色区域,同时在图像细节处去雾能力不足。

由于上述这些算法普遍在天空区域的处理上效果不明显,容易造成色彩失真,因此,一些针对天空区域颜色失真的改进算法相继被提出。李加元等^[10]分别估计天空区域和非天空区域的介质传输图得到无雾图像,有效抑制了色彩失真现象,但所得图像色彩偏暗;毕笃彦等^[11]基于Color Lines先验,利用高阶马尔可夫随机场精细化介质传输图,对天空区域处理效果较好,然而该方法在远景图像细节上处理效果欠佳。

针对暗通道去雾方法在天空区域的处理上存在的不足,本文通过稀疏表示模型丰富了介质传输图的稀疏特征。图像的稀疏表示是一种通过观测矩阵将自然界图像存在的纹理细节等几何特征投影到低维空间中,重构出原始图像的过程。在去雾过程中,建立稀疏表示模型,可以有效地提取相似度高的稀疏特征,使通过暗通道先验得到的粗略介质传输图和原始图像具有相一致的结构特征^[12-14]。

本文在暗通道先验的基础上,提出了一种基于稀疏表示模型和特征提取的单幅图像去雾算法。首先,基于暗通道先验求得粗略介质传输图,同时通过字典学习和稀疏表示模型提取有雾图像灰度图的稀疏特征,对粗略介质传输图的稀疏系数加权优化;然后,求取有雾图像纹理细节部分的稀疏系数,与优化后的粗略介质传输图稀疏系数结合,进一步求得精细介质传输图;最后,逆向求解雾天退化模型,清晰化雾天图像。本文算法在天空区域的处理上优势明显,避免了光晕的产生,复原的图像层次分明、清晰自然。

2 模型及暗通道先验

2.1 雾天退化模型

导致雾天图像退化现象产生的散射效应具体分为两类:1)目标物表面的反射光经过浑浊大气介质中的悬浮微粒发生的前向散射效应;2)周围的大气光经过悬浮微粒发生的后向散射效应。图1为雾天退化模型原理示意图。

图 1. 雾天退化模型原理示意图

Fig. 1. Schematic of fog degenerate model

下载图片 查看所有图片

图1中I(x)为照相机生成的雾天退化图像;J(x)为场景的反射光图像,即待求解的无雾图像;A为全局大气光强度,假设大气光值为常量;t(x)为介质传输图,反映场景的衰减程度,其表达式为

t(x)=exp[-βD(x)],(1)

式中β为大气散射率;D(x)为场景景深,反映目标物到照相机的距离。精确的介质传输图t(x)估计是求取未退化的清晰无雾图像J(x)的重点。He等^[8]建立了雾天图像退化模型,其表达式为

I(x)=J(x)t(x)+A[1-t(x)],(2)

式中J(x)t(x)为前向散射效应产生的干扰项,A[1-t(x)]为后项散射效应产生的干扰项。

2.2 暗通道先验

暗通道先验是He等^[8]对大量户外无雾图像统计得出的规律。在绝大多数非天空的局部区域里,在红、绿、蓝3个颜色通道内,至少有一个颜色通道具有像素值接近于零的像素点。对于任意输入的清晰无雾图像J(x),暗通道J^dark(x)满足

Jdark(x)=minc∈{R,G,B}{minΩ[Jc(x)]},(3)

式中J^c(x)为图像J(x)某一颜色通道的值,c∈{R,G,B},Ω为选取的图像子块。暗通道先验理论指出,对于一幅无雾图像J(x),暗通道的值接近于零,即

Jdark(x)→0。(4)

由(2)式和(3)式可得

t(x)=1-ωminc∈{R,G,B}minΩIcxA,(5)

式中I^c(x)为有雾图像I(x)某一颜色通道的值;ω为在实际计算过程中引入的常数,保存部分覆盖远景的雾,使图像更加真实,本文中的ω取值与文献[ 8]相同,为0.95。

3 本文算法

本文针对介质传输图稀疏系数矩阵进行优化求解,提出了一种求取介质传输图的新算法。首先,基于DCT字典对粗略介质传输图进行训练,得到稀疏系数矩阵1和新字典;其次,通过新字典对样本图像进行训练,得到样本图像稀疏系数矩阵2,并利用稀疏系数矩阵2的无穷范数求取λ和权重矩阵,对稀疏系数矩阵1加权优化,得到初步优化的稀疏系数矩阵4;然后,对样本图像子块作减去均值的预处理,并基于新字典建立稀疏表示模型,得到稀疏系数矩阵3;最后,通过稀疏系数矩阵3和稀疏系数矩阵4的结合,求得精细介质传输图稀疏系数矩阵5,逆向求解雾天退化模型的清晰化雾天图像。图2所示为本文算法的流程图。

图 2. 本文算法的流程图

Fig. 2. Flow chart of the proposed algorithm

下载图片 查看所有图片

3.1 介质传输图优化模型

在信号处理过程中,利用信号在稀疏域的逼近替代原始信号^[15]。将这种思想应用到图像去雾中,提取雾天图像的稀疏特征,丰富介质传输图的结构和细节,具有较强的稳健性,稀疏表示过程如图3所示。图3中α_i为图像信号在冗余字典D下的稀疏系数,只含有少量的非零元素。

图 3. 稀疏表示过程示意图

Fig. 3. Schematic of sparse representation model

下载图片 查看所有图片

由雾天图像获取的介质传输图与原始图像具有一致性,均有局部光滑的特性,且在景深跳变的边缘处纹理细节相一致^[16]。为使介质传输图真实地反映出原始图像结构及纹理特征,定义t_g(x)为样本图像,t_g(x)=A-I(x),通过提取样本图像稀疏特征,优化介质传输图t_d(x),使其具有原始图像的稀疏特征,本文通过在稀疏域上对介质传输图t_d(x)的稀疏系数进行加权,实现介质传输图优化。为使优化后的介质传输图和粗略的介质传输图之间的误差尽可能小,同时具有原始雾天灰度图像的稀疏特征,提出关于介质传输图的能量模型:

ε(t'd)=argmint'd[t'd-td22+λφ(t'd)-φ(tg)22],(6)

式中t'_d为优化后的介质传输图; t'd-td22为保真项;λ为惩罚因子;φ(X)为提取图像X稀疏系数矩阵的算子; φ(t'd)-φ(tg)22的作用是使优化后的介质传输图具有样本图像的稀疏特征。

3.2 基于稀疏表示模型的介质传输图精细化

首先,基于字典学习和正交匹配追踪(OMP)^[17]方法训练粗略介质传输图t_d(x),得到字典D_new和稀疏系数矩阵φ(t_d);然后,求解样本图像t_g(x)在更新的字典D_new上对应的稀疏系数矩阵φ(t_g)。根据图像的稀疏性,将(6)式改写为

ε(t'd)=argmint'd[φ(t'd)-φ(td)22+λφ(t'd)-φ(tg)22],(7)

对(7)式求导可得

φ(t'd)=φ(td)I+λI+λφ(tg)I+λI,(8)

式中I是单位向量。

定义权重系数矩阵Θ为

Θ=λII+λI,(9)

可知Θ的取值与惩罚因子λ有关。由此(8)式可改写为

φ(t'd)=(1-Θ)×φ(td)+Θ×φ(tg)。(10)

由(8)式可知,λ的取值越大,则优化后的介质传输图含有样本图像的稀疏特征越多;反之,则含有粗略介质传输图稀疏特征越多。由于稀疏特征在图像的平滑区域较少,而在细节处较多,对应到L_∞范数^[18]上,表现为在图像平滑区域取值较小,在纹理细节区域取值较大。为使优化后的介质传输图稀疏系数矩阵在平滑区域与粗略介质传输图相近,在纹理细节上具有样本图像的稀疏特征。本文引入稀疏系数矩阵φ(t_g)的L_∞范数,以确定惩罚因子λ,实现λ的自适应取值,其表达式为

λ=maxjgij,(11)

式中g_i为稀疏系数矩阵φ(t_g)的第i列;g_ij为列向量g_i中的第j个元素; maxjgij为稀疏系数矩阵φ(t_g)的第i列向量元素的绝对值中的最大值,即L_∞范数。λ值越大,说明该列向量对应的图像子块含有的稀疏特征越多。图4为参数λ矩阵和权重矩阵的求解过程示意图。

图 4. 参数求解过程示意图

Fig. 4. Flow chart of parameter solution

下载图片 查看所有图片

首先,求取样本图像稀疏系数矩阵φ(t_g)的每一列对应的L_∞范数,进行归一化得到一个行向量;然后,对行向量进行扩边,得到每一列数值相同的参数λ矩阵,并通过(9)式求得权重系数矩阵Θ;最后,通过(10)式使权重系数矩阵Θ与稀疏系数矩阵φ(t_d)和φ(t_g)对应像素点进行运算,得到加权优化后的稀疏系数矩阵φ(t'_d)。将介质传输图从稀疏域对应到图像域,对介质传输图的初步精细化如图5所示。

图 5. 对介质传输图的初步精细化。 (a)粗略介质传输图td(x);(b)样本图像tg(x);(c)重构得到的图像;(d)初步优化的介质传输图t'd(x)

Fig. 5. Initial refinement of the medium transmission image. (a) Rough medium transmission image td(x); (b) sample image tg(x); (c) reconstructed image; (d) preliminary optimized image t'd(x)

下载图片 查看所有图片

在图5中,图5(c)为将每一个图像块对应的Θ值作为图像像素点进行重构得到的图像,图5(d)具有粗略介质传输图边缘轮廓,且结构特征更加接近于清晰无雾图像。但由蓝框区域可以发现,初步优化的介质传输图在边缘和纹理细节去雾不彻底并且伴随有伪轮廓。

3.3 基于稀疏系数结合的最终介质传输图求取

为进一步求取精细介质传输图t_f(x),本文算法利用样本图像边缘部分稀疏系数矩阵φ(t'_g)与初步优化后的介质传输图的稀疏系数矩阵φ(t'_d)结合,求取精细介质传输图的稀疏系数矩阵φ(t_f)。此过程的关键在于样本图像边缘细节部分稀疏系数矩阵φ(t'_g)的求取。

首先,对每个样本图像子块作减去均值的预处理,进而对新的介质传输图子块t'_di建立稀疏表示模型,得到稀疏系数矩阵φ(t'_g)。处理过程为

t'di=tdi-t-diQ,(12)

式中t'_di为样本图像边缘细节部分的第i个子块; t-di为该列向量的均值;Q为单位列向量。稀疏系数矩阵φ(t'_g)在反映了样本图像边缘和纹理细节等高频信息的同时,也适当保留了部分低频信息,起到了平滑的作用,不会由于边缘过于突出而导致图像失真。

然后,通过稀疏系数矩阵φ(t'_d)和φ(t'_g)的有效结合,求得精细介质传输图的稀疏系数矩阵为

φ(tf)=ζ(td)φ(t'd)+ζ(tg)φ(t'g),(13)

式中ζ(t_d)为粗略介质传输图的相应系数;ζ(t_g)为样本图像的相应系数。ζ(t_d)和ζ(t_g)用于调节稀疏系数矩阵φ(t'_d)和φ(t'_g)在整体中的比例,其表达式为

ζ(td)=t-dxt-d(x)+t-gxζ(tg)=t-gxt-d(x)+t-gx。(14)

需要注意的是,因为求取φ(t'_g)的过程对样本图像子块做了减去均值的处理,所以通过字典D_new和稀疏系数矩阵φ(t_f)还原出的介质传输图的像素值偏小,造成得到的无雾图像整体偏暗,需要对精细介质传输图t_f(x)进行校正。由于提高图像的均值可以提高图像的整体明亮程度,但并不会影响图像中存在的物体的结构信息,因此,为提高图像整体明亮程度,同时保留其本质特征,采用校正方法,得到所要求取的最终的介质传输图为

t'f(x)=1Z2[tf(x)+t-d(x)],(15)

式中Z₂为归一化常数。

4 实验结果与分析

首先,与目前主流去雾算法进行对比,验证本文算法的适应性和有效性;然后,从解决天空区域失真、去除伪轮廓和细节保持3个方面分析本文算法的优势;最后,对客观指标进行分析,进一步验证本文算法的去雾效果。

4.1 有效性分析

图6所示为本文算法与主流算法的去雾效果对比,研究对象包含4幅图像。

图 6. 去雾效果对比。(a)雾天图像;(b)文献[ 8-9]算法;(c)文献[ 4]算法;(d)文献[ 5]算法;(e)文献[ 19]算法;(f)本文算法

Fig. 6. Comparison of dehazing effects. (a) Haze image; dehazing effects of (b) Ref. [8-9], (c) Ref. [4], (d) Ref. [5], (e) Ref. [19], and (f) proposed algorithm

下载图片 查看所有图片

为了分析算法去雾效果,将本文算法与He等^[8-9]引导滤波算法、文献[ 4]算法、文献[ 5]算法、文献[ 19]算法作对比。对比上述算法的去雾结果可知,文献[ 8-9]算法复原的图像都能取得好的效果,然而在处理天空区域时存在颜色失真现象,如第1幅图像由于过度去雾,使得天空区域含有噪声,对比度降低,颜色偏暗。文献[ 4]算法复原的图像在部分区域取得了较好效果,然而去雾不彻底,存在偏色现象。文献[ 5]算法在大多数情况下可以取得较好的复原效果,然而在场景光能量损失较大的区域,如第1幅图像和第3幅图像中的天空区域或者存在大量浓雾的区域,复原出的图像颜色偏暗。文献[ 19]算法对于图像的复原较彻底,去雾效果较好,然而颜色整体偏暗,并且在部分景深跳变处(如第3幅图像中的黄框区域),存在光晕现象。图6(f)是本文算法的图像复原结果,对不同的图像去雾效果都较好,特别是对于第1幅图像和第4幅图像的天空区域处理,没有出现噪声和颜色失真。对比不同算法的去雾效果可知,通过本文算法得到的去雾图像更具层次感,颜色自然,边缘处复原结果有明显优势,并且不存在光晕现象。

4.2 校正天空区域失真

图7所示为本文算法与主流算法在天空区域的去雾效果对比,研究对象包含3幅图像。

图 7. 天空区域的去雾效果对比。(a)雾天图像;(b)文献[ 8-9]算法;(c)文献[ 19]算法;(d)文献[ 20]算法;(e)本文算法

Fig. 7. Comparison of the sky regions dehazing effects. (a) Haze image; dehazing effects of (b) Ref. [8-9], (c) Ref. [19], (d) Ref. [20], and (e) proposed algorithms

下载图片 查看所有图片

为验证本文算法在天空区域的去雾效果优势,将本文算法与He等^[8-9]算法以及在天空区域处理效果较好的文献[ 19]算法和文献[ 20]算法作对比。通过对比可以看出,在图7中的天空和大片白色区域的修正上,He等^[8-9]算法的处理结果存在色彩失真的问题,尽管本文算法、文献[ 19]算法和文献[ 20]算法都对去雾图像天空区域进行了改善,但经过本文算法处理后的图像天空区域的色彩更加真实自然,更加接近原始图像。对比不同算法对于图7第1幅图像中红框区域的处理结果,文献[ 19]算法和文献[ 20]算法处理后的图像在近处的景物细节处仍有一层白雾,而本文算法处理后的图像去雾程度较高,整体效果较好。

4.3 细节保持

图8所示为本文算法与主流算法在细节区域的去雾效果对比,研究对象包含4幅图像。

为分析本文算法在细节保持方面的有效性,选取4幅图像,分别代表远景、近景的不同情况,将本文算法与其他算法进行对比。通过对比可以看出,本文算法在细节保持方面具有明显的优势,边缘和纹理细节清晰可见。对比远景图像,本文算法无颜色失真,轮廓清晰自然;对比近景图像,本文算法无光晕效应,树叶边缘无明显白雾,图像中的景物更加真实。

4.4 图像质量客观评价

为了从客观角度评价本文算法性能的优劣,采用图像的信息熵和峰值信噪比(PSNR)作为评价的指标。信息熵反映图像所传达的信息量的大小,其值越大,表明复原图像效果越好,边缘越明显^[21];PSNR反映图像结构信息的完整性,其值越高,表明复原图像与原始无雾图像的结构特征越相似,受噪声的影响越小。表1列出了图6中各图像的熵;表2列出了图6中各种算法复原图像的峰值信噪比。

图 8. 细节区域的去雾效果对比。(a)雾天图像;(b)文献[ 8-9]方法;(c)文献[ 4]方法;(d)文献[ 5]方法;(e)文献[ 19]方法;(f)本文算法

Fig. 8. Comparison of the detail regions dehazing effects. (a) Haze image; dehazing effects of (b) Ref. [8-9], (c) Ref. [4], (d) Ref. [5], (e) Ref. [19], and (f) proposed algorithm

下载图片 查看所有图片

从表1和表2的数据对比可以看出,在信息熵上,本文算法比其他算法更有优势,表明本文算法在图像边缘细节处复原效果较好;在峰值信噪比上,本文算法也占有优势,表明本文算法去雾效果的结构信息完整性更强,图像更加清晰自然,去雾质量得到了提高。

5 结论

基于图像稀疏表示理论,提出了一种新的单幅图像去雾算法。该算法主要在稀疏域上进行模型优化与求解,利用 L∞范数初步改进粗略介质传输图的稀疏系数,并采用两幅介质传输图稀疏系数结合的方法,进一步求解精细化介质传输图。该算法避免了复原图像边缘处伪轮廓的产生,在天空区域的处理和细节保持上更占优势,增强了去雾质量。然而该算法在求出介质传输图稀疏系数矩阵时,得到的值偏小,利用样本图像的均值进行修正,尽管对大部分样本图像的去雾效果较好,但是部分图像仍存在颜色偏暗的问题,如何确定修正值的大小是以后需要研究和改进的地方。