1 引言

在雾、霾等恶劣天气下,空气中的悬浮颗粒会对光线发生散射和折射,从而影响户外视觉系统的性能,严重降低了图像中目标物的对比度和清晰度。因此,有必要对这些图像进行去雾处理。

目前的图像去雾算法可大致分为基于图像增强的算法^[1-2]、基于图像复原的算法^[3-7]和基于机器学习的算法^[8-9]。基于图像增强的代表算法,如Retinex算法^[2]适用性广,但忽略了图像退化的本质,不能实现真正意义上的去雾。基于机器学习的算法适用范围广,但难获取大的数据集,学习规模较小,算法还不成熟。基于图像复原的算法考虑了图像退化的本质,利用先验规律或假设并结合大气散射模型实现图像去雾,效果优于其他两种算法。He等^[10]提出了一种基于暗通道先验理论的算法,该算法去雾效果较好,但当图像中有大片天空区域或白色物体时,复原图像会出现失真现象。Tarel等^[11]提出了一种利用中值滤波变形形式估计大气耗散函数的快速去雾算法,但该算法参数多,且参数的取值对去雾图像的影响较大。Wang等^[4]提出了一种有雾图像与无雾图像的线性变换理论,将线性方程转换成二次区段函数,从而求解介质传输率。该算法复杂度低,去雾效果较好,但无法自适应求取线性变换的修正参数,限制了该算法的实际应用。

综上所述,本文提出了一种基于改进线性变换的迭代优化去雾算法。首先,通过分析大气耗散函数和有雾图像的关系,建立了大气耗散函数和有雾图像最小颜色分量的自适应线性变换模型,以获得介质传输率;然后,对明亮区域的介质传输率进行自适应修正,并利用构造的高阶滤波器对修正后的介质传输率进行迭代优化;最后,采用四叉树子块搜索策略选取大气光值,利用大气散射模型复原无雾图像。实验结果表明,相比其他对比算法,本算法的去雾效果更好。

2 算法原理

2.1 大气散射模型

在计算机视觉和图像图形领域,雾天降质过程普遍用大气散射模型表示为

I(x)=J(x)t(x)+A[1-t(x)],(1)

式中,x为像素坐标,J(x)为无雾图像,A为整体大气光值,I(x)为雾天的退化图像,J(x)t(x)为直接衰减项,A[1-t(x)]为大气光幕^[11],t(x)为介质传输率,可表示为

t(x)=exp[-βd(x)],0≤t(x)≤1,(2)

式中,β为大气散射系数,d(x)为场景深度。根据大气散射模型对图像进行去雾就是通过估计参数t(x)和A,从I(x)中恢复J(x)。可通过引入大气耗散函数V(x)间接求解介质传输率,V(x)可表示为

V(x)=A[1-t(x)]。(3)

根据(3)式,得到介质传输率

t(x)=1-V(x)/A。(4)

2.2 线性变换模型

雾天条件下,介质传输率与场景距离有关,成像距离越大,图像的像素值越高。Wang等^[4]假设

minc∈{R,G,B}Jc(x)∝minc∈{R,G,B}Ic(x),(5)

式中, minc∈(R,G,B)为取三通道的像素最小值,c为颜色通道,R,G,B分别为RGB(Red, Green, Blue)图像的三个通道,I^c(x)为图像I在x处、c通道的像素值,J^c(x)为图像J在x处、c通道的像素值,∝为正比符号,可将(5)式进一步表示为

minc∈{R,G,B}Ic(x)=a×minc∈{R,G,B}Jc(x)+b,(6)

式中,a为斜率,b为截距。为了便于求解,将(6)式转换成二次函数的分段函数,以求解介质传输速率,可表示为

minc∈{R,G,B}Jc(x)=ε×minc∈{R,G,B}Ic(x)-XMinXMax-XMin×minc∈{R,G,B}Ic(x),(7)

式中,X_Max和X_Min分别为 minc∈{R,G,B}I^c(x)的最大值和最小值,0<ε<1为约束线性变换速率的变量。

3 算法的实现

3.1 算法流程

基于改进线性变换的迭代优化去雾算法流程如图1所示。首先,求出有雾图像的最小颜色分量,并建立大气耗散函数与最小颜色分量的自适应线性变换模型,获得介质传输率的初始估计;其次,对明亮区域的介质传输率进行自适应修正;然后,利用一组高阶滤波器对修正后的介质传输率进行迭代优化处理;最后,将优化后的介质传输率和基于四叉树子块搜索法获得的大气光值代入大气散射模型,得到复原图像。

图 1. 本算法的流程图

Fig. 1. Flow chart of our algorithm

下载图片 查看所有图片

3.2 改进线性变换的介质传输率估计

由(3)式中的物理模型可知,大气耗散函数应该满足两个约束条件^[11]:1)大气耗散函数为正值,即V(x)≥0;2)大气耗散函数不大于有雾图像I(x)的最小颜色分量W(x),W(x)可表示为

W(x)=minc∈{R,B,G}Ic(x)。(8)

对于灰度图像,有W(x)=I(x)。实验处理的都是归一化后的图像级数据,因此,V(x)的取值范围为

0≤V(x)≤W(x)≤1。(9)

Tan等^[12]通过理论推导发现,可将有雾图像最小颜色分量作为估算大气耗散函数的依据。在雾天条件下,介质传输率与景深有关,随着景深的增加介质传输率逐渐减小,大气耗散函数值会逐渐增大。Wang等^[4]提出的线性变换模型指出,雾天条件下图像的像素值随景深的增加而增大,有雾图像的最小颜色分量也会逐渐增大,即有雾图像中的大气耗散函数V(x)与有雾图像的最小值颜色分量W(x)成正相关,可表示为

V(x)∝W(x)。(10)

假设在成像过程中,有雾图像的最小颜色分量随着大气耗散函数的增加线性增加,可将(10)式进一步表示为

W(x)=cV(x)+d。(11)

基于V(x)的限定条件,得到大气耗散函数的估算公式为

B(x)=α×W(x)-LH-L,(12)

式中,0≤α≤1为控制因子,可用来控制线性变换的速率,L和H分别为W(x)的最小值和最大值,B(x)为大气耗散函数的粗略估计。B(x)采用归一化的原因:1)保证W(x)经线性变换后仍在0到1范围内;2)归一化的数学表达式可以满足(11)式的线性关系。控制因子α可以灵活调整斜率c和截距d,使估算的大气耗散函数更准确。由V(x)≤W(x),得到

V(x)=min[B(x),W(x)]。(13)

为了直观地说明控制因子α对图像复原效果的影响,选取不同的控制因子α对含有近景和远景的有雾图像进行去雾处理,结果如图2所示。

图 2. 不同α得到的去雾图像。(a)有雾图像;(b) α=0.2;(c) α=0.4;(d) α=0.6;(e) α=0.8;(f) α=1.0

Fig. 2. Dehazing images obtained by different α. (a) Hazy image; (b) α=0.2; (c) α=0.4; (d) α=0.6; (e) α=0.8; (f) α=1.0

下载图片 查看所有图片

从图2可以发现,当α较小时,复原图像去雾不彻底。随着α的增大,复原图像中的近景去雾效果较好,但远景颜色出现失真现象。经过大量实验仿真发现,α的取值与景深有关,景深越深,α越小,复原图像的去雾效果越好。考虑到有雾图像的最大值通道含有图像的景深信息,且受雾气的影响有雾图像的最大值通道像素值随景深的增大而增大。为了消除噪声和局部白色区域对α的影响,需对有雾图像的最大值通道进行最小值滤波,可表示为

α(x)=1-miny∈Ω(x)maxc∈{R,G,B}(Ic(y),(14)

式中,Ω为最小值滤波器的窗口大小,实验设Ω=15,y∈Ω(x)为以Ω(x)为中心、半径为15的局部区域内的像素, maxc∈(R,G,B)为三通道像素的最大值。为了消除最小值滤波产生的块效应,采用含有纹理信息的有雾图像最大像素值通道与α(x)进行联合双边滤波操作,得到自适应控制因子α'(x),将(13)式改写为

V(x)=minα'(x)×W(x)-LH-L,W(x)。(15)

不同算法得到的最终V(x)如图3所示,可以发现,本算法比文献[ 11]中利用中值滤波得到的大气光幕更精细,利用该光幕估计介质传输率可以避免块效应。

图 3. 不同算法得到的大气光幕。(a)有雾图像;(b)文献[ 11]中的算法;(c)本算法

Fig. 3. Atmospheric light curtains obtained by different algorithms. (a) Hazy image; (b) algorithm of Ref. [11]; (c) our algorithm

下载图片 查看所有图片

将(15)式的大气耗散函数V(x)代入(4)式,得到初始介质传输率 t˙(x)

t˙(x)=1-V(x)/A=1-minα'(x)×W(x)-LH-L,W(x)/A。(16)

由式(16)可知,只需求出大气光值A,就能得到整个图像的初始介质传输率 t˙(x)。

图4为本算法和文献[ 10]中的算法得到的介质传输率和复原效果,可以发现,本算法在边缘处得到的图像更精细,可以有效去除残雾,同时消除了求解暗通道时最小值滤波导致复原图像中的块效应或Halo效应,使恢复图像的色彩更自然。

图 4. 不同算法得到的去雾图像。(a)有雾图像;(b)本算法得到的初始介质传输率;(c)本算法的复原效果;(d)文献[ 10]得到的介质传输率;(e)文献[ 10]的复原效果

Fig. 4. Dehazing images obtained by different algorithms. (a) Hazy image; (b) initial medium transmission rate obtained by our algorithm; (c) restoration effect of our algorithm; (d) medium transmission rate obtained by Ref. [10]; (e) restoration effect of Ref. [10]

下载图片 查看所有图片

当图像中存在局部明亮区域时,利用该区域的最小颜色分量估算出的大气耗散函数会偏大,导致得到的介质传输率 t˙(x)偏小,去雾力度过强,使复原图像的颜色出现失真现象。为了解决该问题,基于文献[ 2]提出的自适应参数调整方法对明亮区域的介质传输率进行修正,明亮区域介质传输率的修正值可表示为

t0=min[max(n/N,0.15),0.3],(17)

式中,t₀的下限值为0.15,可以保证复原图像景深处存有少量雾气,使恢复的图像更贴近真实情景。n/N为 t˙(x)中像素值小于0.15的像素数占 t˙(x)中总像素数的比重。对于尺寸相同的图像,n/N越大,则明亮区域的范围就越大,复原图像的颜色失真也就越明显。可通过增大初始介质传输率的修正值,避免复原图像出现颜色失真。因此,将 t˙(x)中比重小于0.15的像素值修正为0.15,反之,将其设定为n/N。为了防止n/N的值过大导致明亮区域去雾不彻底,需设定n/N的上限值。通过大量仿真实验分析,将上限值设为0.3。由(2)式可知,天空区域的介质传输率具有最小值,因此,将其与明亮区域一同修正为t₀,得到自适应修正后的粗略估计值t'(x)为

t'(x)=minmaxt˙(x),t0,1。(18)

明亮区域的复原效果如图5所示,可以发现,自适应修正后天空区域的颜色失真得到了明显改善。

图 5. 明亮区域的复原效果。(a)有雾图像;(b)修正前的去雾图像;(c)自适应修正后的去雾图像

Fig. 5. Restoration effect of bright area. (a) Hazy image; (b) dehazeing image before correction; (c) dehazeing image after adaptive correction

下载图片 查看所有图片

3.3 介质传输率的优化

基于改进线性变换得到的介质传输率仍然存在纹理效应,为了消除纹理效应,选取Meng等^[13]提出的迭代优化方法对估计的介质传输率进行优化。通常局部图像区域内像素的深度值相同,但图像边缘处的景深会发生跳变。为了使景深跳变处邻近的介质传输率差趋于0,利用相邻像素的色差构造加权函数W(x,y),可表示为

W(x,y)[t(y)-t(x)]≈0,(19)

式中,x和y为两个相邻像素。加权函数W(x,y)在x和y之间起着约束的切换作用,当t(y)-t(x)较大时,W(x,y)很小,使两者的乘积趋于0,反之亦然。W(x,y)可表示为

W(x,y)=exp-I(x)-I(y)2/2δ2,(20)

式中,δ为固定参数,实验取δ²=0.5。为了更好地体现图像的梯度变化,用Kirsch边缘检测算子和Laplacian边缘检测算子构成的一组高阶滤波器遍历图像,构造的加权函数可表示为

Wj(i)=exp-∑c∈{R,G,B}Dj⊗Ic(x)i22δ2,(21)

式中,D_j为高阶滤波器组中的第j个滤波器,j为图6中高阶滤波器组的滤波器索引,i为第j个滤波器构造的加权函数的索引,高阶滤波器组中i=j=1,2,…,9。

图 6. 高阶滤波器组

Fig. 6. High-order filter bank

下载图片 查看所有图片

基于L₁范数的迭代优化方法最小化(22)式中的代价函数,对估计的介质传输率与优化介质传输率进行约束,可表示为

λ2t(x)-t'(x)22+∑j∈ω=Wj(i)·Dj⊗t(x)=1,(22)

式中,λ为一个归一化参数,ω为高阶算子索引值,t(x)为优化后的介质传输率。

Meng等^[13]采用变量分裂法引入辅助变量μ_j,构造新的代价函数进行最小化,可表示为

λ2t(x)-t˙(x)22+∑j∈ω=Wj(i)·[Dj⊗t(x)]=1+β2∑j∈ωμj-Dj⊗t(x)22,(23)

式中,β为权重值。通过(23)式的代价函数,得到最优介质传输率t^*(x)

t*(x)=F-1λβF[t˙(x)]+∑j∈ωF(Dj)¯·F(μj)λβ+∑j∈ωF(Dj)¯·F(Dj),(24)

式中,F(·)为傅里叶变换,F^-1(·)为傅里叶逆变换, (·)¯为复共轭。参数β以2 2为缩放因子在β₀=1到β_max=2³的范围进行迭代,迭代效果如图7所示。可以发现,粗略估计的介质传输率经高阶滤波器不断迭代优化后,边缘交替处的纹理效应逐渐消失。

图 7. 介质传输率的迭代优化过程。(a)粗略的介质传输率;(b)迭代一次后的效果;(c)迭代两次后的效果;(d)迭代三次后的效果

Fig. 7. Iterative optimization process of the medium transmission rate. (a) Rough media transmission rate; (b) effect after iteration; (c) effect after two iterations; (d) effect after three iterations

下载图片 查看所有图片

3.4 基于四叉树的大气光值估计

He等^[10]利用暗通道求取大气值,可能会出现将白亮物体对应的像素值作为大气光值A,导致大气光值估计不准确。文献[ 14]利用有雾图像和四叉树空间搜索法求取大气光值,但该方法也容易受到高亮区域的影响。因此,基于文献[ 14]的四叉树方法提出了一种改进方法,具体步骤:1)将大气耗散函数V(x)均分为四个子矩形区域;2)用每个矩形区域的平均像素值减去该区域的标准差,得到该区域的评分;3)将评分最高的区域继续划分为四个子矩形区域;4)重复步骤1)和步骤2),直到所选区域面积小于200个像素点时,选定该区域并求取该区域内大气耗散函数的平均值。选取平均值对应的有雾图像像素值作为大气光值A,得到的复原图像如图8所示。可以发现,利用四叉树对大气耗散函数进行大气光值搜索可以避免有雾图像中高亮区域的干扰。

图 8. 不同算法的复原图像。(a)有雾图像;(b)文献[ 14]的算法;(c)本算法

Fig. 8. Restored images of different algorithms. (a) Hazy image; (b) algorithm of Ref. [14]; (c) our algorithm

下载图片 查看所有图片

由(1)式可知,在估算出A和t^*(x)后,就能得到清晰的复原图像,可表示为

J(x)=I(x)-At*(x)+A。(25)

4 实验结果和分析

为了验证本算法的有效性和可行性,选取多组有雾图像进行实验,并从主观和客观两方面对实验结果进行评价。仿真环境:软件为MatlabR2016a,系统为64位、Window10。

4.1 主观评价

选取文献[ 8]、文献[ 13]、文献[ 4]、文献[ 3]中的算法与本算法进行对比,不同算法对6幅不同场景图像的去雾效果如图9所示。

图 9. 不同算法得到的去雾图像。(a)有雾图像;(b)文献[ 8];(c)文献[ 13];(d)文献[ 4];(e)文献[ 3];(f)本算法

Fig. 9. Dehazing images obtained by different algorithms. (a) Hazy image; (b) Ref. [8]; (c) Ref. [13]; (d) Ref. [4]; (e) Ref. [3]; (f) our algorithm

下载图片 查看所有图片

从图9可以发现,对于薄雾图像1,文献[ 8]和文献[ 3]的算法去雾不彻底,存在残雾,且恢复图像偏暗。文献[ 13]的算法对近景去雾彻底,但远景存有残雾。文献[ 4]的算法整体去雾效果较好,但在远景处出现颜色失真现象。对于浓雾且景物纹理复杂的图像2,文献[ 8]和文献[ 3]的算法去雾不彻底,且恢复图像偏暗。文献[ 13]的算法对近景去雾彻底,远景失真严重。文献[ 4]的算法在景深突变处存有残雾,天空区域颜色失真。相比其他算法,本算法对2幅图像的去雾均比较彻底,且去雾图像的色彩自然没有失真。

对于浓雾图像3,文献[ 8]、文献[ 13]、文献[ 4]和文献[ 3]的算法去雾均不彻底,且文献[ 13]和文献[ 4]的算法在天空区域出现色彩失真现象,文献[ 4]的算法处理后图像整体偏暗,本算法虽然在天空区域颜色恢复不自然,但去雾最彻底,整体效果较好。对于薄雾图像4,文献[ 8]、文献[ 13]、文献[ 4]和文献[ 3]的算法去雾均不彻底,且文献[ 8]和文献[ 3]的算法去雾后图像整体偏暗,文献[ 13]的算法去雾后图像颜色失真,相比其他算法,本算法去雾彻底,色彩自然,细节清晰。

图像5和图像6为含有大片天空区域且景深变化缓慢的风景雾图像,对于图像5,文献[ 8]和文献[ 3]的算法处理后图像整体偏暗,文献[ 13]的算法处理后图像颜色失真,文献[ 4]的算法处理后山体和天空交界处颜色过饱和。对于图像6,文献[ 8]的算法对远景去雾不彻底,存有残雾,且近景颜色过饱和,文献[ 4]的算法处理后天空区域颜色失真,文献[ 13]的算法处理后图像整体过饱和。整体来看,本算法去雾彻底,颜色恢复自然,去雾效果好。

4.2 客观评价

选取平均运算时间T以及无参考的图像质量评估方法^[15-16]作为复原图像的评价指标,包括可见边增加率e、归一化平均梯度 γ¯和饱和像素占比σ。平均运算时间为算法多次运行时间的平均值,能反映出算法的时间复杂度;可见边增加率指复原图像的边缘增强程度,该值越大越好;归一化平均梯度能够反映算法复原边缘与纹理信息的能力,该值越大越好;饱和像素占比能反映算法出现过饱和的情况,该值越小越好。e、 γ¯和σ可分别表示为

e=nr-n0n0,(26)γ¯=exp1nr×∑k∈Nrlgrk,(27)σ=nsω×h,(28)

式中,n_r为复原图像的可见边数,n₀为有雾图像的可见边数,N_r为复原图像可见边集合,r_k为k处复原图像与原有雾图像的梯度比,n_s为饱和像素点数,ω×h为图像的大小。

对图9中的6幅原始图像进行处理,结果如图10所示。可以发现,本算法与文献[ 3]的算法平均耗时相近,优于其他算法;本算法和文献[ 13]的算法可见边增加率e效果相当,优于其他算法;本算法与文献[ 3]的算法饱和像素点占比σ效果相当,优于其他算法;本算法的平均梯度 γ¯稍次于文献[ 13]的算法,但文献[ 13]的算法其他指标表现一般。综上所述,本算法复原图像时具有一定的优势。

图 10. 不同算法的客观评价指标。(a)平均运算时间;(b)可见边增加率;(c)饱和像素点占比;(d)平均梯度

Fig. 10. Objective evaluation indicators of different algorithms. (a) Average computing time; (b) visible edge increase rate; (c) saturated pixel ratio; (d) average gradient

下载图片 查看所有图片

5 结论

针对暗通道先验和线性变换方法的不足,提出了一种基于大气耗散函数与最小颜色分量的自适应线性变换模型。首先,根据不同图像自适应求解大气耗散函数代替暗通道先验对介质传输率进行求解,并提出了一种自适应修正机制,根据不同图像的不同明亮区域在整幅图像中的占比自适应修正介质传输率;然后,利用迭代优化算法对介质传输率进行迭代优化,并利用改进的四叉树子块搜索法估计大气光值;最后,通过大气散射模型复原图像。实验结果表明,本算法能够恢复出清晰、自然的图像,对单幅图像的去雾效果较好,在客观评价指标中也体现出一定优势。但本算法对一些超远景图像会出现颜色失真现象,因此,改善超远景图像颜色失真问题是接下来的研究重点。