1 引言

随着计算机技术、传感器技术的飞速发展,数字图像处理在智能交通、侦察勘探、导航定位等领域的作用日益突出。在雾霭天气,能见度变低,设备所采集的图像通常会出现比较严重的退化与失真,给智能交通、航拍测绘等带来诸多不利影响。研究增强雾霭图像的方法对提高雾霭天气下拍摄图像的清晰度具有重要的作用。

目前,增强雾霭图像的方法可以分为物理模型和非物理模型2种。物理模型包括大气散射模型^[1-3]、暗信道先验模型^[4]、神经网络模型^[5]等;非物理模型包括直方图均衡^[6]、小波变换^[7]、图像融合^[8]和Retinex理论^[9]等。

采用物理模型对雾霭图像进行增强方面:大气散射模型可以较好地复原雾霭图像,但成像机制复杂,且无法去除雾气对入射光的衰减^[10];暗信道先验模型在获得更清晰图像的同时,会增加图像的存储空间;神经网络模型可以抑制噪声,但可能导致图像模糊,且计算复杂。

采用非物理模型对雾霭图像进行增强方面:Pei等^[11]依据目标图像和统计校正对雾霭图像进行颜色转换,然后通过双边滤波改善图像效果,该算法对目标图像依赖性强,稳健性差;Rahman等^[12]提出了单尺度Retinex(SSR)和多尺度Retinex(MSR)算法,SSR主要用于增强灰度图像,难以使图像的动态压缩和色彩恒定性达到平衡,MSR算法通过SSR形成不同尺度的线性加权组合来进行彩色图像增强^[13],但增强后的图像边缘区域会出现晕圈伪影;He等^[14]提出一种引导图像滤波算法,在亮度较高的图像上效果较好,但对于低光照图像效果较差;Hao等^[15]提出一种基于MSR算法的双向过滤图像去雾算法,虽然双边过滤器可以平滑波动,且在大多数情况下可以有效地去除光晕现象,但会在图像边缘产生梯度反转现象;Zhang等^[16]利用Gamma校正平衡图像亮度,然后利用入射光颜色特征来去除入射光对场景的颜色影响,但由于未考虑入射光的衰减,去雾后图像存在局部失真、细节模糊等现象。

鉴于上述问题,本文提出一种基于分数阶微分和多尺度Retinex联合的去雾算法。该算法先根据分数阶微分的定义设计分数阶微分模板对原始雾霭图像进行预处理,以保留图像低频信息,并增强图像的中频、高频及边缘信息,然后在HSI颜色空间,采用引导滤波器代替传统MSR算法中的高斯滤波器来提取图像的照射分量。引导滤波器不仅可以保持图像边缘信息,有效地消除晕圈伪影,而且提取的照射分量可以反映雾霾图像的整体结构。

2 基本原理

2.1 分数阶微分

Grunwald-Letnikov分数阶微分定义^[17]的数学表达式为

aRDtτ=limh→01hv∑j=0t-ah(-1)j·Γ(v+1)j!(v-j+1)f(t-jh),(1)

式中Γ(n)为Gamma函数,其定义为

Γ(n)=∫0∞e-ttn-1dt=(n-1)!。(2)

对于一维函数Γ(n)在区间[a,t]上有定义,对其按单位m=1等分,可推出:

n=t-ahh=1=(t-a),(3)

则一维信号的差分表达式为

dvf(t)dvt≈f(t)+(-v)f(t-1)+(-v)(-v+1)f(t-2)2+…+Γ(-v+1)n!Γ(-v+n+1)f(t-n)。(4)

由(4)式可知,只有第1个系数的值是常数1,其他n-1个都是分数阶微分阶次的函数。n个非零系数值按顺序分别表示为

a0=1a1=-va2=(-v)(-v+1)2a3=(-v)(-v+1)(-v+2)6︙an=Γ(-v+1)n!Γ(-v+n+1)。(5)

在数字图像处理中,一幅图像的最大变化量是有限的,最短距离的变化是2个相邻像素之间,且二维数字图像的变化方向可分为x方向、y方向及对角方向^[18-19]。因此,根据分数阶微分的定义,x轴方向的差分表达式为

∂vf(x,y)∂xv≈f(x,y)+(-v)f(x+1,y)+(-v)(-v+1)2f(x+2,y)+…+Γ(-v+1)n!Γ(-v+n+1)f(x+n,y),(6)

y轴方向的差分表达式为

∂vf(x,y)∂yv≈f(x,y)+(-v)f(x,y-1)+(-v)(-v+1)2f(x,y-2)+…+Γ(-v+1)n!Γ(-v+n+1)f(x,y-n)。(7)

2.2 Retinex理论

Retinex(视网膜Retina和大脑皮层Cortex的缩写))理论是建立在科学实验和科学分析基础上的基于人类视觉系统的图像增强理论。该算法的基本原理最早由Land^[9]于1971年提出。基于他所提出的理论,对于给定的图像S(x,y),可以分解成2幅不同的图像,用公式表示为

S(x,y)=R(x,y)·L(x,y),(8)

式中R(x,y)为反射物体图像,L(x,y)为入射光图像。 图1为原理示意图。

图 1. Retinex理论示意图

Fig. 1. Theoretical diagram for Retinex

下载图片 查看所有图片

2.3 MSR算法

MSR算法是由Jobson等^[12]提出的,其基本公式为

Ri(x,y)=∑n=1NUn·lg[Ii(x,y)]-lg[Fn(x,y)·Ii(x,y)]},(9)

式中R_i(x,y)是Retinex的输出,I(x,y)表示原始输入像,i∈R、G、B表示3个颜色谱带;F(x,y)是高斯滤波函数,U_n表示尺度的权重因子,N表示使用尺度的个数。由(9)式可知,MSR算法的特点是能产生包含色调再现和动态范围压缩特性的输出图像。

3 本文算法

3.1 分数阶微分增强

以模板中心为坐标原点,令模板中心位置坐标为w(0,0),则x轴正方向的坐标为w(1,0),w(2,0),w(3,0),…;x轴负方向坐标为w(-1,0),w(-2,0),w(-3,0),…;y轴正方向的坐标为w(0,1),w(0,2),w(0,3),…;y轴负方向的坐标为w(0,-1),w(0,-2),w(0,-3),...,模板对角方向的坐标值以此类推。根据(4)式得到水平、对角、垂直方向模板的系数:

A=(v2-v)20(v2-v)20(v2-v)20-v-v-v0(v2-v)2-v8-v(v2-v)20-v-v-v0(v2-v)20(v2-v)20(v2-v)2。(10)

通过多次实验发现,当v=0.5时,直接选用上述分数阶微分模板处理图像会使输出图像靠近边缘的地方亮度过高。依据构造分数阶模板原则^[19],应利用图像目标像素点的邻近像素点的信息来决定所采用的分数阶微分模板,因此对上述参数进行调整,分数阶微分模板:

B=00v280000-v400v28-v41-v4v2800-v40000v2800。(11)

用上述微分模板遍历一幅M×N图像后,得到处理后的图为

f̅(x,y)=∑i=-M/2M2∑j=-N/2N2w(i,j)f(x+i,y+j),(12)

式中w(i,j)是滤波系数,f(x,y)是输入图像像素值。

3.2 亮度层增强

对于一幅RGB色彩空间的图像,需要获取3个照明分量,分别为Red(R)、Green(G)和Blue(B),获取时间长,图像容易扭曲。有鉴于此,本文将分数阶微分处理后的图像从RGB颜色空间转换为HSI颜色空间。HSI颜色空间基于人类的视觉特征,直接使用色度H,饱和度S和亮度I这3个要素来描述图像颜色,更符合人的视觉特征空间。在HSI色彩空间中,3个元素分离,可以在不改变色阶层的条件下调整亮度和饱和度。这样不仅可以抑制图像色彩失真,而且可以减少图像增强的时间。对于HSI色彩空间,只需提取亮度层的照明分量和反射分量。根据(9)式,亮度层的照射分量L_I(x,y)和反射分量R_I(x,y)分别为

LI(x,y)=∑n=1NWn[qn(x,y)·I(x,y)],(13)lgRI(x,y)=∑n=1NWnlgI(x,y)-lg[qn(x,y)·I(x,y)],(14)Ien(x,y)=LI(x,y)+RI(x,y),(15)

式中W_n代表不同引导滤波器的权重因子;q_n(x,y)表示尺度参数为n的引导滤波器;I(x,y)和I_en(x,y)分别表示增强前和增强后的亮度层;N的值为3,表示使用3个尺度,W₁=W₂=W₃=1/3。由(13)式可知,增强后的亮度层为入射分量和反射分量之和。

3.3 算法流程

图像的亮度层增强,图像的饱和度将会降低。为了使彩色图像清晰,需要调整饱和度。本文在HSI颜色空间使用伽马校正函数来增强饱和度:

S'=Sγ,(16)

式中S和S'分别代表增强前和增强后的饱和度,γ是用于控制饱和度增强度的拉伸系数,根据经验,通常取值在0.5~1之间,本文取γ=0.6。

由于MSR对图像的增强是在HSI颜色空间进行的,因此需将图像从HSI颜色空间转换到RGB颜色空间,以得到增强后的最终图像。本文算法去雾流程如图2所示。1) 读入一幅待去雾图像;2) 用分数阶微分算法对图像进行预处理,以保留图像低频信息,并增强图像的中频、高频信息;3) 将处理后的图像转换到HSI颜色空间,对其亮度层用MSR进行增强,饱和层用伽马函数进行校正增强;4) 将H分量和增强后的S分量、I分量合并,然后把图像从HSI颜色空间转换到RGB颜色空间,即得到去雾后的图像。

图 2. 算法去雾流程图

Fig. 2. Flow chart for proposed algorithm

下载图片 查看所有图片

4 仿真与结果分析

4.1 仿 真

为了验证本文算法的有效性,分别利用本文算法、直方图算法、传统的MSR算法及Hao算法对多个雾霭图像进行增强。实验在Matlab 2015b环境下完成,操作系统为Windows 10,CPU为Intel i5-6200U,主频2.3 GHz,内存8 G,实验所用图片均来自互联网中有雾环境下拍摄的图片。通过这4种算法增强的5组图像,如图3所示。

可以看出,本文算法在雾霭图像增强的主观视觉效果方面相较其他算法更具优势,在图像清晰度和亮度上有很大的提高,图像的整体色彩也更自然。

4.2 结果分析

为客观评价图像质量,本文使用3种常用的客观评价指标——信息熵(IE)、绝对平均亮度误差(AMBE)和峰值信噪比(PSNR)进行测评。IE反映了图像信息,值越大,图像包含信息越多,表明图像质量越好;AMBE反映图像亮度信息,值越大,图像越亮; PSNR越大,表示处理前后图像的差异越小,图像失真越小。此外,还引入计算耗时对算法进行评价。为了验证该算法的适用性,选择20张雾霭图像进行实验,得到各评价指标的平均值,如表1所示。

由表1可知,利用本文算法增强的图像具有最大的信息熵,表明该算法增强后的图像具有比原始图像更多的信息。基于MSR算法增强的图像具有最大的AMBE值,表示增强图像的亮度过高,即仅经MSR算法增强后的雾霭图像会出现失真,丢失一些细节信息。基于直方图算法增强的图像具有最低的AMBE值,说明利用直方图算法对雾霭图像进行增强后,效果较差,亮度低。基于Hao算法增强的图像具有最大的PSNR值,表明增强图像与原始图像相比变化不大,但Hao算法的运行时间最长,效率较低。综合各项指标可知,本文算法相对于其他算法耗时短、效率高,在雾霭图像增强方面效果更好。

图 3. 不同去雾算法效果对比。(a)原始图像;(b)直方图算法;(c) MSR算法;(d) Hao 算法;(e)本文算法

Fig. 3. Comparison of de-fog effects by different algorithms. (a) Original images; (b) histogram algorithm; (c) MSR algorithm; (d) Hao algorithm; (e) proposed algorithm

下载图片 查看所有图片

5 结论

提出了一种基于分数阶微分和MSR联合的雾霭图像增强算法,算法的处理主要在HSI颜色空间进行,使用引导滤波器代替了MSR算法中的高斯滤波器,提高了算法的执行效率,而且在抑制光晕现象方面具有较好的效果。对本文算法的有效性进行验证,结果表明,本文算法在增强雾霭图像方面弥补了现有算法的缺陷,且具有更好的性能。但本文算法也存在一些不足,如使用分数阶微分模板对图像进行预处理时,如何评价所选取模板的滤波系数的适当性,在对图像进行饱和度增强时,拉伸系数选多大才最合适等,这些问题还有待于进一步研究。