激光与光电子学进展, 2020, 57 (6): 061011, 网络出版: 2020-03-06   

基于暗通道补偿与大气光值改进的图像去雾方法 下载: 1405次

Image Dehazing Method Based on Dark Channel Compensation and Improvement of Atmospheric Light Value
作者单位
西安理工大学机械与精密仪器工程学院, 陕西 西安 710048
摘要
针对暗通道先验去雾算法存在的光晕现象、大气光值选取不准确等问题,提出了一种基于暗通道补偿与大气光值改进的图像去雾方法。为减弱图像景物边缘处的光晕效应,提出了一种基于暗通道补偿模型的解决办法,利用加权通道差值的方法识别光晕区域,通过腐蚀、融合等处理修正该区域的暗通道值,采用线性融合的方式与原暗通道进行融合,实现对暗通道的补偿。针对大气光值选取不准确的问题,改进了四叉树分割方法,即增加相邻区域比较的策略,使该算法可以更加精确地获取大气光值,使恢复后的图像更加清晰自然,细节保留更加丰富。借助大气散射模型与优化后的透射率恢复无雾图像。实验结果表明,本文方法能够有效地去除光晕效应,准确地获取大气光值。
Abstract
Aim

ing at the problems of the halo phenomenon and inaccurate selection of atmospheric light values in dark channel prior algorithm, an image dehazing method based on dark channel compensation and improvement of atmospheric light value is proposed in this paper. In order to weaken the halo effect at the edge of the image scene, a solution based on the dark channel compensation model is proposed first, the halo region is identified by the weighted channel difference method, and then the dark channel values of this region are modified by corrosion, fusion, and other treatment. It is linearly fused with the original dark channel images to compensate the dark channel. For the problem of inaccurate selection of atmospheric light value, the quadtree segmentation method is improved, with the strategy of adjacent region comparison added. Hence, the proposed method can obtain more accurate atmospheric light values, leading to more clear and natural restored images with more details. Finally, the haze-free image is restored by means of the atmospheric scattering model and the optimized transmittance. The experimental results show that the proposed method can effectively remove the halo effect and obtain the atmospheric light value accurately.

1 引言

雾霾天气下,大气中广泛存在的悬浮粒子势必对光线产生一定程度的吸收及散射作用,导致户外图像的视觉效果大幅下降,出现图像内容模糊、对比度下降及色彩衰减等退化现象[1]。在公路交通、安全监控和**侦察等领域中,大量系统和设备都是在图像可视性良好的基础上进行有效工作的,因此,恢复高清晰度、高视觉度的图像具有非常重要的现实意义[2]

目前,图像的去雾处理方法[3]主要分为两类:一类是基于图像增强的去雾方法,该方法主要通过提高图像的对比度、突出图像的细节特征[4]达到恢复图像的目的。但该方法忽略了雾浓度与景深间的内在联系,使恢复图像易出现颜色失真或细节模糊的现象。另一类是基于图像复原的去雾方法,主要利用大气散射物理模型的理论方法,通过严谨的理论公式推导得到图像恢复模型,恢复结果具有去雾彻底、真实感强等特点,但造成了较高的时间复杂度和空间复杂度,不能满足实时处理的需求。

基于图像复原的去雾方法利用图像自身的数据构造约束条件,估计所需参数,恢复清晰的图像。该方法灵活性更好,且不受外界环境影响,是目前应用最广泛的去雾方法。近年来,人们在图像去雾领域取得了重大进展,如He等[5]对户外无雾图像进行统计,发现了新的理论——暗原色先验(DCP)理论,该理论利用暗原色先验估计大气光值和透射率,并借助软抠图(SM)技术改善透射率图,复原清晰的无雾图像。但软抠图技术使暗通道先验算法的时间复杂度和空间复杂度大幅度增加。此后,He等[6]用引导滤波代替软抠图,降低了算法复杂度,但在远景区域仍存在明显的残雾;Meng等[7]提出了一种边界约束图像复原方法,利用物理约束条件求取图像的透射率,但会丢失图像的部分细节特征;Zhu等[8]提出了一种基于颜色衰减先验的图像去雾算法,对薄雾图像具有较好的恢复效果,但对浓雾图像处理效果较差,难以恢复细节。

上述去雾算法提供了不同的去雾思路,在此基础上,本文针对暗通道先验去雾算法自身存在的一些问题,提出了一种基于暗通道补偿与大气光值改进的图像去雾方法。首先提出了一种暗通道补偿模型,用以解决由暗通道值估计过小造成图像产生光晕效应的问题;再对四叉树分割的大气光值选取方法增加相邻区域比较的策略,使大气光值选取更加准确;最后根据大气散射模型复原无雾图像。实验结果表明本文方法可有效地恢复清晰图像,证明了本文方法具有一定的先进性及研究价值。

2 暗通道先验理论

暗通道先验理论是He等[5]在2011年提出的一种新的去雾思路,He等[5]通过对大量的非天空无雾图像观测发现,在大多数无雾图像非天空区域里,图像的红、绿、蓝三个颜色通道中至少有一个颜色通道的像素值较低,并且趋于0,可表示为

Jdark(x)=minyΩ(x)[minc{r,g,b}Jc(y)]0,(1)

式中:Jc(y)为图像的三个颜色通道的像素值;Ω(x)为以无雾图像J(x)为中心半径的方形滤波窗口,通常取值为15×15。(1)式即为暗通道先验条件。

暗通道先验算法以大气散射模型为基础[9],大气散射物理模型的数理表达式为

I(x)=J(x)t(x)+A[1-t(x)],(2)

式中:I(x)为雾霾图像;t(x)为传输透射率;A为大气光值;J(x)t(x)为直接衰减项,即目标物发射光在大气散射衰减后进入拍摄设备的量;A[1-t(x)]为大气散射光,主要是大气光经过雾气散射后进入设备的量。

求取大气透射率时,对图像进行分窗细化处理,假设A为已知,则t(x)为局部常量,由(2)式两次最小值滤波运算,可得

minyΩ(x)minc{r,g,b}IcyAc=t~xminyΩ(x)minc{r,g,b}JcyAc+1-t~(x),(3)

式中: t~(x)为局部区域Ω(x)里的传输透射率。

将无雾图像中暗通道值趋于0这一先验条件,即(1)式,代入(3)式,可得

t~(x)=1-μminyΩ(x)minc{r,g,b}IcyAc(4)

为了使恢复图像更加接近真实场景,引入参数μ,文献[ 5]中取值为0.95。当t(x)值非常小时,J(x)的值会偏大,导致处理结果整体白场过度。为避免出现该问题,为t(x)设置下限阈值t0,取值为0.1,则无雾图像恢复表示为

J(x)=I(x)-Amax[t(x),t0]+A(5)

3 本文方法

3.1 暗通道补偿模型的提出

暗通道先验去雾算法求得的透射率较精细,恢复效果优于大多数去雾算法。但在暗通道获取过程中,两次最小值滤波处理使得暗通道值被低估,透射率扩张变大,导致恢复图像产生光晕效应。针对这一问题,提出一种基于暗通道补偿模型的解决方法。

1) 先利用最小值滤波处理求得图像的最小通道图像Idark 1,在以x为中心的局部区域进行二次最小值滤波得到暗通道图像Idark 2,即

Idark2=minyΩ(x)(Idark1)(6)

2) 对步骤1)中两个通道求取加权差值,识别和提取暗通道图像中的光晕区域部分,具体表达式为

Iedge1=αIdark1-βIdark2,(7)

式中:Iedge 1为修正前的光晕区域图;αβ为加权参数。

3) 利用形态学腐蚀及加权融合操作对提取的光晕图像进行修正,即

Iedge2(x)=ξ1Iedge1(y)+ξ2erodeyΩ(x)[Iedge1(y)],(8)

式中:Iedge 2(x)为修正后的光晕区域;ξ1ξ2为加权参数。将(7)式代入(8)式,整理可得

Iedge2(x)=αξ1Idark1+ξ2erodeyΩ(x)(Idark1)-βξ1Idark2+ξ2erodeyΩ(x)(Idark2),(9)

式中:Ω(x)为以x为中心的滤波区域,滤波的结构元素取15×15的方形矩阵。

4) 通过线性融合的方式将修正后的光晕图像与原暗通道图像进行图像融合,实现暗通道的补偿,即

Idark=Idark2+Iedge2,(10)

式中:Idark为融合后的暗通道图像。将(9)式代入(10)式,进一步简化整理为

Idark(x)=C1Idark1(x)+C2Idark2(x)+C3erodeyΩ(x)[Idark1(x)]+C4erodeyΩ(x)Idark2x+ε(x),(11)

式中:C1C2C3C4为线性加权系数;ε(x)为随机变量,表示模型的随机错误。

3.2 暗通道补偿模型的参数计算

为方便推导整理,令I(x)、I1(x)、I2(x)、I3(x)和I4(x)分别为(11)式中的Idark(x)、Idark 1(x)、Idark 2(x)、 erodeyΩ(x)[Idark 1(x)]和 erodeyΩ(x)[Idark 2(x)]变量,结合ε(x)~N(0,σ2)及正态分布的性质,可得

I(x)~N[C1I1(x)+C2I2(x)+C3I3(x)+C4I4(x),σ2](12)

假设每个像素出错的概率是独立的,构造联合概率密度函数为

L(C)=i=1mexp{{I(x)-[C1I1(x)+C2I2(x)+C3I3(x)+C4I4(x)]}2/2σ2}/2πσ2,(13)

式中:i为像素点。对(13)式等式两边同时取对数,可得

lnL(C)=-mln2πσ2+i=1m[-I(i)+C1I1(i)-C2I2(i)-C3I3(i)-C4I4(i)]2/2σ2(14)

令(14)式中σ取最大值:

σ2=i=1m[I(i)-C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]2/m(15)

假设σ为常量,(15)式的最大值可转化为求解F(C)最小值,

F(C)=i=1m[I(i)-C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]2/2(16)

采用梯度下降算法求解(16)式的最小值,分别对(16)式中的参数求偏导:

lnF(C)C1=I1(i){I(i)-[C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]}2,(17)lnF(C)C2=I2(i){I(i)-[C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]}2,(18)lnF(C)C3=I3(i){I(i)-[C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]}2,(19)lnF(C)C4=I4(i){I(i)-[C1I1(i)+C2I2(i)+C3I3(i)+C4I4(i)]}2(20)

通过文献[ 8]中的颜色衰减先验算法获取图像的透射率,借助(4)式反推出没有被低估的暗通道,并选取100个训练样本和2400万个像素点训练线性模型,得到最佳的训练结果为C1=0.91098,C2=-0.12076,C3=0.12893,C4=0.03144,将参数代入(12)式得到暗通道补偿公式。

图1所示,图1(a)表示雾天图像,图1(b)和1(c)分别表示原暗通道和补偿后的暗通道,图1(d)和1(e)分别表示原去雾结果和补偿后的去雾结果。对比图1(c)与图1(b)可以看到,补偿后的暗通道明显提高了图像边缘处的像素值,并保留图像景物的细节特征。图1(e)的实验结果表明,本文提出的基于暗通道补偿模型的方法可有效去除光晕效应。

图 1. 暗通道比较。(a)雾天图像;(b)原暗通道;(c)补偿后的暗通道;(d)原处理结果;(e)补偿后的结果

Fig. 1. Comparison of dark channel. (a) Haze image; (b) original dark channel; (c) compensated dark channel; (d) original result; (e) compensated result

下载图片 查看所有图片

3.3 大气光值选取方法的优化

大气光值选取的准确性对图像恢复好坏起着至关重要的作用,直接影响人眼观测的视觉效果,但大气光值选取常受高亮噪声或白色物体的影响,从而导致大气光值选取不准确。文献[ 4]对求取大气光值的四叉树方法[10]提出了一种改进方法,步骤如下:1)将中值滤波后的灰度图像平均分为四个区域,如图2(a)所示;2)利用区域平均值减去区域标准差的评分规则,求得每个区域的评分;3)以此类推对每次评分最大的区域重复步骤1)和2),直至该区域块小于最先设定的阈值,此时求出区域平均值,即大气光值。但该改进方法忽略了相邻区域处的评分,造成一定的大气光值选取误差,如图2(b)所示。

图 2. 四叉树分割区域。(a)分割区域;(b)遗漏区域

Fig. 2. Quadtree partition region. (a) Partitioned area; (b) neglected area

下载图片 查看所有图片

针对文献[ 4]算法的大气光值选取存在误差的问题,本文提出以下改进:

1) 将四叉树分割漏掉的四个相邻区域重新标记,如图3(a)所示;

2) 将标记的四个相邻区域按逆时针旋转,重新组合成一幅图像,如图3(b)所示;

3) 求取每一区域的平均像素值,减去该区域的标准差,得到该区域的得分[1];

4) 将步骤3)最大得分与图3中的最大得分进行比较,取得分最大的区域;

5) 重复步骤2)和步骤3),直到区域大小小于之前设定的阈值;

6) 求取目标区域的平均值。

图 3. 本文分割方法。(a)分割区域;(b)组合图像

Fig. 3. Proposed segmentation method. (a) Partitioned area; (b) combined image

下载图片 查看所有图片

图4可以看到,文献[ 4]选取的大气光值比真实大气光值低,导致恢复图像中远景区域去雾不彻底,而本文改进的四叉树方法可以更加准确地获取大气光值,使恢复图像更加清晰自然,细节保留更加丰富。

图 4. 大气光值选取。(a)有雾图像;(b)文献[ 4]算法;(c)本文方法;(d)文献[ 4]结果;(e)本文结果

Fig. 4. Atmospheric light value selection. (a) Haze image; (b) method of Ref. [4]; (c) proposed method; (d) result of Ref. [4]; (e) result of proposed method

下载图片 查看所有图片

4 方法流程

本文方法流程如图5所示,主要分为两部分,分别获取图像的暗通道和大气光值。首先利用原图的R、G、B三个颜色通道求得最小值图像,通过最小值滤波和形态学腐蚀处理分别得到最小值图像和原暗通道的腐蚀图像,借助暗通道补偿模型获取补偿后的暗通道。另一部分则是通过对原图求得灰度化图像,采用改进的四叉树分割方法获取大气光值;其次结合补偿后的暗通道和改进后的大气光值计算图像的初始透射率,经引导滤波处理后得到更加精确的透射率;最后借助大气散射恢复模型恢复无雾图像。

图 5. 本文方法流程

Fig. 5. Flow of the proposed method

下载图片 查看所有图片

5 实验及结果分析

为了更好地验证本文算法的有效性,将本文算法与当前比较经典的几种图像去雾算法进行对比。从网络上选取4幅原始雾天图像,在MATLAB软件平台上分别对上述去雾算法进行仿真实验,并采用主、客观的方式[11]对实验结果进行评价。

具体采用的实验条件如下:处理器为Intel(R) Core(TM)i7-5500 CPU @2.40 GHz的DELL品牌笔记本,操作系统为Windows10,内存为8 GB,软件版本为MATLAB 2010b。

5.1 主观评价

对大量雾天图像进行实验验证,这里随机展示4幅由不同去雾算法处理得到的去雾结果,如图6所示。图6(a)为雾气环绕、可视性较差的原始雾天图像;图6(b)为文献[ 6]采用引导滤波后的暗通道先验去雾算法得到的结果,基本消除了雾气影响,但大气光值估计过大,导致恢复图像整体呈偏暗状态。图6(c)为文献[ 7]基于边界约束方法改进后的暗通道先验去雾算法得到的结果,去雾比较彻底,但丢失了部分细节特征且存在明显的偏色现象,如图6(c)中第二组所示。图6(d)为文献[ 8]提出的颜色衰减先验去雾算法得到的结果,从恢复结果来看,图像仍存在一定的雾气,且雾气越浓,去雾效果越差。图6(e)为本文方法的去雾效果,与其他算法相比,本文方法复原的图像较为清晰自然。

5.2 客观评价

为了进一步验证本文方法的实际恢复效果,采用平均梯度、对比度、信息熵和处理时间等指标对4.1节中的4组图像进行客观评价,见表1~4。

平均梯度可反映图像中微小细节特征。因此,结合表1中各算法的平均梯度可知,本文方法和文献[ 7]算法在图像细节特征上的效果优于其他算法。

对比度反映不同颜色间的差别。对比度过大,图像就会显得很刺眼;反之,图像就会显得灰暗。由表2可知,本文方法的对比度适中,比较符合人眼的视觉观测。

信息熵是表征图像清晰度的一项指标,熵值越大,图像越清晰。从表3中各算法的信息熵值大小可以看出,本文方法的图像清晰度效果略差于文献[ 7]算法和文献[ 8]算法。

在算法的处理时间方面,文献[ 7]算法的时间最长,近似为文献[ 8]算法的6倍,文献[ 6]算法及本文方法的2倍,见表4

图 6. 4组图像处理结果。(a)有雾图像;(b)文献[ 6]算法;(c)文献[ 7]算法;(d)文献[ 8]算法;(e)本文算法

Fig. 6. Four sets of image processing results. (a) Haze images; (b) method of Ref. [6]; (c) method of Ref. [7]; (d) method of Ref. [8]; (e) proposed method

下载图片 查看所有图片

表 1. 4组图像的平均梯度对比

Table 1. Average gradient comparison of four image sets

ImageAverage gradient
Ref. [6]Ref. [7]Ref. [8]Proposed
Frist set8.747910.48689.68488.8726
Second set5.28088.45157.44288.4428
Third set3.26206.27976.71706.7210
Fourth set5.65178.35036.01478.2042

查看所有表

表 2. 4组图像的对比度对比

Table 2. Contrast comparison of four image sets

ImageContrast
Ref. [6]Ref. [7]Ref. [8]Proposed
Frist set22.142329.090426.862133.9113
Second set19.157620.471848.599319.6998
Third set21.362529.030844.133837.7893
Fourth set25.421927.452738.032637.9498

查看所有表

表 3. 4组图像的信息熵对比

Table 3. Information entropy comparison of four image sets

ImageInformation entropy /bit
Ref. [6]Ref. [7]Ref. [8]Proposed
Frist set15.687516.157515.872615.5319
Second set14.606615.067914.674815.0226
Third set15.131915.070215.207715.1212
Fourth set13.015314.523515.234514.6263

查看所有表

表 4. 各算法的运行时间

Table 4. Running time of different algorithms

ImageRunning time /s
Ref. [6]Ref. [7]Ref. [8]Proposed
Frist set0.89782.20940.47241.2991
Second set0.87502.04790.27101.2015
Third set1.41112.35380.40971.4659
Fourth set1.60233.17340.45721.6046

查看所有表

6 结论

本文方法针对暗通道先验算法存在的光晕现象、大气光值选取不准确等问题,先利用对光晕区域识别提取、修正处理及融合补偿的思想构造暗通道补偿模型,成功实现了对暗通道的补偿,有效地去除了光晕效应;通过增加相邻区域比较的策略,对求取大气光值的四叉树分割方法进行了改进,提高了大气光值选取的准确性。实验结果及其主、客观评价都证实了本文方法的可行性与有效性。但本文方法的运行速度相对较慢,所以如何降低本文方法的时间复杂度将是进一步研究的重点。

参考文献

[1] 李尧羿, 杜宇超, 顾振飞. 结合天空区域识别的单幅图像去雾方法[J]. 计算机工程与应用, 2018, 54(19): 204-215.

    Li Y Y, Du Y C, Gu Z F. Single image dehazing method via sky region recognition[J]. Computer Engineering and Applications, 2018, 54(19): 204-215.

[2] Xu Y, Wen J, Fei L K, et al. Review of video and image defogging algorithms and related studies on image restoration and enhancement[J]. IEEE Access, 2016, 4: 165-188.

[3] 杨红, 崔艳. 基于开运算暗通道和优化边界约束的图像去雾算法[J]. 光子学报, 2018, 47(6): 0610004.

    Yang H, Cui Y. Image defogging algorithm based on opening dark channel and improved boundary constraint[J]. Acta Photonica Sinica, 2018, 47(6): 0610004.

[4] 张晨, 杨燕. 基于融合与高斯加权暗通道的单幅图像去雾算法[J]. 光子学报, 2019, 48(1): 0110002.

    Zhang C, Yang Y. Single image dehazing algorithm based on fusion and Gaussian weighted dark channel[J]. Acta Photonica Sinica, 2019, 48(1): 0110002.

[5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[6] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[7] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]//2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE, 2013: 617- 624.

[8] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[9] ShiL, YnagL, Chu SB, et al. Image haze removal using dark channel prior and minimizing energy function[C]//2017 IEEE 2nd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC), December 15-17, 2017, Chengdu, China. New York: IEEE, 2017: 256- 259.

[10] Kim J H, Jang W D, Sim J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J]. Journal of Visual Communication and Image Representation, 2013, 24(3): 410-425.

[11] 李佳童, 章毓晋. 图像去雾算法的改进和主客观性能评价[J]. 光学精密工程, 2017, 25(3): 735-741.

    Li J T, Zhang Y J. Improvements of image haze removal algorithm and its subjective and objective performance evaluation[J]. Optics and Precision Engineering, 2017, 25(3): 735-741.

高强, 胡辽林, 陈鑫. 基于暗通道补偿与大气光值改进的图像去雾方法[J]. 激光与光电子学进展, 2020, 57(6): 061011. Qiang Gao, Liaolin Hu, Xin Chen. Image Dehazing Method Based on Dark Channel Compensation and Improvement of Atmospheric Light Value[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061011.

本文已被 6 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!