基于光幕约束和分段调整的去雾算法
0 引言
图像是视觉的基础,对于大多数视觉系统而言,雾霾天气会造成图像对比度下降、目标主体不清晰、细节丢失等问题[1-3],严重影响图像的质量。因此,通过一定的手段去除雾气的干扰,得到高质量的图像很有研究价值和现实意义。
目前存在的图像去雾方法主要涉及图像复原和机器学习两类。其中,以物理模型为基础的图像复原算法在去雾领域得到了广泛应用。该类算法以大气散射原理为依据建立退化模型,利用先验知识或相关假设求取中间参数。通过此类方法得到的图像还原度高、色彩自然逼真,因此该方法也成为去雾的主力发展方向。文献[4]提出了基于中值滤波的快速去雾算法,但中值滤波器会使图像细节丢失,影响复原精度。文献[5]基于大量统计提出了暗通道先验,效果良好且方法简单易于实现,为去雾开拓了新思路。但该方法不适用于天空等高亮区域,且在边缘处容易出现光晕和块状效应。为了改善此类问题,文献[6]提出使用引导滤波器来优化透射率,该方法效果显著,但并没有从本质上解决暗通道存在的问题。文献[7]提出一种用分段函数代替最小滤波操作的去雾算法,有效改善了暗通道先验算法在景深突变处易出现光晕效应的问题。文献[8]提出了一种能见度恢复算法,该算法通过在景深估计模块中使用中值滤波器和伽马自适应有效消除光环效应,但损失了一定的细节信息且去雾不彻底。文献[9]提出边界约束并且利用正则化方法优化透射率,尽管恢复效果良好,但是牺牲了图像的色彩保真度。
近年来,很多基于机器学习的去雾算法相继出现,其中文献[10]提出了端对端的DehazeNet神经网络结构来训练透射率,并结合大气散射模型获得初步无雾图像。该算法对于天空区域的复原效果显著,但对于其它场景存在颜色失真的问题。文献[11]提出了一体化的多合一去雾(All-in-One Dehazing,AOD)网络,通过将大气光和透射率整合为一个参数来进行训练,从而得到无雾图像。文献[12]针对现有去雾算法受手动设计特征的限制及先验信息具有一定的局限性,提出了一种多尺度深度神经网络来学习图像的有效特征.尽管在合成图像和真实图像数据集上均取得了良好效果,但该算法对夜间雾图的恢复不是很理想。文献[13]提出通过多阶段过滤雾霾残差来逐步提高网络精度,有效实现了图像去雾操作,且较好地保留了图像的细节特征,但利用该网络复原得到的部分真实图像仍有残雾。尽管基于深度学习的方法新颖,属于前沿技术,但此类算法多针对合成图像,对真实图像的处理效果欠佳,有一定的局限性。
针对现有算法存在的去雾不彻底、复原结果不理想、细节损失严重等问题,本文提出了一种新的高效算法。首先借助平面模型得到严格约束下的大气光幕,然后利用饱和度、景深以及透射率之间的变化关系构造粗糙大气光幕以削弱边缘信息,进而计算边缘代价并修正大气光幕强化全局特征。为了改善远景去雾不彻底近景失真,采用分段调节策略,对近景和远景分别使用对数压缩和自适应增强,改善图像整体质量得到最终结果。
1 原理
1.1 大气散射模型
在计算机视觉和图形学中,用大气散射模型来描述雾天图像成型原理[14-18],即
式中,表示有雾图像,表示无雾图像,为大气光值,表示透射率,当场景中的介质粒子分布均匀时,透射率的定义为
式中,为大气散射系数,反映大气对光的散射能力;为景深,表示成像物体到成像设备之间的距离。在大气散射模型中,被定义为大气光幕,表示大气光成像,即
由式(3)可进一步推导出透射率的表达式为
在大气散射模型中,是唯一的已知项。如果要复原出无雾图像,必须获得透射率和大气光。由于大气光幕结合了相关参数,因此对其进行估计是本文算法研究的主体内容。
1.2 基于中值滤波的光幕求取
一般情况下,大气光幕满足基本条件:1);2),即不大于三颜色通道的最小值。
基于以上条件,文献[4]利用中值滤波技术快速求取大气光幕。具体步骤为:
1)找出有雾图像三颜色通道的最小值;
2)对进行一次中值滤波,得到;
3)对再次进行中值滤波操作得到;
4)求取最终的大气光幕,。
采用中值滤波可以快速估计出大气光幕,但缺点是不具有好的边缘保持特性,使复原结果产生模糊效应,如图1(b)所示。另外,该算法涉及参数较多且有些需要手动调整,不能保证去雾程度,在实际应用中效果不理想。为了克服以上不足,本文提出一种平面映射约束模型求取大气光幕,同时采用了分段调整的策略进行优化。
2 本文算法
本文算法流程框图如图2所示。具体步骤为:1)基于平面模型求取严格约束条件下的大气光幕;2)利用饱和度逼近构造一个模糊边缘后的大气光幕,即粗糙大气光幕;3)利用梯度约束求出边缘代价以修正大气光幕;4)根据图像近景和远景区域透射率的不同来分段调整大气光幕,得到最终精准大气光幕;5)结合大气散射模型以及文献[19]的局部大气光复原得到无雾图像。
2.1 平面映射约束模型
由大气散射模型可知,大气光幕的优劣会直接影响透射率,进而影响最终的复原效果,故求解大气光幕的过程至关重要。如图3所示,正方形和它的内切圆总满足这样一个特性:内切圆的面积不大于正方形面积且两者之间有共同的变量,相互转换简单方便,且此模型可以与大气光幕的基本条件完美契合。因此,为了避免传统方法使用滤波器带来的信息丢失,将大气光幕的基本条件映射至平面模型进行约束。
在图3中,令正方形面积,为内切圆的半径,则圆形面积表示约束后的大气光幕。为了方便后续表达,用VI表示严格约束条件下的初始大气光幕,即
利用上述平面模型得到的大气光幕不仅符合基本条件,而且直观简单、便于理解,但含有较多无用的边缘信息,不能直接用来求解透射率。因此,必须要减弱边缘信息带来的影响。
2.2 粗糙大气光幕
图像的饱和度信息反映了色彩的鲜艳程度。在雾霾场景中,雾浓度越大细节丢失越严重,饱和度越低,图像的饱和度表示为
式中,表示RGB三颜色通道的最小值;为RGB三颜色通道的最大值。一般情况下,景深越大雾浓度越大,对应的饱和度越低;反之,景深越小图像饱和度越高。由式(2)透射率的定义可知,透射率随景深增大呈指数形式衰减,即景深越大,透射率越小。根据饱和度、景深以及透射率之间的变化关系可知,饱和度越小,透射率越小,即饱和度和透射率成正相关。因此,结合大气光幕的定义式(3),提出粗糙大气光幕VR
为了避免因过小而导致图像部分像素点丢失,以最小值0.1进行限制。
2.3 边缘代价
严格约束条件下的初始大气光幕含有的无用边缘信息较多,模糊后的大气光幕又损失了很多细节信息,因此都不能作为准确的大气光幕来复原图像,需要对其进行修正。梯度算子具有检测边缘的特性,结合梯度约束[20]来求取边缘代价,即
式中,表示边缘代价,表示大气光幕模糊前后相差的纹理信息;为惩罚项,用来突出图像的边缘信息;为惩罚系数,根据经验,取;和均为边缘系数,为了获取合适的权重,取对数对其进行压缩处理,分别表示为
为了防止分母为0,通常取0.1。修正后的大气光幕为
为了证明所提算法的有效性,选取了一幅含较多边缘信息的有雾图像进行验证,如图4(a)所示。实验结果表明:通过平面约束模型求得的初始大气光幕可以较好地反映图像所含信息,如图4(b)所示。利用饱和度信息构造出的粗糙大气光幕也达到了高度模糊的作用效果,如图4(c)所示。为了便于观察,对边缘代价做了对比度扩展变换,如图4(d)所示。从图4(e)可以看出,修正后的大气光幕有效地平滑了边缘部分,减弱了边缘处大气光幕的剧烈变化,验证了所提算法。
2.4 分段调整
由2.2节分析可知:在近景处有较小的大气光幕更符合既定事实,较高的透射率可以保护复原结果不失真;对应远景处偏大的大气光幕可以加强去雾程度。基于此,为了提高算法的适应性和表现,提出了分段调整大气光幕的方法来使其达到更佳的效果。结合式(2)和式(3)可知,近景处大气光幕小,远景处大气光幕较大。因此可以以大气光幕平均值为阈值,将图像分成近景区域和远景区域。在近景处对图像作压缩处理以得到更小的大气光幕,远景处做增强处理以得到更大的大气光幕,即
式中,为分段调整后的大气光幕,为修正后的大气光幕的平均值。为了使图像保持良好的边缘特性,使用引导滤波器进一步优化,引导图为模糊后的大气光幕,即
为引导滤波操作。
分段调整处理前后的实验结果如图5所示,可以看出分段调整明显改善了因景深不同而造成的失真或去雾程度不足的问题。
2.5 图像复原
大气光值的选取是图像复原中的重要步骤,准确与否直接决定复原图像质量。若取值过大,则复原图像偏暗,反之则图像过亮颜色失真。文献[5]算法选取暗通道中排名前0.1%的像素值作为全局大气光值;该方法容易受白色等高亮物体的影响,误判大气光值而影响复原效果。文献[19]提出的局部大气光有效克服了这一缺点:首先取输入图像三通道的最大值得到,然后对做形态学闭操作,最后利用交叉双边滤波得到平滑且边缘保持良好的最终大气光。
在得到大气光后,结合大气光幕可进一步得到透射率,进而可得到无雾图像的表达式,即
为了避免因透射率过小而导致复原图像过亮,通常取值为0.1。
3 实验结果分析
选用去雾领域中经典且较新颍的算法文献[4]算法、文献[5]算法、文献[11]算法和文献[12]算法与本文算法进行对比。前两种算法是基于图像复原的经典算法,后两种是基于深度学习的去雾算法。分别从主观和客观两个方面比较来验证本文算法的可行性及有效性。
3.1 主观评价
依据景深大小和变化剧烈程度选取三组不同性质的图像,实验结果如图6~8所示。图6是近景组图像,可以看出:文献[4]算法复原结果颜色自然,但存在去雾不彻底的问题,细节损失也较严重,如图6(b)所示;文献[5]算法恢复细节多,去雾效果较好,但由于两次最小值操作导致在边缘处的透射率估计不准确,出现明显的光晕效应,如图6(c)所示;文献[11]算法和文献[12]算法存在偏色现象,如图6(d)、(e)所示。图7是含有天空区域的远景组图像。可以看出:文献[5]算法的结果在天空处(暗通道失效)存在明显的失真,如图7(c)所示;文献[4]算法和文献[12]算法复原出的图像在天空处明显发黑,如图7(b)、(e)所示;利用文献[11]算法得到的复原图像颜色自然、去雾也较彻底,如图7(d)所示.图8是一组景深变化剧烈的图像。可以看出:文献[4]算法有不良的模糊效应和残雾现象,如图8(b)所示;文献[5]算法和文献[11]算法去雾效果良好,但存在轻微的颜色失真,如图8(c)、(d)所示;文献[12]算法的复原图像整体发黑,如图8(e)所示。
图 6. 不同算法对近景组图像的去雾效果(图像1~3)
Fig. 6. Dehazing effect of close region images by different algorithms (Image1~3)
图 7. 不同算法对远景组图像的去雾效果(图像4~6)
Fig. 7. Dehazing effect of distant region images by different algorithms (Image4~6)
图 8. 不同算法对景深变化剧烈组图像的去雾效果(图像7~9)
Fig. 8. Dehazing effect of close and distant region images by different algorithms (Image7~9)
综合观察,利用本文算法得到的复原图像颜色明亮自然、去雾彻底且细节恢复明显、图像保真度好,没有颜色过饱和、细节丢失等问题,较好地改善了其他算法的去雾效果。
3.2 客观指标
采用在图像去雾领域有广泛说服力的无参考图像质量评估法[21-22]作为客观评价标准来对比不同的去雾算法,评价指标包括可见边集合数、平均梯度、峰值信噪比、运行时间。其中可见边、平均梯度、峰值信噪比越大,运行时间越小,表明去雾效果越好,实时处理性更强。对应的数学表达式分别为
式中,为有雾图像的可见边数,为复原图像的可见边数;表示处复原图像与原有雾图像的平均梯度比;为复原图像的可见边集合;L为图像中像素的最大灰度值,一般取255;MSE为原有雾图像与复原图像的均方误差。
客观评价指标结果如表1~2所示,可以看出:本文算法在新增可见边、平均梯度和峰值信噪比几个方面都取得了良好的效果,尤其在新增可见边和峰值信噪比两个指标上优势明显,且在运行时间上也不亚于其它算法,证明了本文算法的可行性和有效性。
表 1. 客观评价指标e和r
Table 1. Objective evaluation on index e and r
|
表 2. 客观评价指标PSNR和t
Table 2. Objective evaluation on index PSNR and t
|
3.3 测试集验证
目前基于机器学习的去雾技术发展迅速,故本文也对机器学习领域广泛使用的合成图像进行了算法验证。随机挑选几幅图像来观察,复原效果如图9所示。可以看出所提算法对合成图像去雾效果较好,细节信息明显,极大地提高了可辨识度。
图 9. 不同算法对合成图像的去雾效果(图像1~3)
Fig. 9. Dehazing effect of synthetic images by different algorithms (Image1~3)
客观评价指标如表3所示(表中数据为均值)。合成图像复原效果一般用结构相似度(Structural Similarity Index Measurement,SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)来衡量。其中,SSIM表示两幅图像的相似度,PSNR表示有用信号和噪声的比值,两者数值越大表明效果越好。可以看出本文算法在相关性能评价指标上有一定的优势,证实了本文算法在处理合成图像上的可行性。
表 3. 数据集评测指标
Table 3. Indicators of dataset
|
4 结论
本文提出一种基于光幕约束和分段调整的去雾算法.从大气光幕基本条件出发,利用两次约束进行优化;针对复原出的图像在近景和远景区域分别存在的颜色失真和去雾不彻底问题提出分段调整,得到最终的精确大气光幕;最后结合大气散射模型恢复出无雾图像。通过实验结果可以看出:本文算法与已有算法相比优势明显,复原图像去雾效果良好,色彩明亮自然,保持了原图像特性。尤其在可见边、平均梯度以及峰值信噪比等指标上有领先优势,且运行时间也不落后于其它算法。但是,该算法对于天空区域的恢复不是十分理想,有轻微的偏色现象,需要进一步改进。
[1] 汤群芳, 杨杰, 刘海波. 基于暗通道先验的单幅图像快速去雾方法[J]. 光子学报, 2017, 46(9): 0910001.
[2] 张晨, 杨燕. 基于融合与高斯加权暗通道的单幅图像去雾算法[J]. 光子学报, 2019, 48(1): 0110002.
[5] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.
[6] HE K M, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.
[7] YANG Y, WANG Z W. Haze removal: push DCP at the edge[J]. IEEE Signal Processing Letters, 2020, 27: 1405-1409.
[8] HUANG S C, CHEN B H, WANG W J. Visibility restoration of single hazy images captured in real-world weather conditions[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(10): 1814-1824.
[10] CAI B L, XU X M, JIA K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.
[12] REN W Q, LIU J S, ZHANG H, et al. Single image dehazing via multiscale convolutional neural networks with holistic edges[J]. International Journal of Computer Vision, 2020, 128(1): 240-259.
[13] LI R D, PAN J S, HE M, et al. Task-oriented network for image dehazing[J]. IEEE Transactions on Image Processing, 2020, 29(99): 6523-6534.
[14] ZHU Q S, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.
[15] HU H M, ZHANG H D, ZHAO Z C, et al. Adaptive single image dehazing using joint local-global illumination adjustment[J]. IEEE Transactions on Multimedia, 2020, 22(6): 1485-1495.
[16] 杨红, 崔艳. 基于开运算暗通道和优化边界约束的图像去雾算法[J]. 光子学报, 2018, 47(6): 0610004.
[17] 姚婷婷, 梁越, 柳晓鸣. 基于雾线先验的时空关联约束视频去雾算法[J]. 电子与信息学报, 2020, 42(11): 2796-2804.
YAO Tingting, LIANG Yue, LIU Xiaoming, 等. Video
[18] 高隽, 褚擎天, 张旭东. 结合光场深度估计和大气散射模型的图像去雾方法[J]. 光子学报, 2020, 49(7): 0710001.
[19] SUN W, WANG H, SUN C H, et al. Fast single image haze removal via local atmospheric light veil estimation[J]. Computers and Electrical Engineering, 2015, 46(C): 371-383.
[20] 肖创柏, 赵宏宇, 禹晶. 基于WLS的雾天交通图像恢复方法[J]. 红外与激光工程, 2015, 44(3): 1080-1084.
[21] CHOI L K, YOU J, BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3888-3901.
[22] MIN X K, ZHAI G T, GU K, et al. Objective quality evaluation of dehazed images[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(8): 2879-2892.
Article Outline
杨燕, 梁小珍. 基于光幕约束和分段调整的去雾算法[J]. 光子学报, 2021, 50(5): 241. Yan YANG, Xiaozhen LIANG. Dehazing Algorithm Based on Atmospheric Veil Constraint and Piecewise Adjustment[J]. ACTA PHOTONICA SINICA, 2021, 50(5): 241.