基于雾气分布的大气光幕估计去雾算法
1 引言
在雾天场景下,由于大气中存在的悬浮粒子对成像过程有一定的干扰作用,使得成像设备捕获到的图像存在视觉效果差、对比度降低、细节丢失等问题,导致一些计算机视觉系统难以正常工作,例如自动车辆导航、户外监控、遥感以及目标识别等。因此,对雾天等恶劣天气下图像的处理工作对后续的计算机视觉任务具有重要的意义。
目前现有的图像去雾算法中,主要分为基于传统方法的去雾算法和基于深度学习的去雾算法。在传统去雾算法中,主要分为图像增强类和图像复原类。图像增强类的算法有直方图均衡算法、Retinex算法等,此类算法虽然能够在一定程度上提高图像对比度、改善图像的视觉效果,但没有考虑图像退化的本质原因,容易造成图像信息丢失,并没有做到真正的去雾。复原类图像去雾算法通过研究雾天图像退化的物理机制,建立雾天图像退化模型,反演退化过程,补偿退化过程中造成的损失以获得无雾图像的最优估计值,从而改善雾天图像质量。相较而言,图像复原类算法具有内在的优越性,已成为去雾领域的研究热点。近年来,基于先验知识或假设的单幅图像去雾技术得到了重大突破。He等人[1]通过对室外无雾图像的大量观察,提出暗通道先验(Dark Channel Prior,DCP)算法,对一般雾天场景均具有较好的处理效果,但在含有天空或高亮白色物体时由于对透射率估计不准确,导致算法失效。Wang等人[2]提出有雾图像与无雾图像最小通道间存在线性关系的假设,构建线性模型来估计透射率,该算法运行速度较快,但存在复原结果整体较暗的问题。Yang等人[3]为避免最小滤波的弊端,提出一种用边缘保持函数代替最小滤波拟合暗通道的去雾算法,同时对透射率进行基于对数幂律变换的优化,进而得到了较为准确的透射率,但该算法对于一些景深跃变大的图像会产生一定的失真现象。虽然复原类算法各有局限性,但从复原成本与质量效果方面分析,此类算法仍具有较大的研究意义[4]。
近年来,基于数据驱动的去雾算法也取得了快速发展。Li等人[5]基于卷积神经网络提出一种图像去雾模型AOD-Net(All-in-One Dehazing Net),通过线性变换将大气光与透射率整合为一个变量,并将其代入大气散射模型得到无雾图像,但参数估计会使误差相互放大,影响去雾效果。Chen等人[6]提出一种端到端的门控上下文聚合网络(Gated Context Aggregation Network,GCANet)来恢复退化图像,该网络采用平滑扩张卷积消除网格伪影,引入门控子网络来融合多层次特征。该模型得到的效果较好,网络训练时间较短。Qin等人[7]提出了一种端到端的特征融合注意力机制网络,该网络融合通道与像素注意力机制,构建特征注意模块,使得主网络注重更有效的图像信息。基于深度学习的去雾算法往往需要利用现有数据集训练大量参数,对设备和数据集的要求较高,并且此类算法对于真实退化图像的去雾效果较差,目前在去雾领域存在一定的局限性[8]。
综上所述,本文提出一种基于雾气分布的大气光幕估计去雾算法。首先将Fade方法得到的雾气分布图像进行阈值分割与细化处理得到较为精确的雾气分布,通过分析景深、雾浓度、大气光幕之间的关系,建立大气光幕估计模型。其次,通过亮度权重图与自适应大气光阈值选取大气光区域,获取较为准确的大气光,进而恢复退化场景。算法不涉及透射率计算,避免了透射率估计不足带来的失真问题。
2 相关理论
在图像去雾领域,常用的雾天场景成像模型为大气散射模型[9]:
式中:
由
其中:
式中:
Zhu等人[10]通过分析得到,景深可反映雾浓度信息,并且与雾浓度存在正相关关系。通过对大量退化场景的观察发现,景深越大的区域往往雾浓度较大,图像亮度较高,纹理信息几乎不可见。故Zhu等人以亮度与饱和度之间的差异近似表示雾浓度,建立线性模型估计景深。基于大气散射模型,可直接估计透射率和大气光达到去雾目的[11-13],也可从估计大气光幕与大气光的角度进行图像复原[14]。但由于此模型自身的缺陷,所得复原结果偏暗,故提出一系列改进大气散射模型的去雾算法[15-16]。
3 本文算法
根据颜色衰减先验(Color Attenuation Prior,CAP)以及大气成像物理模型分析,雾气分布与景深存在正相关关系,并且根据推导可发现景深与大气光幕存在指数正相关关系。综合上述特性以及相关理论,本文对雾气分布与大气光幕进行建模,直接用雾气分布信息估计大气光幕,减小了算法复杂度。并提出一种亮度权重结合自适应阈值的大气光求取方法,进而得到复原场景。算法流程框图如
3.1 雾气分布
在雾天场景退化过程中,场景反射光受悬浮颗粒影响不同,会使退化图像产生不同程度的雾气。而对于不同的雾浓度,图像饱和度、亮度、纹理等特征也不尽相同。Choi等人利用在自然有雾和无雾图像上观察到的统计规律的可测量偏差,结合图像锐度、对比度能量、信息熵等12个特征设计了一个可估计图像雾浓度的雾感知密度评估器[17]:
式中:
由于雾气的存在,人类可以通过其感知到景深,因此在去雾过程中,往往会保留部分远处的雾气以获得更自然的视觉效果。本文选择阈值
参考Androutsos等人[18]对自然界图像亮度分量在HSV颜色空间中75%的划分,本文将
图 3. 雾气分布处理的实验结果对比。(a)雾霾图像;(b)初始雾气分布复原结果;(c)处理后雾气分布复原结果。
Fig. 3. Comparison of experimental results of haze distribution treatment.(a)Haze imagets;(b)Recovery results of initial hazed istribution;(c)Rrecovery results of initial haze distribution aftert reatment.
3.2 大气光幕与雾浓度的关系
图 4. 景深、雾浓度与大气光幕关系曲线。
Fig. 4. Relationship curve of the depth of field,haze concentration and atmospheric light veil.
式中:
参数
通常情况下,在景深较大的区域,雾气分布浓密,图像亮度较高,因此该区域最小通道值也较大,这导致估计的光幕过大,使复原图像出现过饱和问题。因此,为了能够调节
其中:
大气光幕的估计有效避免了透射率估计不准确问题。随机选取两张室外退化图像进行大气光幕估计复原,并与Tarel方法[21]进行效果对比,复原效果如
3.3 大气光估计
在退化场景复原过程中,大气光直接影响着复原结果,它反映了场景的亮度信息。Kim等[22]提出一种结合四叉树分解的大气光值估计方法,通过分层策略不断分割选取标准差最小区域进而获得最终大气光值。但此方法会受大片白色物体影响而错选大气光位置,使复原结果发生严重偏色。根据大气散射模型与景深公式可以推导出大气光一般取在景深无穷远的平滑区域。一般情况下,景深无穷远处的雾气分布较为密集,亮度较高,因此,为获得较为准确的大气光,定义亮度权重图如
其中:
式中,
3.4 退化场景复原
根据公式(
根据大气光幕恢复退化场景,可以避免透射率估计不准确带来的误差,获得更好的去雾效果。
4 实验结果与分析
为充分验证本算法的有效性,本文将进行主观评价与客观评价对实验结果进行分析。本文选择2个传统算法与3个深度学习算法进行评价对比。传统算法选择He等人[1]的DCP算法和Yang等人[3]的PDCP算法,深度学习算法选择Li等人[5]的AOD-Net算法、Qin等人[7]的FFA-Net算法和Chen等人[6]的GCANet算法。
4.1 主观评价
主观评价可以直观地从视觉效果方面展示出各算法的差异性。本文主要通过真实退化场景复原效果与合成退化场景复原效果进行对比,真实退化场景选取含天空及白色物体类雾霾图像与景深突变类雾霾图像进行效果对比,合成退化场景选取公开测试集RESIDE里的部分图像。
从
图 8. 含天空及白色物体的场景复原结果对比
Fig. 8. Comparison of recovery results of scenes with sky region and white objects
图 9. 景深变化剧烈场景的复原结果对比
Fig. 9. Comparison of recovery results of real degradation scenes with depth of field change sharp
图 10. 合成退化场景的复原结果对比
Fig. 10. Comparison of recovery results of synthetic degradation scenes
4.2 客观评价
主观评价能从视觉效果上对比各算法的差异性,但仍然较为片面。为了进一步说明本算法的有效性,以客观指标评价作为辅助评价。对于真实退化场景,本文选取新增可见边率(e)、平均梯度(r)、信息熵(s)、运行时间(t)4个指标进行对比。4个指标中,运行时间越小越好,其他指标越大越好。对于合成退化场景,选择结构相似度(Structural Similarity,SSIM)与峰值信噪比(Peak Signal Noise Ratio,PSNR)2个有参考指标进行对比,2个指标都是越大越好。随机选取RESIDE数据集中的4张图片求取指标平均的方式进行各算法对比。
无参考评价指标对比如
表 1. 客观评价指标e和r
Table 1. Objective evaluation on index e and r
|
表 2. 客观评价指标s和t
Table 2. Objective evaluation on index s and t
|
表 3. 数据集测评指标
Table 3. Indicators of dataset
|
5 结论
雾霾天气下捕获的降质图像对计算机视觉任务造成了较大的影响,对这些降质图像的复原算法研究一直是计算机视觉领域的热点。为能够快速、高效地复原退化场景,本文提出了一种雾气分布下的大气光幕估计算法。首先,将Fade方法提取到的初始雾气分布图进行阈值分割与细化处理得到较为准确的雾气分布信息。其次,通过分析景深、雾浓度、大气光幕之间的关系,建立大气光幕估计模型。最后,通过亮度权重图与自适应大气光阈值选取大气光区域,获取较为准确的大气光,进而恢复退化场景。实验结果表明,本文算法恢复图像清晰自然,去雾效果彻底,并且能够保留图像中的细节信息。
[4] 李鹏飞, 何小海, 卿粼波, 等. 暗通道融合亮通道优化的夜间图像去雾算法[J]. 液晶与显示, 2021, 36(4): 596-604.
[14] 杨燕, 张金龙, 王蓉. 基于高斯凸优化与光幕双约束的退化场景复原[J]. 光学学报, 2021, 41(19): 1910001.
[16] 杨勇, 邱根莹, 黄淑英, 等. 基于改进大气散射模型的单幅图像去雾方法[J]. 北京航空航天大学学报, 2022, 48(8): 1364-1375.
YANG Y, QIU G Y, HUANG S Y, et al. Single image dehazing method based on improved atmospheric scattering model[J]. Journal of Beijing University of Aeronautics and Astronautics, 2022, 48(8): 1364-1375.
[18] ANDROUTSOSP, KUSHKIA, ANDROUTSOSK N, et al. Distributed MPEG-7 image indexing using small world user agents [C]//International Conference on Image Processing. Singapore: IEEE, 2004: 641-644.
[19] 杨燕, 刘珑珑, 张得欣, 等. 结合自适应雾气估计的快速单幅图像去雾[J]. 光学 精密工程, 2019, 27(10): 2263-2271.
Article Outline
杨燕, 张雯波. 基于雾气分布的大气光幕估计去雾算法[J]. 液晶与显示, 2023, 38(4): 534. Yan YANG, Wen-bo ZHANG. Dehazing algorithm with atmospheric light veil estimation based on haze distribution[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(4): 534.