激光与光电子学进展, 2020, 57 (6): 061014, 网络出版: 2020-03-06  

一种车载摄录图像的双模式雾气消散系统 下载: 1045次

A Dual-Mode Defogging System for Vehicle Recorded Images
作者单位
1 中国科学院安徽光学精密机械研究所大气光学中心, 安徽 合肥 230031
2 中国科学技术大学, 安徽 合肥 230026
3 脉冲功率激光技术国家重点实验室, 安徽 合肥 230031
摘要
提出了一种消除雾气对车载摄录设备光学成像影响的系统,改善了车载设备获取图像的视觉效果,优化了后续对图像中信息的提取与应用。设计的双模式雾气消散系统包括硬件和软件两部分,硬件为基于物理热消散效应的机械去雾结构,软件为基于大气散射模型估算的图像处理算法。能在不同湿度下保证车载摄录图像的清晰度和细节特征,具有实时处理和自适应反馈等优势,满足商业化应用需求。
Abstract
This paper proposes a system for eliminating the influence of fog on optical imaging of vehicle recording equipment, the visual effect of the image acquisition by the vehicle-mounted equipment is improved, and the subsequent extraction and application of information in the image can be optimized. The designed dual-mode mist dissipating system includes two parts: hardware and software, the hardware is a mechanical defogging structure based on the physical heat dissipation effect and the software is an image processing algorithm based on the atmospheric scattering model estimation. It can better ensure the clarity and details of the vehicle recorded image under different humidity conditions, and has the advantages of real-time processing and adaptive feedback, which make it suitable for commercial applications.

1 引言

随着机动车辆成为人们普遍使用的交通工具,相关的车载产品也有了强大的市场需求和广阔的应用前景。车载产品既具有常规功能又有可移动性,如车载雷达、车载照明系统、车载全球定位系统(GPS),能够对移动目标实现实时处理和信息记录。车载摄录设备作为信息捕捉的重要载体,一般固定于车内的挡风玻璃上,可以对移动目标进行跟踪摄影,也可以帮助驾乘者实时记录周边的路况信息。然而在车内湿度一定且玻璃温度低于露点温度时,会有雾水附在车载摄录设备的镜头和车窗玻璃表面,从而造成光学成像雾化,使获取的图像质量下降[1]。常见的解决办法有空调加热法、空调换气法和擦拭法等[2],但都存在一定的缺陷,如车载空调加热法会使车内整体变温,影响设备中器件的使用寿命;换气法往往对离出风口较远的镜头去雾效果不佳,不能实现彻底去雾;直接使用毛巾或纸巾将雾水擦去,可能会污染镜头甚至损坏镜头的涂覆膜层,当雾气再次凝结时又需要人工反复处理,不具有应用潜力。因此,如何有效无害地消除雾气对成像质量的影响,具有十分重要的研究价值。

考虑到车载摄像设备的镜头和车窗均可等效为光学中的透镜结构,Baniamerian等[3]通过模拟车舱内气流和温度的分布,对热风出口孔在不同位置时的去雾情况进行评价,发现热风对挡风玻璃可以起到良好的去雾作用,并得到了出口孔的最佳位置。Karamjit[4]设计了一套新的去雾系统,在挡风玻璃底部设置热风出口孔,在挡风玻璃上实现了1.5~2 m/s的气流分布,可实现快速去雾。谷正气等[5]提出了一种基于计算流体力学与优化算法相集成的方法,在除霜去雾风道中添加了4个导流板,对除霜去雾风道结构进行优化改进得到了最优参数,改进后的风道送风分布更加均匀,除霜除雾性能得到了明显改善。由此发现,增设热风辅助装置能对镜头起到良好的除雾作用。翁建华等[6]对微型电扇进行性能测试,证明了其对于散热量小、空间限制大和热流密度低的设备具有良好的散热作用。

上述设计中的加热除雾装置均有一定的时间需求,且避免不了雾气的相对残留,为进一步优化图像的清晰度和信息特征,对车载摄录设备获取的原始图像进行算法去雾。除了经典的图像增强方法[7]和Retinex方法[8],常用的单幅图像去雾算法是由He等[9]提出的暗通道先验算法,对大多数情况的雾天图像取得了较好的优化效果,但计算较为繁琐[10]。文献[ 11]在此基础上进行改进,提出了一种基于深度学习的多尺度卷积神经网络单幅图像去雾算法,通过学习雾天图像与大气透射率之间的映射关系实现图像去雾,牺牲了一定的计算复杂度,同时提高了去雾效果。文献[ 12]对雾天图像暗通道进行了聚类分析,按场景划分图像并分析和计算每个场景暗通道图像的质心偏移量来修正模型中估算的大气透射率,有效地恢复了明亮区域的原本色调和细节信息,有较好的视觉效果。杨爱萍等[13]提出为避免图像去雾后细节模糊和噪声放大,将图像分解为结构层和纹理层,且只对其结构层进行去雾的算法,在一定程度上抑制了图像噪声放大引起的不彻底去雾。文献[ 14]提出了一种结合雾天图像的直方图特性和基于辐射立方体法的边界限制条件的算法,得到初始透射率值后经加权最小二乘法滤波方法和容差机制优化,用于图像去雾,进一步提升了传统暗通道算法的效果,但计算量较大、时效性低。文献[ 15]结合亮通道和暗通道估计大气光值和透射率以实现图像去雾,解决了有雾图像恢复时天空区域的颜色失真问题,恢复了图像的细节和颜色,提高了图像的视觉效果。文献[ 16]提出了针对天空优化的数字图像暗通道先验去雾算法,在算法中对天空区域中的透射率进行约束,取得了一定的改善效果。实际过程中,对车载摄录设备获取的图像进行除雾主要是优化后续的分析处理过程,不仅要对图像中的雾气进行消除,还需要进一步保证图像的真实度和清晰度,可以结合图像增强和暗通道去雾算法的优势达到较好的视觉效果[17]。算法处理可以为热消散去雾提供反馈辅助,进一步优化拍摄的视频图像质量。

本文结合上述调研分析,分别从机械和算法层面对车载摄录设备获取的视频图像信息进行优化,最大程度地消除雾气对于成像质量的影响。实际应用中,可将对单帧图像的处理进一步扩展至多帧连续的视频。

2 双模式雾气优化设计与分析

雾是一种由微小水滴凝结成的水汽现象,在适当的气候条件下,可以长时间积聚于近地面,使能见度下降。使用车载摄录系统对周围环境进行成像时,雾气会造成对目标的遮挡,引起目标轮廓的模糊化、颜色失真、细节退化、对比度下降等问题。附着于车载摄录设备镜头上的雾气,还会渗透进入器件内部,使其工作效率和性能下降。从光学成像角度考虑,附着的水滴可等效为一片薄透镜放置于镜头前,造成成像的离焦和雾化。同时微小水滴的不均匀分布会使成像出现噪声,最终造成车载摄录设备的成像降质。

针对雾气对车载摄录设备的影响,提出了物理消除和软件处理的双模式优化思路。物理层面是通过使用局部加热设备,对镜头和车窗玻璃处的雾气进行热消散处理并及时进行系统散热;软件处理层面是采用合适的算法,对摄录图像进行优化,从而提高获取图像的质量。

2.1 物理去雾设计

热去雾在车载去雾方法中是一种方便快捷且有效的技术手段。机械去雾结构采用微型风扇结合热风辅助装置对镜头除雾,在引起强制空气对流的同时将足够的热风吹向镜头和车窗玻璃来达到去雾的效果。为避免设备局部过热,增设了一种通风槽及时将热风散出,防止环境温度过高造成摄录设备损坏。图1为物理去雾设备的结构图,图1(a)为设备的外部结构示意图,图1(b)为设备的内部结构示意图,图1(c)为通风槽结构示意图,图1(d)为图1(a)中A处放大结构示意图。

图 1. 物理去雾设备的结构示意图。(a)外部结构;(b)内部结构;(c)通风槽结构;(d)图(a)中A处放大结构

Fig. 1. Schematic diagram of physical demisting equipment. (a) External structure; (b) internal structure; (c) structure of ventilation groove; (d) enlarged structure at A in Fig. (a)

下载图片 查看所有图片

图1中物理去雾结构使用的技术方案:主体为罩于摄像头等结构外的设备外壳,其内壁两侧开设散热槽;槽中固定的电动马达及传导棒与扇叶活动连接;在扇叶转动的平行面上设置发热板,当发热板发热时,风扇开启以吹出热风。设备外壳的内底壁设有通风槽,槽中平行设置多片通风板;每片通风板的顶部单独开有横向的旋转槽,其中插入的转向柱都连接至活动杆,活动杆都连接至移动条;一端的转动杆和转动块可以控制移动条水平移动,从而实现转动通风板使其自行开闭,以达到散热和防尘的目的。设备外壳的外表面开有通风孔可实现大面积散热,使雾气加速消散,同时设置有支架柱,支架柱的内部通过转轴插接有手机支架,便于驾驶汽车时放置手机。其中的电器元件均与外界的主控器及220 V市电连接,主控器用于控制常规已知设备。

设计的车载视频设备的机械去雾结构具备以下作用:在车内产生雾气时,开启发热板产生热量,同时启动扇叶将经由发热板加热的风吹向视频设备的表面,再通过散热槽及时降低热量并形成强制热空气对流,使雾气快速蒸发,使得车内人员可以看清视频设备上的画面;设置了通风槽,在产生热风时,转动块转动将通风板打开,使设备的外壳周围有更好的通风效果,避免热量过大损坏内部零件,在关闭设备时通风板闭合可防止灰尘进入。

2.2 算法去雾设计

算法去雾设计可作为物理去雾的补偿反馈,改善单独物理去雾效果不佳的情况。使用的去雾算法结合了暗通道先验规律与直方图均衡的对比度展宽思路,增强了图像中的全局对比度,从而改善了暗通道去雾处理图像较明亮区域时的不足,最终使图像的灰度分布趋于合理。

车载摄录设备获取的图像通常会因雾气在大气中的随机分布而产生干扰,从而使得光学成像的反射光线存在一部分衰减,影响图像的视觉质量,而大气散射程度与监控设备和景物间的距离相关,因此图像的质量损失随着景深在空间的变化而变化[18]。单幅图像去雾的方法大多采用He等[9]提出的基于导向滤波的暗通道先验去雾算法,其使用的大气光学模型可以描述为

I=J·t+A[1-t]t(x,y)=-exp[βd(x,y)],(1)

式中,I为获取的含雾原始图像,J为理想无雾状况下的清晰图像,即待恢复的目标图像,t为透射率矩阵,t(x,y)为对应位置的透射率,A为整体大气光照强度,β为大气散射系数,d(x,y)为图像对应坐标位置处的场景深度信息。当t(x,y)和A(通常选取暗通道中最亮的0.1%的像素均值)均已知时,恢复出无雾图像的各像素可表示为

J(x,y)=I(x,y)-Amax[t(x,y),0.1]+A,(2)

式中,max表示求取最大值,经过计算,可以恢复出无雾图像。考虑到车载摄录设备需要算法补偿的情况多数出现在夜景图像中,而单独的暗通道去雾算法处理较明亮区域又往往存在不足,所以引入图像双直方图均衡算法来提升图像的全局对比度,用于修正去雾后图像较明亮区域的灰度分布,最终使图像的灰度分布趋于合理,去雾算法的步骤:

1) 先使用文献[ 14]中快速暗通道先验去雾算法,获取雾天图像I的去雾后的效果图,记为J1;

2) 再使用文献[ 19]中亮度精确控制的双直方图均衡算法,输出亮度在期望值处的增强效果图,记为J2;

3) 将图像J1J2进行等比加权融合,得到最终的输出图像J

为了与传统暗通道去雾算法及其改进算法的去雾效果进行对比,取三幅夜间车载记录仪获取的图像分别使用三种算法进行去雾。图2(a)对应图2第1列的三幅图像,表示原始含雾车载夜景图像,可以看出获取的图像因雾气的存在而出现了降质。图2(b)和图2(c)对应图2的第2列和第3列,分别使用基于文献[ 9]和文献[ 13]的算法进行去雾处理,可以看出去雾后图像变得更为清晰。图2(d)对应图2的第4列,为本文算法的处理结果,可以看出图像在实现去雾的同时也优化了全局对比度,且对图像中较明亮区域的改善效果尤为明显。

图 2. 车载夜景图像的去雾清晰化效果。(a)原始图像;(b)文献[ 9]算法的效果;(c)文献[ 13]算法的效果;(d)本文算法的效果

Fig. 2. Defogging and sharpening effect of vehicle night scene image. (a) Original image; (b) effect of algorithm in literature[9]; (c) effect of algorithm in literature[13]; (d) effect of our algorithm

下载图片 查看所有图片

为了定量分析图像的去雾效果,选取峰值信噪比来表征噪声对去雾后图像的影响,选取平均灰度梯度反映去雾算法对图像细节特征的保持,选取信息熵值表示图像的清晰度。表1为不同算法对图2中三幅图像去雾后的效果评价,数据结果表明,本文设计的算法在图像对比度改善、图像细节特征保持和图像层次感展现上具有明显优势,对图像的去雾恢复也更为合理。

表 1. 不同去雾算法的客观评价

Table 1. Objective evaluation of different defogging algorithms

Image defoggingtechnical parameterImage graystandard deviationImage averagegradientImage informationentropy
Image of thefirst line in Fig.2Algorithm of literature [9]29.35692.34175.2314
Algorithm of literature [13]28.99892.81865.2986
Algorithm of our article46.97075.87597.3424
Image of thesecond line in Fig.2Algorithm of literature [9]24.28571.99384.6159
Algorithm of literature [13]24.31652.46944.7157
Algorithm of our article45.09826.75717.2850
Image of thethird line in Fig.2Algorithm of literature [9]58.49336.74214.2022
Algorithm of literature [13]58.87116.76545.3307
Algorithm of our article63.50117.67845.3867

查看所有表

3 结论

提出了一种车载摄录设备的去雾双模式结构,包括基于物理热消散去雾和基于图像处理算法去雾。物理去雾结构通过设置发热板、风扇和通风槽,强制形成了热空气对流,快速蒸发镜头和附近车窗玻璃上的雾气,同时可以及时散热避免温度过高对设备造成不良影响;算法处理去雾将暗通道去雾与直方图均衡处理相结合,改善了暗通道先验算法对较明亮区域去雾效果的不足,增强了图像的局部细节,雾天图像清晰化取得了较好的效果,且处理后图像的各部分保持相对合理的亮度分布。通过双模式的雾气消散系统,优化对车载摄录设备获取图像的去雾处理,达到了良好的去雾效果,改善了车载摄录的图像质量。

参考文献

[1] 邓峰, 谷正气, 杨易, 等. 汽车前风窗玻璃除霜除雾数值模拟分析和研究[J]. 汽车工程, 2009, 31(2): 175-179, 188.

    Deng F, Gu Z Q, Yang Y, et al. Numerical simulation analysis on defrosting and defogging of automotive windshield[J]. Automotive Engineering, 2009, 31(2): 175-179, 188.

[2] 张立平. 让前车窗不起雾和除雾的方法[J]. 驾驶园, 2011( 12): 66.

    Zhang LP. Ways to keep front windows free of fog and defogging[J]. World of Driver, 2011( 12): 66.

[3] Baniamerian Z, Mehdipour R, Saidi M H. A new approach in developing optimal defrost/demist performance in a passenger car[J]. International Journal of Engineering, 2017, 30(7): 1081-1089.

[4] KaramjitS. Simulation of the windscreen defrost performance[C]∥Star European User Conference, March 22-23, 2011. [S.l.: s.n.], 2011.

[5] 谷正气, 文琪, 汤柱良, 等. 基于集成方法的汽车除霜除雾风道改进[J]. 中南大学学报(自然科学版), 2017, 48(10): 2649-2656.

    Gu Z Q, Wen Q, Tang Z L, et al. Improvement of auto defrosting and demisting air duct based on integrated method[J]. Journal of Central South University(Science and Technology), 2017, 48(10): 2649-2656.

[6] 翁建华, 石梦琦, 崔晓钰. 散热用微型风扇新技术的研究与应用[J]. 新技术新工艺, 2016( 12): 14- 16.

    Weng JH, Shi MQ, Cui XY. Research andapplication of miniature fan new technologies for heat dissipation[J]. New Technology & New Process, 2016( 12): 14- 16.

[7] 梅英杰, 宁媛, 陈进军. 融合暗通道先验和MSRCR的分块调节图像增强算法[J]. 光子学报, 2019, 48(7): 0710005.

    Mei Y J, Ning Y. ChenJ J. Block-adjusted image enhancement algorithm combining dark channel prior with MSRCR[J]. Acta Photonica Sinica, 2019, 48(7): 0710005.

[8] 李欢. 基于嵌入式系统的透雾监控系统的设计与实现[D]. 太原: 太原理工大学, 2017.

    LiH. Design and realization of defogging monitoring system based on embedded system[D]. Taiyuan: Taiyuan University of Technology, 2017.

[9] He KM, SunJ, Tang XO, et al. Single image haze removal using dark channel prior[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE, 2009: 1956- 1963.

[10] 董亚运, 毕笃彦, 何林远, 等. 基于非局部先验的单幅图像去雾算法[J]. 光学学报, 2017, 37(11): 1110001.

    Dong Y Y, Bi D Y, He L Y, et al. Single image dehazing algorithm based on non-local prior[J]. Acta Optica Sinica, 2017, 37(11): 1110001.

[11] 陈永, 郭红光, 艾亚鹏. 基于多尺度卷积神经网络的单幅图像去雾方法[J]. 光学学报, 2019, 39(10): 1010001.

    Chen Y, Guo H G, Ai Y P. Single image dehazing method based on multi-scale convolution neural network[J]. Acta Optica Sinica, 2019, 39(10): 1010001.

[12] 苏畅, 毕国玲, 金龙旭, 等. 基于暗通道图像质心偏移量的去雾算法[J]. 光学学报, 2019, 39(5): 0533001.

    Su C, Bi G L, Jin L X, et al. Dehazing algorithm based on dark-channel image centroid offset[J]. Acta Optica Sinica, 2019, 39(5): 0533001.

[13] 杨爱萍, 王海新, 王金斌, 等. 基于透射率融合与多重导向滤波的单幅图像去雾[J]. 光学学报, 2018, 38(12): 1210001.

    Yang A P, Wang H X, Wang J B, et al. Image dehazing based on transmission fusion and multi-guided filtering[J]. Acta Optica Sinica, 2018, 38(12): 1210001.

[14] 李红云, 云利军, 高银. 基于边界限制加权最小二乘法滤波的雾天图像增强算法[J]. 中国激光, 2019, 46(3): 0309002.

    Li H Y, Yun L J, Gao Y. Fogimage enhancement algorithm based on boundary-limited weighted least squares filtering[J]. Chinese Journal of Lasers, 2019, 46(3): 0309002.

[15] 卢辉斌, 赵燕芳, 赵永杰, 等. 基于亮通道和暗通道结合的图像去雾[J]. 光学学报, 2018, 38(11): 1115004.

    Lu H B, Zhao Y F, Zhao Y J, et al. Image defogging based on combination of image bright and dark channels[J]. Acta Optica Sinica, 2018, 38(11): 1115004.

[16] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.

    Zeng Z Y, Zhou Y T, Chi Y, et al. Dark channel prior dehazing algorithm based on sky optimization of digital image[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081010.

[17] 王振东, 靖旭, 孙国栋, 等. 基于区域对比度约束的暗通道图像去雾[J]. 中国激光, 2019, 46(8): 0810003.

    Wang Z D, Jing X, Sun G D, et al. Image dehazing of dark channels based on area contrast constraint[J]. Chinese Journal of Lasers, 2019, 46(8): 0810003.

[18] 左飞. 图像处理中的数学修炼[M]. 北京: 清华大学出版社, 2017: 405- 411.

    ZuoF. Applied mathematics in digital image processing[M]. Beijing: Tsinghua University Press, 2017: 405- 411.

[19] 江巨浪, 王振东, 钟伦超, 等. 图像亮度精确控制的双直方图均衡算法[J]. 电子科技大学学报, 2018, 47(1): 105-111.

    Jiang J L, Wang Z D, Zhong L C, et al. Bi-histogram equalization algorithm with precise control of image brightness[J]. Journal of University of Electronic Science and Technology of China, 2018, 47(1): 105-111.

王振东, 罗杰, 梅康, 管雯璐, 安晏阳, 靖旭, 张巳龙, 秦来安, 陈修涛, 王浩, 侯再红. 一种车载摄录图像的双模式雾气消散系统[J]. 激光与光电子学进展, 2020, 57(6): 061014. Zhendong Wang, Jie Luo, Kang Mei, Wenlu Guan, Yanyang An, Xu Jing, Silong Zhang, Laian Tai, Xiutao Chen, Hao Wang, Zaihong Hou. A Dual-Mode Defogging System for Vehicle Recorded Images[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061014.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!