一种快速实现的偏振光学去雾方法 下载: 1210次
1 引言
雾霾是一种常见的大气自然现象,其中悬浮着大量的水滴、灰尘、金属颗粒等散射介质。在雾霾环境中成像时,大气颗粒不仅会散射和吸收目标光,还会散射大气照明光,并使其混入到目标光中[1-2]。因此,在雾霾环境中拍摄的图像通常表现出低对比度、低能见度和颜色畸变的特点,这对于户外应用的机器和视觉系统来说是致命的。发展新的图像去雾方法极其重要,尤其是用于图像和视频实时去雾的快速去雾方法。
由于该技术的急切需求,新型图像去雾方法已经得到了快速发展,这些技术根据其基本原理可以分为以下几种,对比度增强[3]、先验和假设[4-10]、融合[11-13]和偏振[14-25]。其中,对比度增强技术试图增强整幅图像的对比度,表现出较高的计算效率,但是这种技术忽略了图像的景深信息,通常不能得到满意的去雾结果[3]。先验和假设去雾方法基于一定的先验知识或假设信息,根据图像的物理模型来复原目标光,能得到较为理想的去雾效果,但是从单幅图像中提取多个参数需要较为复杂的算法,因此该技术很难应用在实时图像去雾领域[4-10]。为了提高计算效率,研究人员提出了一些技术来降低计算的复杂性[26-30],但是这些简化的算法很难获得与原始技术相当的去雾效果。融合去雾方法是通过融合近红外图像和可见光图像来达到去雾目的的一种技术。近红外光受到的散射较少,因此在雾霾中的传播距离远大于可见光。近红外图像可以表现出良好的能见度,而可见光图像则包含了场景的颜色信息。因此,融合去雾方法不仅可以增强能见度,而且可以恢复良好的场景颜色信息。融合去雾方法的主要局限是近红外图像和可见光图像的同时获取较为困难,同时,融合算法的计算效率也是一个很大的挑战[11-13]。偏振光学去雾方法是在过去十年中发展起来的一种新型去雾方法。大气光经雾霾颗粒多次散射后所形成的大气散射光为部分线偏振光,根据此特性利用多幅具有不同偏振态的雾霾图像可以估算出大气散射光的强度,从而复原出目标光强度[14-25]。偏振光学去雾方法在细节恢复、颜色还原方面有较大的优势,目前已经广泛应用于图像去雾、水下图像增强和医疗诊断等方面。对于彩色图像,目前的偏振光学去雾方法均是在红、绿和蓝三颜色通道中各执行一遍去雾过程,从而阻碍了其计算效率的进一步提高。
为了提高偏振光学去雾方法对彩色图像的计算效率,本文提出一种基于HSI(Hue, Saturation and Intensity)颜色空间的快速偏振光学去雾方法。在HSI颜色空间中,强度通道只与RGB(Red, Green and Blue)颜色空间中的红、绿和蓝三通道的强度相关,所以可以只在强度通道中进行一次去雾操作。颗粒对不同波长散射造成的颜色畸变通过颜色恒常性校正方法进行校正。实验表明,该技术具有良好的去雾效果,同时计算效率得到大幅度提高,在实时去雾领域有较为重要的作用。
2 基本原理
2.1 偏振光学去雾方法理论模型
雾霾中的图像成像模型如
式中:
其中
由雾霾环境中的成像模型可以看出,雾霾图像对比度降低的主要原因是目标光的衰减和大气散射光的混入,使得本来就很弱的目标光被大气散射光所淹没。因此,偏振光学去雾过程的关键步骤是估算大气散射光光强,然后根据景深信息还原目标光光强。幸运的是,大气散射光是部分偏振光,基于此条件,大气散射光光强可以通过具有不同线偏振态的多幅图像进行估算得出。
为了估算大气散射光光强,首先需要拍摄4幅包含相同场景的偏振图像,分别使偏振化方向为0°、45°、90°、135°,这4幅图像的强度分别表示为
式中:
和
场景的偏振度和偏振角在整个场景中因像素点的不同而不同,但大气散射光的偏振度(
为表示简便,定义0°和90°方向分别对应
同时,考虑到
式中:
然后,大气散射光光强
最后,根据(4)式可以求得去雾后的图像强度。对于彩色图像,这个去雾过程会在三颜色通道中各执行一遍,这也是目前偏振光学去雾方法效率较低的主要原因。
2.2 HSI颜色空间
HSI颜色空间是以人类视觉系统对颜色的理解角度进行描述的,更符合人眼观察的效果,因此HSI颜色空间是目前在计算机视觉处理算法领域应用较为广泛的一种颜色空间[32]。 雾霾的主要影响是散射产生的额外大气散射光,它在强度通道中淹没目标光,降低图像对比度。另外,散射系数对波长的依赖性导致雾霾图像的颜色发生畸变,在HSI颜色空间中表现为饱和度通道的改变。因此,在HSI颜色空间中,可以利用偏振光学去雾方法对强度通道进行去雾处理,此过程只需要进行一次,雾霾图像的颜色畸变可以通过一个颜色恒常性校正方法进行校正。
根据RGB与HSI颜色空间的关系将雾霾图像从RGB颜色空间变换至HSI颜色空间后,对强度通道利用偏振光学去雾算法进行去雾处理,然后将图像从HSI颜色空间再转换至RGB颜色空间。利用颜色恒常性校正方法对去雾后图像的颜色畸变进行校正,得到颜色恢复后的理想去雾图像,在本方法中使用White Patch Retinex方法,其具有较高的计算效率和良好的恢复效果,适用于实时图像去雾方法。整个去雾方法的流程如
3 实验结果与分析
3.1 实验结果
在本部分给出一些实验结果来验证本技术的有效性。首先,在一个彩色相机的镜头前放置一个线偏振片,然后分别使偏振片的偏振化方向位于0°、 45°、90° 和135°方向拍摄4幅雾霾图像,如
3.2 客观评价和讨论
为了客观地评价不同去雾方法的去雾能力,常使用一定的客观评价函数对去雾结果进行评价。由于雾霾天气下很难拍摄同一场景晴朗天气条件下的图像作为参考来评价去雾效果,因此去雾效果的评价一般都是使用无参考图像质量评价函数进行,在这里选择NIQE(Natural Image Quality Evaluator)函数[33],这是一种完全无参考的图像质量评价函数,可以综合评价图像的质量,一般包括噪声、对比度、图像细节和能见度等。图像的质量表示为待测试图像的MVG值和自然图像MVG值的距离,因此数值越小图像质量越好,去雾图像质量评价结果如
图 3. 4幅具有不同偏振态的雾霾图像。(a) 0°;(b) 45°;(c) 90° ;(d) 135°
Fig. 3. Four hazy images with different polarization states. (a) 0°; (b) 45°; (c) 90° ; (d) 135°
图 4. 去雾结果。(a)雾霾图像;(b) Tarel's;(c) RGB PDM;(d)本文方法
Fig. 4. Dehazing results. (a) Hazy images; (b) Tarel's; (c) RGB PDM; (d) proposed method
表 1. 不同去雾方法的去雾结果质量评价对比结果
Table 1. Comparison of image dehazing qualities handled with different dehazing methods
|
由
为了直观展示不同去雾方法的计算效率,对不同去雾方法的计算时间进行了测试,测试在计算机上进行,其配置为Inter(R) Core(TM) i3-4160 CPU @3.60 GHz处理器和4 GB内存。测试结果如
表 2. 不同去雾方法所消耗时间
Table 2. Consuming time of different dehazing methods
|
总体考虑去雾能力和计算效率后可知,本文提出的去雾方法优于其他去雾方法,该方法是一种可以用于雾霾图像对比度增强、细节恢复有效且高效率的快速去雾方法。
4 结论
提出了一种新型的偏振光学去雾方法,该技术的去雾过程在HSI颜色空间中完成,这样只需要执行一次偏振光学去雾过程,就可以将传统RGB颜色空间中的偏振光学去雾方法效率有效提高。对比实验表明,该技术在获得良好去雾效果的同时,计算效率也得到了大幅提高,与部分单幅去雾方法的计算效率相当,是传统RGB偏振光学去雾方法计算效率的3倍。该技术可以有效应用于图像实时去雾和视频去雾领域。
[1] Henry R C, Mahadev S, Urquijo S, et al. Color perception through atmospheric haze[J]. Journal of the Optical Society of America A, 2000, 17(5): 831-835.
[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.
[4] Tan RT. Visibility in bad weather from a single image[C]∥2008 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2008, Anchorage, AK, USA. New York: IEEE, 2008: 4587643.
[5] Tarel JP, HautièreN. Fast visibility restoration from a single color or gray level image[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29 - October 2 ,2009, Kyoto, Japan. New York: IEEE, 2009: 2201- 2208.
[7] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, December 1-8 ,2013, Sydney, NSW, Australia. New York: IEEE, 2013: 617- 624.
[8] Lu H M, Li Y J, Nakashima S, et al. Single image dehazing through improved atmospheric light estimation[J]. Multimedia Tools and Applications, 2016, 75(24): 17081-17096.
[9] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.
[10] 郭翰, 徐晓婷, 李博. 基于暗原色先验的图像去雾方法研究[J]. 光学学报, 2018, 38(4): 0410002.
[11] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.
[12] FengC, Zhuo SJ, Zhang XP, et al. Near-infrared guided color image dehazing[C]∥2013 IEEE International Conference on Image Processing, September 15-18,2013, Melbourne, VIC, Australia. New York: IEEE, 2013: 2363- 2367.
[13] Liang J, Zhang W F, Ren L Y, et al. Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion[J]. Applied Optics, 2016, 55(29): 8221-8226.
[14] Schechner YY, Narasimhan SG, Nayar SK. Instant dehazing of images using polarization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, December 8-14, 2001, Kauai, HI, USA. New York: IEEE, 2001: 325- 332.
[15] Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525.
[17] Liang J, Ren L Y, Ju H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17): 173107.
[18] Liang J, Ren L Y, Ju H J, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization[J]. Optics Express, 2015, 23(20): 26146-26157.
[19] Zhang W F, Liang J, Ju H J, et al. A robust haze-removal scheme in polarimetric dehazing imaging based on automatic identification of sky region[J]. Optics & Laser Technology, 2016, 86: 145-151.
[20] Huang B J, Liu T G, Hu H F, et al. Underwater image recovery considering polarization effects of objects[J]. Optics Express, 2016, 24(9): 9826-9838.
[21] Mudge J, Virgen M. Real time polarimetric dehazing[J]. Applied Optics, 2013, 52(9): 1932-1938.
[22] Zhang W F, Liang J, Ren L Y, et al. Real-time image haze removal using an aperture-division polarimetric camera[J]. Applied Optics, 2017, 56(4): 942-947.
[23] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 122602.
[24] 杨力铭, 梁健, 张文飞, 等. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.
[25] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.
[26] Xiao C X, Gan J J. Fast image dehazing using guided joint bilateral filter[J]. The Visual Computer, 2012, 28(6/7/8): 713-721.
[27] WeiS, LongH. A new fast single-image defog algorithm[C]∥2013 Third International Conference on Intelligent System Design and Engineering Applications, January 16-18, 2013, Hong Kong, China. New York: IEEE, 2013: 116- 119.
[28] Ramya C. Rani D S S. Contrast enhancement for fog degraded video sequences using BPDFHE[J]. International Journal of Computer Science and Information Technology, 2012, 3(2): 3463-3468.
[29] Xu ZY, Liu XM, Chen XN. Fog removal from video sequences using contrast limited adaptive histogram equalization[C]∥2009 International Conference on Computational Intelligence and Software Engineering, December 11-13, 2009, Wuhan, China. New York: IEEE, 2009: 5366207.
[30] Lin Z Q. Dehazing for image and video using guided filter[J]. Open Journal of Applied Sciences, 2012, 2(4): 123-127.
[31] Goldstein DH. Polarized light[M]. 3rd ed. Boca Raton: Taylor & Francis Group, 2011.
[32] EbnerM. Colour constancy[M]. Hoboken: John Wiley & Sons, Inc.2007.
张文飞, 满忠胜, 葛筱璐, 邢飞, 付圣贵. 一种快速实现的偏振光学去雾方法[J]. 激光与光电子学进展, 2019, 56(14): 141103. Wenfei Zhang, Zhongsheng Man, Xiaolu Ge, Fei Xing, Shenggui Fu. Fast Dehazing Method Based on Polarization Optics[J]. Laser & Optoelectronics Progress, 2019, 56(14): 141103.