激光与光电子学进展, 2019, 56 (14): 141103, 网络出版: 2019-07-12   

一种快速实现的偏振光学去雾方法 下载: 1210次

Fast Dehazing Method Based on Polarization Optics
作者单位
山东理工大学物理与光电工程学院, 山东 淄博 255000
摘要
基于HSI(Hue, Saturation and Intensity)颜色空间提出一种快速偏振光学去雾方法。利用HSI颜色空间中强度与颜色无关的优势,在强度通道中利用偏振光学去雾方法进行去雾处理,然后利用颜色恒常性校正方法对图像的颜色畸变进行校正。该技术不仅具有良好的图像细节恢复能力,还有效地提高了偏振光学去雾方法的计算效率。与目前流行的去雾方法进行对比后可知,该技术可以得到更好或者相同的实验效果,但其执行效率更高。所提出的方法在图像实时去雾和视频去雾领域有广阔的应用前景。
Abstract
We propose a fast polarimetric dehazing method based on the hue, saturation, and intensity color space. Because the intensity is unrelated to color in the HSI color space, the proposed method is used to dehaze the intensity channel of an image, while its color distortion is corrected using a color-constancy method. This method not only shows good image-information restoration capacity but also increases the dehazing efficiency. Compared with the existing dehazing methods, the proposed method can obtain the same or better experimental results and has higher execution efficiency. Our proposed method has potential in applications for real-time haze removal in images and videos.

1 引言

雾霾是一种常见的大气自然现象,其中悬浮着大量的水滴、灰尘、金属颗粒等散射介质。在雾霾环境中成像时,大气颗粒不仅会散射和吸收目标光,还会散射大气照明光,并使其混入到目标光中[1-2]。因此,在雾霾环境中拍摄的图像通常表现出低对比度、低能见度和颜色畸变的特点,这对于户外应用的机器和视觉系统来说是致命的。发展新的图像去雾方法极其重要,尤其是用于图像和视频实时去雾的快速去雾方法。

由于该技术的急切需求,新型图像去雾方法已经得到了快速发展,这些技术根据其基本原理可以分为以下几种,对比度增强[3]、先验和假设[4-10]、融合[11-13]和偏振[14-25]。其中,对比度增强技术试图增强整幅图像的对比度,表现出较高的计算效率,但是这种技术忽略了图像的景深信息,通常不能得到满意的去雾结果[3]。先验和假设去雾方法基于一定的先验知识或假设信息,根据图像的物理模型来复原目标光,能得到较为理想的去雾效果,但是从单幅图像中提取多个参数需要较为复杂的算法,因此该技术很难应用在实时图像去雾领域[4-10]。为了提高计算效率,研究人员提出了一些技术来降低计算的复杂性[26-30],但是这些简化的算法很难获得与原始技术相当的去雾效果。融合去雾方法是通过融合近红外图像和可见光图像来达到去雾目的的一种技术。近红外光受到的散射较少,因此在雾霾中的传播距离远大于可见光。近红外图像可以表现出良好的能见度,而可见光图像则包含了场景的颜色信息。因此,融合去雾方法不仅可以增强能见度,而且可以恢复良好的场景颜色信息。融合去雾方法的主要局限是近红外图像和可见光图像的同时获取较为困难,同时,融合算法的计算效率也是一个很大的挑战[11-13]。偏振光学去雾方法是在过去十年中发展起来的一种新型去雾方法。大气光经雾霾颗粒多次散射后所形成的大气散射光为部分线偏振光,根据此特性利用多幅具有不同偏振态的雾霾图像可以估算出大气散射光的强度,从而复原出目标光强度[14-25]。偏振光学去雾方法在细节恢复、颜色还原方面有较大的优势,目前已经广泛应用于图像去雾、水下图像增强和医疗诊断等方面。对于彩色图像,目前的偏振光学去雾方法均是在红、绿和蓝三颜色通道中各执行一遍去雾过程,从而阻碍了其计算效率的进一步提高。

为了提高偏振光学去雾方法对彩色图像的计算效率,本文提出一种基于HSI(Hue, Saturation and Intensity)颜色空间的快速偏振光学去雾方法。在HSI颜色空间中,强度通道只与RGB(Red, Green and Blue)颜色空间中的红、绿和蓝三通道的强度相关,所以可以只在强度通道中进行一次去雾操作。颗粒对不同波长散射造成的颜色畸变通过颜色恒常性校正方法进行校正。实验表明,该技术具有良好的去雾效果,同时计算效率得到大幅度提高,在实时去雾领域有较为重要的作用。

2 基本原理

2.1 偏振光学去雾方法理论模型

雾霾中的图像成像模型如图1所示[1-2],探测器接收到的总强度I可以表示为

I(x,y)=L(x,y)·t(x,y)+A(x,y),(1)

式中:L为在没有任何衰减状态下的目标光强度;t为场景透射率,其与场景的景深有关;L·t为衰减后的目标光强度,也称为直接透射光D,即

D(x,y)=L(x,y)·t(x,y);(2)

A为大气散射光光强,它是大气照明光经雾霾颗粒散射后形成的,可以表示为

A(x,y)=A[1-t(x,y)],(3)

其中 A代表一个目标在无穷远处时的光强,即无穷远处的大气光强,对于一个固定场景来说这是一个常量。联合(1)~(3)式,去雾图像可以表示为

L(x,y)=I(x,y)-A(x,y)1-A(x,y)/A(4)

由雾霾环境中的成像模型可以看出,雾霾图像对比度降低的主要原因是目标光的衰减和大气散射光的混入,使得本来就很弱的目标光被大气散射光所淹没。因此,偏振光学去雾过程的关键步骤是估算大气散射光光强,然后根据景深信息还原目标光光强。幸运的是,大气散射光是部分偏振光,基于此条件,大气散射光光强可以通过具有不同线偏振态的多幅图像进行估算得出。

图 1. 雾霾环境中成像模型示意图

Fig. 1. Diagram of imaging model in haze environment

下载图片 查看所有图片

为了估算大气散射光光强,首先需要拍摄4幅包含相同场景的偏振图像,分别使偏振化方向为0°、45°、90°、135°,这4幅图像的强度分别表示为I0(x,y)、I45(x,y)、I90(x,y)和I135(x,y)。该场景的线Stokes矢量可以表示为[31]

S0(x,y)=I0(x,y)+I90(x,y)S1(x,y)=I0(x,y)-I90(x,y)S2(x,y)=I45(x,y)-I135(x,y),(5)

式中:S0代表场景总光强;S1表示水平竖直方向场景线偏振光强度差;S2表示45°与135°方向场景线偏振光强度差。根据 (5) 式,场景的偏振度和偏振角分别表示为

p(x,y)=S12(x,y)+S22(x,y)S0(x,y)6

θ(x,y)=12arctanS2(x,y)S1(x,y)(7)

场景的偏振度和偏振角在整个场景中因像素点的不同而不同,但大气散射光的偏振度(pA)和偏振角(θA)对固定场景来说都是常量,其值可以利用没有目标光区域(即天空区域)的像素强度进行估算,天空区域的像素可以通过所提出的自动识别算法来确定[19]

为表示简便,定义0°和90°方向分别对应xy轴。大气散射光的偏振部分光强表示为Ap,因此大气散射光在x方向和y方向的偏振部分光强可以分别表示为

Apx(x,y)=Ap(x,y)·cos2θAApy(x,y)=Ap(x,y)·sin2θA,(8)

同时,考虑到Apx和Apy也可以表示为

Apx(x,y)=I0(x,y)-S0(x,y)[1-p(x,y)]/2Apy(x,y)=I90(x,y)-S0(x,y)[1-p(x,y)]/2,(9)

式中:p(x,y)对应整幅图像中每个像素点目标光和大气散射光强度总和的偏振度。联合(8)式和(9)式可以求出

Ap(x,y)=I0(x,y)-S0(x,y)[1-p(x,y)]/2cos2θA=I90(x,y)-S0(x,y)[1-p(x,y)]/2sin2θA(10)

然后,大气散射光光强A可以利用公式A(x,y)=Ap(x,y)/pA求得。

最后,根据(4)式可以求得去雾后的图像强度。对于彩色图像,这个去雾过程会在三颜色通道中各执行一遍,这也是目前偏振光学去雾方法效率较低的主要原因。

2.2 HSI颜色空间

HSI颜色空间是以人类视觉系统对颜色的理解角度进行描述的,更符合人眼观察的效果,因此HSI颜色空间是目前在计算机视觉处理算法领域应用较为广泛的一种颜色空间[32]。 雾霾的主要影响是散射产生的额外大气散射光,它在强度通道中淹没目标光,降低图像对比度。另外,散射系数对波长的依赖性导致雾霾图像的颜色发生畸变,在HSI颜色空间中表现为饱和度通道的改变。因此,在HSI颜色空间中,可以利用偏振光学去雾方法对强度通道进行去雾处理,此过程只需要进行一次,雾霾图像的颜色畸变可以通过一个颜色恒常性校正方法进行校正。

根据RGB与HSI颜色空间的关系将雾霾图像从RGB颜色空间变换至HSI颜色空间后,对强度通道利用偏振光学去雾算法进行去雾处理,然后将图像从HSI颜色空间再转换至RGB颜色空间。利用颜色恒常性校正方法对去雾后图像的颜色畸变进行校正,得到颜色恢复后的理想去雾图像,在本方法中使用White Patch Retinex方法,其具有较高的计算效率和良好的恢复效果,适用于实时图像去雾方法。整个去雾方法的流程如图2所示。

图 2. 本文提出的去雾方法流程图

Fig. 2. Flow chart of proposed dehazing method

下载图片 查看所有图片

3 实验结果与分析

3.1 实验结果

在本部分给出一些实验结果来验证本技术的有效性。首先,在一个彩色相机的镜头前放置一个线偏振片,然后分别使偏振片的偏振化方向位于0°、 45°、90° 和135°方向拍摄4幅雾霾图像,如图3所示。

图4(d) 给出了采用本技术处理后的去雾图像。为了证明本技术的通用性,图4给出了不同场景下雾霾图像的去雾结果。同时,为了比较本技术的去雾性能,利用Tarel提出的快速去雾方法[5]和RGB颜色空间的偏振光学去雾方法(RGB PDM)[19]对雾霾图像进行了处理。

3.2 客观评价和讨论

为了客观地评价不同去雾方法的去雾能力,常使用一定的客观评价函数对去雾结果进行评价。由于雾霾天气下很难拍摄同一场景晴朗天气条件下的图像作为参考来评价去雾效果,因此去雾效果的评价一般都是使用无参考图像质量评价函数进行,在这里选择NIQE(Natural Image Quality Evaluator)函数[33],这是一种完全无参考的图像质量评价函数,可以综合评价图像的质量,一般包括噪声、对比度、图像细节和能见度等。图像的质量表示为待测试图像的MVG值和自然图像MVG值的距离,因此数值越小图像质量越好,去雾图像质量评价结果如表1所示。

图 3. 4幅具有不同偏振态的雾霾图像。(a) 0°;(b) 45°;(c) 90° ;(d) 135°

Fig. 3. Four hazy images with different polarization states. (a) 0°; (b) 45°; (c) 90° ; (d) 135°

下载图片 查看所有图片

图 4. 去雾结果。(a)雾霾图像;(b) Tarel's;(c) RGB PDM;(d)本文方法

Fig. 4. Dehazing results. (a) Hazy images; (b) Tarel's; (c) RGB PDM; (d) proposed method

下载图片 查看所有图片

表 1. 不同去雾方法的去雾结果质量评价对比结果

Table 1. Comparison of image dehazing qualities handled with different dehazing methods

No.HazyTarel'sRGB PDMOur method
Scene 17.34875.08394.79364.1763
Scene 28.04395.63924.83864.9634
Scene 37.33984.96994.76314.9645
Scene 46.91465.79005.37693.2395

查看所有表

表1可以看出,偏振光学去雾方法的去雾能力明显优于单幅图像去雾方法,这是由于偏振光学去雾方法需要多幅雾霾图像作为输入,多幅图像包含了更多的目标光信息,更有利于区分目标光信息和噪声,这也是多幅图像去雾方法的固有优势。本文提出的去雾方法可以得到与RGB颜色空间中的偏振光学去雾方法基本相同的去雾结果,证明了所提去雾方法的去雾能力。

为了直观展示不同去雾方法的计算效率,对不同去雾方法的计算时间进行了测试,测试在计算机上进行,其配置为Inter(R) Core(TM) i3-4160 CPU @3.60 GHz处理器和4 GB内存。测试结果如表2所示,可知,本文所提方法的计算效率优于Tarel技术,在计算效率方面完全可以达到快速实时图像去雾的需求。

表 2. 不同去雾方法所消耗时间

Table 2. Consuming time of different dehazing methods

No.Size(h×w)Time /s
TarelRGB PDMOur method
Scene 1727×115035.4886.2730.99
Scene 2950×130068.85140.3152.91
Scene 3970×130069.71142.5352.96
Scene 4690×118038.9888.1231.27

查看所有表

总体考虑去雾能力和计算效率后可知,本文提出的去雾方法优于其他去雾方法,该方法是一种可以用于雾霾图像对比度增强、细节恢复有效且高效率的快速去雾方法。

4 结论

提出了一种新型的偏振光学去雾方法,该技术的去雾过程在HSI颜色空间中完成,这样只需要执行一次偏振光学去雾过程,就可以将传统RGB颜色空间中的偏振光学去雾方法效率有效提高。对比实验表明,该技术在获得良好去雾效果的同时,计算效率也得到了大幅提高,与部分单幅去雾方法的计算效率相当,是传统RGB偏振光学去雾方法计算效率的3倍。该技术可以有效应用于图像实时去雾和视频去雾领域。

参考文献

[1] Henry R C, Mahadev S, Urquijo S, et al. Color perception through atmospheric haze[J]. Journal of the Optical Society of America A, 2000, 17(5): 831-835.

[2] Narasimhan S G, Nayar S K. Vision and the atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254.

[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.

[4] Tan RT. Visibility in bad weather from a single image[C]∥2008 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2008, Anchorage, AK, USA. New York: IEEE, 2008: 4587643.

[5] Tarel JP, HautièreN. Fast visibility restoration from a single color or gray level image[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29 - October 2 ,2009, Kyoto, Japan. New York: IEEE, 2009: 2201- 2208.

[6] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[7] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, December 1-8 ,2013, Sydney, NSW, Australia. New York: IEEE, 2013: 617- 624.

[8] Lu H M, Li Y J, Nakashima S, et al. Single image dehazing through improved atmospheric light estimation[J]. Multimedia Tools and Applications, 2016, 75(24): 17081-17096.

[9] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.

    Zeng Z Y, Zhou Y T, Chi Y, et al. Dark channel prior dehazing algorithm based on sky optimization of digital image[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081010.

[10] 郭翰, 徐晓婷, 李博. 基于暗原色先验的图像去雾方法研究[J]. 光学学报, 2018, 38(4): 0410002.

    Guo H, Xu X T, Li B. Study on image dehazing methods based on dark channel prior[J]. Acta Optica Sinica, 2018, 38(4): 0410002.

[11] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[12] FengC, Zhuo SJ, Zhang XP, et al. Near-infrared guided color image dehazing[C]∥2013 IEEE International Conference on Image Processing, September 15-18,2013, Melbourne, VIC, Australia. New York: IEEE, 2013: 2363- 2367.

[13] Liang J, Zhang W F, Ren L Y, et al. Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion[J]. Applied Optics, 2016, 55(29): 8221-8226.

[14] Schechner YY, Narasimhan SG, Nayar SK. Instant dehazing of images using polarization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, December 8-14, 2001, Kauai, HI, USA. New York: IEEE, 2001: 325- 332.

[15] Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525.

[16] Liang J, Ren L Y, Qu E S, et al. Method for enhancing visibility of hazy images based on polarimetric imaging[J]. Photonics Research, 2014, 2(1): 38-44.

[17] Liang J, Ren L Y, Ju H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17): 173107.

[18] Liang J, Ren L Y, Ju H J, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization[J]. Optics Express, 2015, 23(20): 26146-26157.

[19] Zhang W F, Liang J, Ju H J, et al. A robust haze-removal scheme in polarimetric dehazing imaging based on automatic identification of sky region[J]. Optics & Laser Technology, 2016, 86: 145-151.

[20] Huang B J, Liu T G, Hu H F, et al. Underwater image recovery considering polarization effects of objects[J]. Optics Express, 2016, 24(9): 9826-9838.

[21] Mudge J, Virgen M. Real time polarimetric dehazing[J]. Applied Optics, 2013, 52(9): 1932-1938.

[22] Zhang W F, Liang J, Ren L Y, et al. Real-time image haze removal using an aperture-division polarimetric camera[J]. Applied Optics, 2017, 56(4): 942-947.

[23] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 122602.

    Zhang S, Zhan J T, Fu Q, et al. Polarization detection defogging technology based on multi-wavelet fusion[J]. Laser & Optoelectronics Progress, 2018, 55(12): 122602.

[24] 杨力铭, 梁健, 张文飞, 等. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.

    Yang L M, Liang J, Zhang W F, et al. Underwater polarimetric imaging target enhancement technology based on unpolarized illumination[J]. Acta Optica Sinica, 2018, 38(6): 0611003.

[25] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.

    Liang J, Ju H J, Zhang W F, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica, 2017, 37(4): 0400001.

[26] Xiao C X, Gan J J. Fast image dehazing using guided joint bilateral filter[J]. The Visual Computer, 2012, 28(6/7/8): 713-721.

[27] WeiS, LongH. A new fast single-image defog algorithm[C]∥2013 Third International Conference on Intelligent System Design and Engineering Applications, January 16-18, 2013, Hong Kong, China. New York: IEEE, 2013: 116- 119.

[28] Ramya C. Rani D S S. Contrast enhancement for fog degraded video sequences using BPDFHE[J]. International Journal of Computer Science and Information Technology, 2012, 3(2): 3463-3468.

[29] Xu ZY, Liu XM, Chen XN. Fog removal from video sequences using contrast limited adaptive histogram equalization[C]∥2009 International Conference on Computational Intelligence and Software Engineering, December 11-13, 2009, Wuhan, China. New York: IEEE, 2009: 5366207.

[30] Lin Z Q. Dehazing for image and video using guided filter[J]. Open Journal of Applied Sciences, 2012, 2(4): 123-127.

[31] Goldstein DH. Polarized light[M]. 3rd ed. Boca Raton: Taylor & Francis Group, 2011.

[32] EbnerM. Colour constancy[M]. Hoboken: John Wiley & Sons, Inc.2007.

[33] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

张文飞, 满忠胜, 葛筱璐, 邢飞, 付圣贵. 一种快速实现的偏振光学去雾方法[J]. 激光与光电子学进展, 2019, 56(14): 141103. Wenfei Zhang, Zhongsheng Man, Xiaolu Ge, Fei Xing, Shenggui Fu. Fast Dehazing Method Based on Polarization Optics[J]. Laser & Optoelectronics Progress, 2019, 56(14): 141103.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!