激光与光电子学进展, 2020, 57 (6): 061102, 网络出版: 2020-03-06   

基于离散余弦变换金字塔分解的新型偏振光学去雾技术 下载: 1294次

Novel Polarimetric Dehazing Method Using Discrete Cosine Transform Based Laplacian Pyramid
作者单位
1 山东理工大学物理与光电工程学院, 山东 淄博 255000
2 陕西师范大学物理学与信息技术学院, 陕西 西安 710119
摘要
偏振光学去雾技术具有细节恢复好、颜色还原度高的优点。为了进一步提高偏振光学去雾技术的去雾能力,提出了一种新型偏振光学去雾技术,该技术利用离散余弦变换构建图像金字塔,再构建图像拉普拉斯金字塔,利用传统偏振光学去雾技术对图像拉普拉斯金字塔的每一级进行去雾处理,使用去雾后的拉普拉斯金字塔重建得到去雾后图像。实验结果表明,与传统偏振光学去雾技术相比,该技术可以得到相当或更好的去雾效果,表现出良好的图像去雾能力,对于偏振光学去雾技术的进一步优化具有一定意义。
Abstract
Polarimetric dehazing methods have shown advantages of excellent detail recovery capacity and color restoration. To improve the dehazing capacity of polarimetric dehazing methods, we propose a new polarimetric dehazing method. It utilizes discrete cosine transform to construct the image pyramid and then build the Laplacian pyramid. Each level of the Laplacian pyramid is dehazed by the polarimetric dehazing method, and the dehazed image is reconstructed from the handled Laplacian pyramid. The experiment results show that compared with the traditional polarization optical dehazing method, the proposed method can achieve the comparable or better dehazing images, and shows good dehazing capacity. The proposed method is significant for the further improvement of polarimetric dehazing method.

1 引言

雾、霾等天气现象是常见的大气自然现象,由大量悬浮的水蒸气、灰尘和金属颗粒等散射介质形成。在这种环境中对目标成像时,悬浮颗粒对目标光具有散射和吸收作用,使其衰减,同时也会散射大气照明光使其混入目标光中[1-2],因此,图像通常表现出低能见度、低对比度和颜色信息丢失或畸变的特点,这对于所有依赖于成像系统的户外设备或系统都是致命的。鉴于此,发展有效改善图像质量的图像去雾技术极为迫切。

由于图像去雾技术的急切需求和广泛应用,图像去雾技术得到了快速发展,根据其基本原理的不同可以分为对比度增强技术[3]、先验和假设的图像复原技术[4-9]、可见和红外融合去雾技术[10]和偏振光学去雾技术[11-22]。其中,对比度增强技术以整幅图像为目标增强其对比度,计算效率较高,但其忽略了图像的景深和局部信息,通常去雾效果较差[3]。由于单幅图像不能同时分离多个变量,因此先验和假设图像复原技术均是基于一定的先验知识或假设信息,根据图像的物理模型复原目标,去雾效果较为理想,但算法较为复杂,计算效率低是阻碍其进一步发展的重要因素[4-9]。可见和红外融合去雾技术通过融合近红外图像和可见光图像来凸显目标。近红外光由于波长较长受到的散射较少,所以在散射介质中其传播距离远大于可见光,近红外图像表现出良好的能见度,同时可见光图像包含了场景的颜色信息。因此,融合去雾技术在提高能见度的同时可以有效地恢复场景颜色信息,主要困难在于同时获取包含相同场景的近红外图像和可见光图像,同时,融合算法较复杂,如何提高其计算效率是很大的挑战[10]。偏振光学去雾技术是过去十多年中快速发展的一种新型去雾技术,基本原理是基于照明光经散射颗粒散射时遵循Mie散射理论,形成的大气散射光具有部分线偏振特性,根据其偏振特性利用不同偏振态的雾霾图像估算出大气散射光光强,复原出目标光强度[11-22]。偏振光学去雾技术具有细节恢复好、颜色还原度高的优势,目前已经广泛应用在图像去雾、水下图像增强和医疗诊断等方面。然而,进一步提高偏振光学去雾技术需要结合图像处理算法,如结合小波变换对低频进行去雾的偏振去雾技术[23]、利用融合算法对去雾后可见图像和红外图像进行融合的去雾技术[24]

为了进一步提高偏振光学去雾技术的去雾效果,本文提出了一种基于离散余弦变换(DCT)构造图像拉普拉斯金字塔的新型偏振光学去雾技术。图像拉普拉斯金字塔是在图像处理领域广泛应用的一种图像分离技术,可将图像分为具有不同分辨率的多级进行进一步处理。本文提出的技术先利用DCT进行采样构建图像金字塔,再构建图像拉普拉斯金字塔,利用偏振光学去雾算法对拉普拉斯金字塔的每一级图像进行去雾处理,最后用去雾后的拉普拉斯金字塔重建图像,得到最终去雾后图像。实验结果表明,该技术表现出良好的图像去雾效果。

2 基本原理

2.1 离散余弦变换

DCT是在信号和图像处理中重要性仅次于傅里叶变换(FT)的一种正交变换。FT需要进行复数运算,限制了其运算速度,而DCT是一种实数域的变换,其效率更高,因此应用广泛。一幅M×N像素图像的二维DCT可表示为[25-26]

Z(u,v)=(u)(v)x=0M-1y=0N-1z(x,y)cosπ(2x+1)u2Mcosπ(2y+1)v2N,0uM-1,0vN-1,(1)

其逆离散余弦变换(IDCT)可表示为[25-26]

z(x,y)=u=0M-1v=0N-1(u)(v)Z(u,v)cosπ(2x+1)u2Mcosπ(2y+1)v2N,0xM-1,0yN-1,(2)

式中:∂(u),∂(v)为离散频率变量;(x,y)为坐标点位置。

2.2 拉普拉斯金字塔

图 1. 图像金字塔示意图

Fig. 1. Schematic of image pyramid

下载图片 查看所有图片

图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像的集合,级数越高图像分辨率越低,如图1所示。图像金字塔中,由上一级到下一级的采样可以使用不同的变换或滤波器完成,如使用高斯滤波器采样构建的金字塔叫做高斯金字塔。在本文算法中使用DCT构建金字塔,下采样函数R和重建函数E分别记为

gk=R(gk-1),(3)gk=E(gk+1)(4)

利用图像金字塔构建拉普拉斯金字塔,原理如图2(a)所示,图中{g0,g1,g2,…,gk-1,gk}是基于DCT构建的图像金字塔,拉普拉斯金字塔的第k级图像由原始的第k级图像和第k+1级图像重建后的图像相减得到,其过程如图3所示,计算过程为

gk+1=R(gk),(5)lk=gk-E(gk+1)(6)

图2(a)中{l0,l1,l2,…,lk-1,gk}即为基于DCT的拉普拉斯金字塔。金字塔的重建过程如图2(b)所示,由上一级重建函数与本级残差求和得到当前级图像,不断迭代,直至图像重建完成。

gk-1=lk-1+E(gk)(7)

图4(a)和4(b)分别给出了一幅图像的5级金字塔图像和拉普拉斯金字塔图像。

图 2. 拉普拉斯金字塔构建和重建流程图。(a)构建过程;(b)重建过程

Fig. 2. Flowchart of Laplacian pyramid construction and reconstruction. (a) Construction; (b) reconstruction

下载图片 查看所有图片

图 3. 拉普拉斯金字塔第2级构建过程。(a)图像金字塔第2级图像;(b)图像金字塔第3级图像;(c)图像金字塔第3级图像重建后图像;(d)拉普拉斯金字塔第2级图像

Fig. 3. Schematic of the construction for the second level in Laplacian pyramid. (a) The second level of image pyramid; (b) the third level of image pyramid; (c) expanded image of the third level of image pyramid; (d) the second level of Laplacian pyramid

下载图片 查看所有图片

图 4. 金字塔图像。(a)图像金字塔;(b)拉普拉斯金字塔

Fig. 4. Images of pyramid. (a) Image pyramid; (b) Laplacian pyramid

下载图片 查看所有图片

2.3 偏振光学去雾理论模型

雾霾环境中的图像成像模型如图5所示[1-2]。相机接收到的总光强I=Lt+A,其中,LtA分别为直接透射光和大气散射光的光强;L为不存在雾霾时的目标光强度,是去雾过程想要得到的强度;t为场景透射率,表示目标光可以到达探测器的比例,由场景景深决定;A= A(1-t), A为一个目标在无穷远处时的光强,即无穷远处大气光强,对特定场景来说是一个常量[16]。因此,去雾图像的强度为

L=I-A1-A/A(8)

图5可以看到,雾霾图像对比度降低的主要原因是大气散射光的混入和目标光的衰减,使得衰减后很微弱的目标光被大气散射光淹没。因此,图像去雾过程的关键步骤是估算大气散射光的光强并将其扣除,根据景深信息还原目标光光强。大气散射光在形成过程中的散射特性符合Mie散射理论,具有部分偏振光特性,偏振光学去雾技术正是利用此特性,通过具有不同线偏振态的多幅图像估算大气散射光光强。

为了估算大气散射光光强,一般需要三幅或四幅包含相同场景的偏振图像,本文方法中使用四幅图像。拍摄图像时偏振方向分别为0°, 45°, 90°和135°,图像的强度分别记为I0,I45,I90I135。该场景的线Stokes矢量可以写为[27]

S0=I0+I90S1=I0-I90S2=I45-I135,(9)

图 5. 雾霾环境中目标成像模型

Fig. 5. Schematic of the imaging model in haze

下载图片 查看所有图片

式中:S0为场景总光强;S1为水平竖直方向线偏振光强度差;S2为45°与135°方向线偏振光强度差。根据Stokes矢量定义,场景的偏振度和偏振角分别为

p=S12+S22/S0,(10)θ=arctan(S2/S1)/2(11)

(10)式和(11)式定义的偏振度和偏振角与整个场景的像素点分别对应,但大气散射光的偏振度(pA)和偏振角(θA)对某个时刻的特定场景来说都是常量,其值可以利用天空区域的像素强度进行估算,天空区域通过自动识别算法来确定[16]

得到大气散射光偏振度pA和偏振角θA后,便可以求得大气散射光光强A。定义0°和90°方向分别对应xy轴。大气散射光的偏振部分光强表示为Ap,因此大气散射光在x方向和y方向的偏振部分光强可以表示为[13]

Apx=Ap·cos2θAApy=Ap·sin2θA(12)

ApxApy可以表示为

Apx=I0-S0(1-p)/2Apy=I90-S0(1-p)/2,(13)

式中:p为图像中各像素点目标光和大气散射光总光强的偏振度。联合(12)式和(13)式可以求出Ap,即

Ap=I0-S0(1-p)/2cos2θA=I90-S0(1-p)/2sin2θA(14)

大气散射光光强A可以利用公式A=Ap/pA求得。最后,通过(8)式即可得到去雾后图像。

本文方法先利用DCT构建拉普拉斯金字塔,再利用偏振光学去雾技术对拉普拉斯金字塔的每一级图像进行去雾处理,最后将其重建得到去雾后图像。

3 实验结果与讨论

3.1 实验结果

通过一些实验结果证明所提方法的有效性。先改装一个普通的彩色相机镜头,放置一个可以360°旋转的线偏振片,再拍摄四幅包含同一场景但具有不同偏振态的雾霾图像,偏振方向分别为0°, 45°, 90° 和135°,雾霾图像如图6所示。

为了证明各去雾技术的通用性,对不同场景下的雾霾图像进行处理,去雾结果如图7所示。图7(d)为所提方法处理得到的去雾效果图。为了对比所提方法去雾性能,利用对比度增强技术的代表,即Jobson等[3]提出的MSRCR(multiscale retinex for colour restoration)去雾技术,和图像复原技术的代表,即He等[5]提出的DCP(dark channel prior)去雾技术,处理雾霾图像。

图 6. 不同偏振态的雾霾图像。(a) I0;(b) I45;(c) I90;(d) I135

Fig. 6. Hazy images with different polarization states. (a) I0; (b) I45; (c) I90; (d) I135

下载图片 查看所有图片

图 7. 不同方法的去雾结果。(a)雾霾图像;(b) MSRCR;(c) DCP;(d)本文方法

Fig. 7. Dehazing results by different methods. (a) Hazy images; (b) MSRCR; (c) DCP; (d) proposed method

下载图片 查看所有图片

3.2 客观评价和讨论

图7可以看到,不同的去雾技术均可有效增强图像质量,使能见度得到改善。为了更直观、客观地评价不同去雾技术的去雾能力,利用客观图像质量评价函数比较去雾结果,去雾效果评价时一般使用无参考图像质量评价函数,这里选用对比度函数和自然图像质量评价指数(NIQE)作为评价指标。对比度计算公式为

C(I)=x,yI(x,y)-I-2/NI-,(15)

式中:N为图像的总像素数; I-为图像的平均强度;I(x,y)为像素点(x,y)的强度值。对比度值越大代表图像质量越好,评价结果如表1所示。NIQE可以综合评价图像的质量,一般包括噪声、对比度、图像细节和能见度等方面,数值越小代表图像质量越好[28],评价结果如表2所示。由表1表2可以看到,偏振光学去雾技术的去雾能力明显优于MSRCR技术和DCP技术,证明了所提去雾技术具有较强的去雾能力。

表 1. 不同去雾方法的对比度结果

Table 1. Contrast results of different dehazing methods

SceneHazyMSRCRDCPProposedmethod
10.26250.35100.53060.6672
20.16350.29670.31010.3507
30.07980.26430.22140.2975

查看所有表

表 2. 不同去雾方法的NIQE结果

Table 2. NIQE results of different dehazing methods

SceneHazyMSRCRDCPProposedmethod
18.04896.56726.88634.8386
26.91465.69195.65183.2395
37.30104.20695.69953.8386

查看所有表

4 结论

偏振光学去雾技术表现出良好的细节恢复和颜色还原能力,为了进一步优化偏振光学去雾技术的去雾能力,提出了一种结合图像处理算法和偏振光学去雾算法的新型去雾技术。先对雾霾图像利用DCT下采样构建图像金字塔,再构建多级拉普拉斯金字塔,利用偏振光学去雾算法对拉普拉斯金字塔的每一级图像进行处理,最后用处理后的拉普拉斯金字塔图像重建得到去雾后图像。对比实验结果表明,该技术可以获得良好的去雾效果,具有良好的去雾能力,对于偏振光学去雾技术的优化有一定意义。然而,新算法的引入会进一步增加该技术的复杂性,增加图像的处理时间,不利于偏振光学去雾技术在实时去雾领域的应用,这也是目前大多数图像去雾技术面临的重要障碍,因此发展更高效并可实时应用的图像去雾技术是未来重要的研究方向。

参考文献

[1] Henry R C, Mahadev S, Urquijo S, et al. Color perception through atmospheric haze[J]. Journal of the Optical Society of America A, 2000, 17(5): 831-835.

[2] Narasimhan S G, Nayar S K. Vision and the atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254.

[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.

[4] Tarel JP, HautiereN. Fast visibility restoration from a single color or gray level image[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29-October 2, 2009, Kyoto, Japan. New York: IEEE, 2009: 2201- 2208.

[5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[6] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, Australia. New York: IEEE, 2013: 617- 624.

[7] Lu H M, Li Y J, Nakashima S, et al. Single image dehazing through improved atmospheric light estimation[J]. Multimedia Tools and Applications, 2016, 75(24): 17081-17096.

[8] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.

    Zeng Z Y, Zhou Y T, Chi Y, et al. Dark channel prior dehazing algorithm based on sky optimization of digital image[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081010.

[9] 郭翰, 徐晓婷, 李博. 基于暗原色先验的图像去雾方法研究[J]. 光学学报, 2018, 38(4): 0410002.

    Guo H, Xu X T, Li B. Study on image dehazing methods based on dark channel prior[J]. Acta Optica Sinica, 2018, 38(4): 0410002.

[10] FengC, Zhuo SJ, Zhang XP, et al. Near-infrared guided color image dehazing[C]∥2013 IEEE International Conference on Image Processing, September 15-18, 2013, Melbourne, VIC, Australia. New York: IEEE, 2013: 2363- 2367.

[11] Schechner YY, Narasimhan SG, Nayar SK. Instant dehazing of images using polarization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, December 8-14, 2001, Kauai, HI, USA. New York: IEEE, 2001: 325- 332.

[12] Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525.

[13] Liang J, Ren L Y, Qu E S, et al. Method for enhancing visibility of hazy images based on polarimetric imaging[J]. Photonics Research, 2014, 2(1): 38-44.

[14] Liang J, Ren L Y, Ju H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17): 173107.

[15] Liang J, Ren L Y, Ju H J, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization[J]. Optics Express, 2015, 23(20): 26146-26157.

[16] Zhang W F, Liang J, Ju H J, et al. A robust haze-removal scheme in polarimetric dehazing imaging based on automatic identification of sky region[J]. Optics & Laser Technology, 2016, 86: 145-151.

[17] Huang B J, Liu T G, Hu H F, et al. Underwater image recovery considering polarization effects of objects[J]. Optics Express, 2016, 24(9): 9826-9838.

[18] Mudge J, Virgen M. Real time polarimetric dehazing[J]. Applied Optics, 2013, 52(9): 1932-1938.

[19] Zhang W F, Liang J, Ren L Y, et al. Real-time image haze removal using an aperture-division polarimetric camera[J]. Applied Optics, 2017, 56(4): 942-947.

[20] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 122602.

    Zhang S, Zhan J T, Fu Q, et al. Polarization detection defogging technology based on multi-wavelet fusion[J]. Laser & Optoelectronics Progress, 2018, 55(12): 122602.

[21] 杨力铭, 梁健, 张文飞, 等. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.

    Yang L M, Liang J, Zhang W F, et al. Underwater polarimetric imaging target enhancement technology based on unpolarized illumination[J]. Acta Optica Sinica, 2018, 38(6): 0611003.

[22] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.

    Liang J, Ju H J, Zhang W F, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica, 2017, 37(4): 0400001.

[23] Liu F, Cao L, Shao X P, et al. Polarimetric dehazing utilizing spatial frequency segregation of images[J]. Applied Optics, 2015, 54(27): 8116-8122.

[24] Liang J, Zhang W F, Ren L Y, et al. Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion[J]. Applied Optics, 2016, 55(29): 8221-8226.

[25] Ahmed N, Natarajan T. C-[J]. Rao K R. Discrete cosine transform. IEEE Transactions on Computers, 1974, 23(1): 90-93.

[26] Naidu V P S, Elias B. A novel image fusion technique using DCT based Laplacian pyramid[J]. International Journal of Inventive Engineering and Sciences ( IJIES), 2013.

[27] Goldstein DH. Polarized light[M]. 3rd ed. Boca Raton: CRC Press, 2011.

[28] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2012, 20(3): 209-212.

张文飞, 任立勇, 邢飞, 张芳, 葛筱璐, 王国梅, 付圣贵. 基于离散余弦变换金字塔分解的新型偏振光学去雾技术[J]. 激光与光电子学进展, 2020, 57(6): 061102. Wenfei Zhang, Liyong Ren, Fei Xing, Fang Zhang, Xiaolu Ge, Guomei Wang, Shenggui Fu. Novel Polarimetric Dehazing Method Using Discrete Cosine Transform Based Laplacian Pyramid[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061102.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!