基于离散余弦变换金字塔分解的新型偏振光学去雾技术 下载: 1294次
1 引言
雾、霾等天气现象是常见的大气自然现象,由大量悬浮的水蒸气、灰尘和金属颗粒等散射介质形成。在这种环境中对目标成像时,悬浮颗粒对目标光具有散射和吸收作用,使其衰减,同时也会散射大气照明光使其混入目标光中[1-2],因此,图像通常表现出低能见度、低对比度和颜色信息丢失或畸变的特点,这对于所有依赖于成像系统的户外设备或系统都是致命的。鉴于此,发展有效改善图像质量的图像去雾技术极为迫切。
由于图像去雾技术的急切需求和广泛应用,图像去雾技术得到了快速发展,根据其基本原理的不同可以分为对比度增强技术[3]、先验和假设的图像复原技术[4-9]、可见和红外融合去雾技术[10]和偏振光学去雾技术[11-22]。其中,对比度增强技术以整幅图像为目标增强其对比度,计算效率较高,但其忽略了图像的景深和局部信息,通常去雾效果较差[3]。由于单幅图像不能同时分离多个变量,因此先验和假设图像复原技术均是基于一定的先验知识或假设信息,根据图像的物理模型复原目标,去雾效果较为理想,但算法较为复杂,计算效率低是阻碍其进一步发展的重要因素[4-9]。可见和红外融合去雾技术通过融合近红外图像和可见光图像来凸显目标。近红外光由于波长较长受到的散射较少,所以在散射介质中其传播距离远大于可见光,近红外图像表现出良好的能见度,同时可见光图像包含了场景的颜色信息。因此,融合去雾技术在提高能见度的同时可以有效地恢复场景颜色信息,主要困难在于同时获取包含相同场景的近红外图像和可见光图像,同时,融合算法较复杂,如何提高其计算效率是很大的挑战[10]。偏振光学去雾技术是过去十多年中快速发展的一种新型去雾技术,基本原理是基于照明光经散射颗粒散射时遵循Mie散射理论,形成的大气散射光具有部分线偏振特性,根据其偏振特性利用不同偏振态的雾霾图像估算出大气散射光光强,复原出目标光强度[11-22]。偏振光学去雾技术具有细节恢复好、颜色还原度高的优势,目前已经广泛应用在图像去雾、水下图像增强和医疗诊断等方面。然而,进一步提高偏振光学去雾技术需要结合图像处理算法,如结合小波变换对低频进行去雾的偏振去雾技术[23]、利用融合算法对去雾后可见图像和红外图像进行融合的去雾技术[24]。
为了进一步提高偏振光学去雾技术的去雾效果,本文提出了一种基于离散余弦变换(DCT)构造图像拉普拉斯金字塔的新型偏振光学去雾技术。图像拉普拉斯金字塔是在图像处理领域广泛应用的一种图像分离技术,可将图像分为具有不同分辨率的多级进行进一步处理。本文提出的技术先利用DCT进行采样构建图像金字塔,再构建图像拉普拉斯金字塔,利用偏振光学去雾算法对拉普拉斯金字塔的每一级图像进行去雾处理,最后用去雾后的拉普拉斯金字塔重建图像,得到最终去雾后图像。实验结果表明,该技术表现出良好的图像去雾效果。
2 基本原理
2.1 离散余弦变换
DCT是在信号和图像处理中重要性仅次于傅里叶变换(FT)的一种正交变换。FT需要进行复数运算,限制了其运算速度,而DCT是一种实数域的变换,其效率更高,因此应用广泛。一幅M×N像素图像的二维DCT可表示为[25-26]
式中:∂(u),∂(v)为离散频率变量;(x,y)为坐标点位置。
2.2 拉普拉斯金字塔
图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像的集合,级数越高图像分辨率越低,如
利用图像金字塔构建拉普拉斯金字塔,原理如
图 2. 拉普拉斯金字塔构建和重建流程图。(a)构建过程;(b)重建过程
Fig. 2. Flowchart of Laplacian pyramid construction and reconstruction. (a) Construction; (b) reconstruction
图 3. 拉普拉斯金字塔第2级构建过程。(a)图像金字塔第2级图像;(b)图像金字塔第3级图像;(c)图像金字塔第3级图像重建后图像;(d)拉普拉斯金字塔第2级图像
Fig. 3. Schematic of the construction for the second level in Laplacian pyramid. (a) The second level of image pyramid; (b) the third level of image pyramid; (c) expanded image of the third level of image pyramid; (d) the second level of Laplacian pyramid
图 4. 金字塔图像。(a)图像金字塔;(b)拉普拉斯金字塔
Fig. 4. Images of pyramid. (a) Image pyramid; (b) Laplacian pyramid
2.3 偏振光学去雾理论模型
雾霾环境中的图像成像模型如
由
为了估算大气散射光光强,一般需要三幅或四幅包含相同场景的偏振图像,本文方法中使用四幅图像。拍摄图像时偏振方向分别为0°, 45°, 90°和135°,图像的强度分别记为I0,I45,I90和I135。该场景的线Stokes矢量可以写为[27]
式中:S0为场景总光强;S1为水平竖直方向线偏振光强度差;S2为45°与135°方向线偏振光强度差。根据Stokes矢量定义,场景的偏振度和偏振角分别为
(10)式和(11)式定义的偏振度和偏振角与整个场景的像素点分别对应,但大气散射光的偏振度(pA)和偏振角(θA)对某个时刻的特定场景来说都是常量,其值可以利用天空区域的像素强度进行估算,天空区域通过自动识别算法来确定[16]。
得到大气散射光偏振度pA和偏振角θA后,便可以求得大气散射光光强A。定义0°和90°方向分别对应x和y轴。大气散射光的偏振部分光强表示为Ap,因此大气散射光在x方向和y方向的偏振部分光强可以表示为[13]
Apx和Apy可以表示为
式中:p为图像中各像素点目标光和大气散射光总光强的偏振度。联合(12)式和(13)式可以求出Ap,即
大气散射光光强A可以利用公式A=Ap/pA求得。最后,通过(8)式即可得到去雾后图像。
本文方法先利用DCT构建拉普拉斯金字塔,再利用偏振光学去雾技术对拉普拉斯金字塔的每一级图像进行去雾处理,最后将其重建得到去雾后图像。
3 实验结果与讨论
3.1 实验结果
通过一些实验结果证明所提方法的有效性。先改装一个普通的彩色相机镜头,放置一个可以360°旋转的线偏振片,再拍摄四幅包含同一场景但具有不同偏振态的雾霾图像,偏振方向分别为0°, 45°, 90° 和135°,雾霾图像如
为了证明各去雾技术的通用性,对不同场景下的雾霾图像进行处理,去雾结果如
图 6. 不同偏振态的雾霾图像。(a) I0;(b) I45;(c) I90;(d) I135
Fig. 6. Hazy images with different polarization states. (a) I0; (b) I45; (c) I90; (d) I135
图 7. 不同方法的去雾结果。(a)雾霾图像;(b) MSRCR;(c) DCP;(d)本文方法
Fig. 7. Dehazing results by different methods. (a) Hazy images; (b) MSRCR; (c) DCP; (d) proposed method
3.2 客观评价和讨论
由
式中:N为图像的总像素数;
表 1. 不同去雾方法的对比度结果
Table 1. Contrast results of different dehazing methods
|
表 2. 不同去雾方法的NIQE结果
Table 2. NIQE results of different dehazing methods
|
4 结论
偏振光学去雾技术表现出良好的细节恢复和颜色还原能力,为了进一步优化偏振光学去雾技术的去雾能力,提出了一种结合图像处理算法和偏振光学去雾算法的新型去雾技术。先对雾霾图像利用DCT下采样构建图像金字塔,再构建多级拉普拉斯金字塔,利用偏振光学去雾算法对拉普拉斯金字塔的每一级图像进行处理,最后用处理后的拉普拉斯金字塔图像重建得到去雾后图像。对比实验结果表明,该技术可以获得良好的去雾效果,具有良好的去雾能力,对于偏振光学去雾技术的优化有一定意义。然而,新算法的引入会进一步增加该技术的复杂性,增加图像的处理时间,不利于偏振光学去雾技术在实时去雾领域的应用,这也是目前大多数图像去雾技术面临的重要障碍,因此发展更高效并可实时应用的图像去雾技术是未来重要的研究方向。
[1] Henry R C, Mahadev S, Urquijo S, et al. Color perception through atmospheric haze[J]. Journal of the Optical Society of America A, 2000, 17(5): 831-835.
[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.
[4] Tarel JP, HautiereN. Fast visibility restoration from a single color or gray level image[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29-October 2, 2009, Kyoto, Japan. New York: IEEE, 2009: 2201- 2208.
[6] Meng GF, WangY, Duan JY, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, Australia. New York: IEEE, 2013: 617- 624.
[7] Lu H M, Li Y J, Nakashima S, et al. Single image dehazing through improved atmospheric light estimation[J]. Multimedia Tools and Applications, 2016, 75(24): 17081-17096.
[8] 曾致远, 周亚同, 池越, 等. 天空优化的数字图像暗通道先验去雾算法[J]. 激光与光电子学进展, 2018, 55(8): 081010.
[9] 郭翰, 徐晓婷, 李博. 基于暗原色先验的图像去雾方法研究[J]. 光学学报, 2018, 38(4): 0410002.
[10] FengC, Zhuo SJ, Zhang XP, et al. Near-infrared guided color image dehazing[C]∥2013 IEEE International Conference on Image Processing, September 15-18, 2013, Melbourne, VIC, Australia. New York: IEEE, 2013: 2363- 2367.
[11] Schechner YY, Narasimhan SG, Nayar SK. Instant dehazing of images using polarization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001, December 8-14, 2001, Kauai, HI, USA. New York: IEEE, 2001: 325- 332.
[12] Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525.
[14] Liang J, Ren L Y, Ju H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17): 173107.
[15] Liang J, Ren L Y, Ju H J, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization[J]. Optics Express, 2015, 23(20): 26146-26157.
[16] Zhang W F, Liang J, Ju H J, et al. A robust haze-removal scheme in polarimetric dehazing imaging based on automatic identification of sky region[J]. Optics & Laser Technology, 2016, 86: 145-151.
[17] Huang B J, Liu T G, Hu H F, et al. Underwater image recovery considering polarization effects of objects[J]. Optics Express, 2016, 24(9): 9826-9838.
[18] Mudge J, Virgen M. Real time polarimetric dehazing[J]. Applied Optics, 2013, 52(9): 1932-1938.
[19] Zhang W F, Liang J, Ren L Y, et al. Real-time image haze removal using an aperture-division polarimetric camera[J]. Applied Optics, 2017, 56(4): 942-947.
[20] 张肃, 战俊彤, 付强, 等. 基于多小波融合的偏振探测去雾技术[J]. 激光与光电子学进展, 2018, 55(12): 122602.
[21] 杨力铭, 梁健, 张文飞, 等. 基于非偏振光照明的水下偏振成像目标增强技术[J]. 光学学报, 2018, 38(6): 0611003.
[22] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.
[23] Liu F, Cao L, Shao X P, et al. Polarimetric dehazing utilizing spatial frequency segregation of images[J]. Applied Optics, 2015, 54(27): 8116-8122.
[24] Liang J, Zhang W F, Ren L Y, et al. Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion[J]. Applied Optics, 2016, 55(29): 8221-8226.
[25] Ahmed N, Natarajan T. C-[J]. Rao K R. Discrete cosine transform. IEEE Transactions on Computers, 1974, 23(1): 90-93.
[26] Naidu V P S, Elias B. A novel image fusion technique using DCT based Laplacian pyramid[J]. International Journal of Inventive Engineering and Sciences ( IJIES), 2013.
[27] Goldstein DH. Polarized light[M]. 3rd ed. Boca Raton: CRC Press, 2011.
[28] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2012, 20(3): 209-212.
张文飞, 任立勇, 邢飞, 张芳, 葛筱璐, 王国梅, 付圣贵. 基于离散余弦变换金字塔分解的新型偏振光学去雾技术[J]. 激光与光电子学进展, 2020, 57(6): 061102. Wenfei Zhang, Liyong Ren, Fei Xing, Fang Zhang, Xiaolu Ge, Guomei Wang, Shenggui Fu. Novel Polarimetric Dehazing Method Using Discrete Cosine Transform Based Laplacian Pyramid[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061102.