分焦平面偏振图像插值算法的比较研究 下载: 1244次
1 引言
光有四个基本的物理特性,分别为强度、波长、偏振和相位[1]。自然界中有多种生物能够感知光的偏振特性,如昆虫、鲨鱼[2]。虽然人眼无法感知光的偏振信息,但人们借助偏振成像技术可以获取场景的偏振信息[3]。目前,偏振成像技术在工业检测[4]、水下目标探测[5]、去雾成像[6]等方面有潜在的应用价值,是相关领域的研究热点。
场景偏振信息的获取依赖偏振成像系统,目前偏振成像系统主要包括分时型[3]、分振幅型[7]、分孔径型[8-9]和分焦平面型[10-11]四类。分时型偏振成像系统通过在光路中增加可旋转的偏振片,在不同时刻获得不同偏振片旋转角度下的多幅偏振图像,再经过偏振解析处理得到偏振特征图像[12],该类系统只适用于静态场景;分振幅型偏振成像系统利用分光棱镜的折反原理,将入射光分为多路,每路对应一个探测器,存在体积大、稳定性差的缺点;分孔径型偏振成像系统虽然多路共用一个探测器,但其光学系统设计复杂,且不同焦平面需要进行像素级配准,系统稳定性差。相比其他三类偏振成像系统,分焦平面偏振成像系统通过在探测器焦平面上集成微偏振片阵列来制备,具有集成度高、体积小、结构紧凑和实时性好等优点。但由于分焦平面偏振探测器中,不同偏振方位像元交错分布,存在成像分辨率损失和非均匀性[13-14]的缺点。目前提高偏振成像分辨率的算法主要有插值算法、机器建模算法和深度学习算法[15]。其中,应用最广泛的是图像插值算法,包括滑窗算法[16]和插值算法[17]。目前尚未对两种算法存在的数学关系给予实验验证。因此,本文从理论上分析了滑窗算法和双线性插值算法存在的内在数学关系,并进行了对比实验。
2 理论分析
2.1 分焦平面偏振成像原理
实验采用分焦平面偏振相机,其偏振成像器件结构如
每个超像素集合包括微偏振片在0°、45°、90°、135°四个角度的取向。可通过四个角度的光强度求得斯托克斯矢量的前三个参数S0、S1、S2
式中,Ix为偏振方位x°时偏振像元的光强[18]。通过三个斯托克斯矢量参数,可求得线性偏振度(DoLP)和偏振角(AoP)
对于分焦平面偏振成像系统,每个像素仅记录四个角度测量值中的一个。通过尺寸为2 pixel×2 pixel的像素组合计算偏振特性会导致成像分辨率的损失,为了保持分焦平面的偏振成像分辨率,使用滑窗算法和双线性插值算法提高偏振成像分辨率。由于分焦平面偏振成像系统的相邻像素具有不同的偏振方向,因此无法直接使用传统的超分辨率重构算法。
2.2 分焦平面偏振图像的两种图像插值算法
滑窗算法是以单个像素为单位移动,DoFP偏振图像的插值算法主要有双线性插值、双三次插值、双三次样条插值、基于梯度的插值和强度相关的插值算法[19-21]。实验推导了以1 pixel为步长的滑窗算法和双线性插值算法之间的内在联系。
2.2.1 滑窗算法
滑窗算法的原理如
以RD为例,该窗口上的斯托克斯矢量参数可表示为
图 2. DoFP偏振图像的滑窗算法示意图。(a) LU;(b) RU;(c) LD;(d) RD
Fig. 2. Schematic diagram of sliding window algorithm for DoFP polarization image. (a) LU; (b) RU; (c) LD; (d) RD
式中,(i,j+1)为当前像素的坐标。
同理可求得其他三种情况下的三个斯托克斯矢量参数,最终得到强度图像、偏振度图像和偏振角图像。
2.2.2 双线性插值算法
以135°像素点为例,使用双线性插值算法对分焦平面偏振图像进行处理,具体步骤如下。
1) 从偏振平面图像中提取135°像素点,如
2) 然后运用插值算法求得第1,3,5,…行、2,4,6,…列的像素点,如
3) 再求得第2,4,6,…行、第1,3,5,…列的像素点,如
4) 最后求得135°对角线处的像素点,如
图 3. DoFP偏振图像的双线性插值算法示意图
Fig. 3. Schematic diagram of bilinear interpolation algorithm for DoFP polarization image
同理,可获得0°,45°和90°偏振方向的插值图像,根据(1)式~(5)式,得到强度S0、DoLP和AoP图像。
2.3 两种算法的数学关系推导
对于尺寸为3 pixel×3 pixel的像素区域,分焦平面偏振图像以
图 4. DoFP偏振图像中3 pixel×3 pixel区域的示意图
Fig. 4. Schematic representation of 3 pixel×3 pixel area in DoFP polarization image
对四个滑动窗口对应的斯托克斯矢量参数求和,得到
如
推导发现,双线性插值算法得到的结果是四个方向滑窗算法的平均值,这表明双线性插值算法求解的结果会使图像细节更加平滑。
2.4 两种算法边缘处差异的理论分析
对分焦平面栅格图像进行超分辨率处理时,边缘处的细节都会有一定程度的损失。为了验证双线性插值算法和滑窗算法在边缘处的效果,取RU分三种边缘情况进行讨论,如
图 5. 三种边缘情况。(a)情况Ⅰ;(b)情况Ⅱ;(c)情况Ⅲ
Fig. 5. Three cases of edge. (a) case Ⅰ; (b) case Ⅱ; (c) case Ⅲ
表 1. 三种边缘情况的计算结果
Table 1. Calculation results of three edge cases
|
综上所述,滑窗算法计算分焦平面偏振图像的斯托克斯矢量参数S0、S1、S2和DoLP均大于双线性插值的斯托克斯矢量参数和DoLP。这表明与双线性插值算法相比,滑窗算法在边缘处具有更强的伪DoLP信息。
3 实验结果及评价
3.1 实验条件
实验采用分焦平面偏振相机(FLIR BLACKFLYS BFS-U3-51S5)直接获取原始DoFP偏振图像,采集的图像为8 bit浮点型图像,像素取值范围为0~255。由于两种算法处理得到的高分辨图像在空间位置上并非完全对齐,且均方误差(MSE)需要标准的参考图像。因此,实验采用主观视觉、DoLP图像的统计直方图及均值评价两种算法的处理结果。采用DoLP图像的直方图和均值对处理结果进行评价的原因,一方面DoLP是偏振成像特有的属性,另一方面直方图从统计意义上表达了DoLP图像的分布情况以及两种算法在细节、图像边缘处的处理情况。
3.2 实验结果
第一组分焦平面偏振图像的处理结果如
图 6. 第一组实验结果。(a)双线性插值法;(b)滑窗算法
Fig. 6. Experimental results of the first group. (a) Bilinear interpolation algorithm; (b) sliding window algorithm
图 7. 第一组DoLP图像的统计直方图。(a)双线性插值法;(b)滑窗算法
Fig. 7. Statistical histograms of first group DoLP images. (a) Bilinear interpolation algorithm; (b) sliding window algorithm
第二组图像的处理结果如
图 8. 第二组实验结果。(a)双线性插值法;(b)滑窗算法
Fig. 8. Experimental results of the second group. (a) Bilinear interpolation algorithm; (b) sliding window algorithm
3.3 DoLP图像的平均值比较
为进一步对比两种算法的处理结果,对9幅分焦平面偏振图像进行了处理,得到每幅图像DoLP的平均值,如
图 9. 第二组DoLP图像的统计直方图。(a)双线性插值法;(b)滑窗算法
Fig. 9. Statistical histograms of second group DoLP images. (a) Bilinear interpolation algorithm; (b) sliding window algorithm
表 2. 两种算法处理后的DoLP图像均值
Table 2. Mean values of DoLP images processed by two algorithms
|
4 结论
推导了双线性插值算法和滑窗算法之间的数学关系,证明了双线性插值算法处理得到的斯托克斯矢量是滑窗算法在四个方向上处理结果的平均值。在边缘区域,滑窗算法处理后的DoLP大于双线性插值算法。用双线性插值算法和滑窗算法分别对原始DoFP偏振图像进行处理,结果表明,在边缘区域,滑窗算法比双线性插值算法产生更强的伪DoLP信息、更凸显边缘,与理论分析一致。此外,沿不同滑动方向的滑窗算法会产生不同的DoLP结果,根据场景边缘走向选取最佳的滑窗方向还需要进一步探索研究。
[1] Zhang J C, Luo H B, Liang R G, et al. PCA-based denoising method for division of focal plane polarimeters[J]. Optics Express, 2017, 25(3): 2391-2400.
[2] Cronin T W. Polarization vision and its role in biological signaling[J]. Integrative and Comparative Biology, 2003, 43(4): 549-558.
[3] Harnett C K, Craighead H G. Liquid-crystal micropolarizer array for polarization-difference imaging[J]. Applied Optics, 2002, 41(7): 1291-1296.
[4] Meriaudeau F, Ferraton M, Stolz C, et al. Polarization imaging for industrial inspection[J]. Proceedings of SPIE, 2008, 6831: 681308.
[5] 吴中芳, 周少聪, 何贤强. 水下物体偏振成像探测的实验研究[J]. 激光与光电子学进展, 2018, 55(8): 081101.
[6] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.
[7] Pezzaniti J L. Microbolometer-infrared imaging Stokes polarimeter[J]. Optical Engineering, 2009, 48(6): 063201.
[8] Mu T K, Zhang C M, Liang R G. Demonstration of a snapshot full-Stokes division-of-aperture imaging polarimeter using Wollaston prism array[J]. Journal of Optics, 2015, 17(12): 125708.
[9] 王琪, 梁静秋, 梁中翥, 等. 分孔径红外偏振成像仪光学系统设计[J]. 中国光学, 2018, 11(1): 92-99.
Wang Q, Liang J Q, Liang Z Z, et al. Design of decentered aperture-divided optical system of infrared polarization imager[J]. Chinese Journal of Optics, 2018, 11(1): 92-99.
[10] Perkins R J, Gruev V. Signal-to-noise analysis of Stokes parameters in division of focal plane polarimeters[J]. Optics Express, 2010, 18(25): 25815-25824.
[11] Tyo J S, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications[J]. Applied Optics, 2006, 45(22): 5453-5469.
[13] Zhao F, Wu R, Feng B, et al. Pixel response model for a division of focal plane polarimeter[J]. Applied Optics, 2019, 58(29): 8109-8117.
[14] 孙翯, 王德江, 马天翔, 等. 像素刻划偏振相机的高精度像素级偏振非均匀性矫正[J]. 光学学报, 2017, 37(11): 1111002.
[15] Shao J B, Zhang J C, Huang X, et al. Fiber bundle image restoration using deep learning[J]. Optics Letters, 2019, 44(5): 1080-1083.
[16] Feng B, Shi Z L, Liu H Z, et al. Polarized-pixel performance model for DoFP polarimeter[J]. Journal of Optics, 2018, 20(6): 065703.
[17] Gao S K, Gruev V. Bilinear and bicubic interpolation methods for division of focal plane polarimeters[J]. Optics Express, 2011, 19(27): 26161-26173.
[18] Gao S K, Gruev V. Gradient-based interpolation method for division-of-focal-plane polarimeters[J]. Optics Express, 2013, 21(1): 1137-1151.
[20] Ratliff B M, Lacasse C F, Tyo J S. Interpolation strategies for reducing IFOV artifacts in microgrid polarimeter imagery[J]. Optics Express, 2009, 17(11): 9112-9125.
[21] Zhang J C, Luo H B, Hui B, et al. Image interpolation for division of focal plane polarimeters with intensity correlation[J]. Optics Express, 2016, 24(18): 20799-20807.
Article Outline
赵峰, 程喜萌, 冯斌, 董悦, 武荣. 分焦平面偏振图像插值算法的比较研究[J]. 激光与光电子学进展, 2020, 57(16): 161014. Feng Zhao, Ximeng Cheng, Bin Feng, Yue Dong, Rong Wu. Comparison Research of Interpolation Algorithms for Division of Focal Plane Polarization Image[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161014.