激光与光电子学进展, 2020, 57 (16): 161014, 网络出版: 2020-08-05   

分焦平面偏振图像插值算法的比较研究 下载: 1244次

Comparison Research of Interpolation Algorithms for Division of Focal Plane Polarization Image
作者单位
1 
2 西安邮电大学自动化学院, 陕西 西安 710121
3 西北工业大学自动化学院, 陕西 西安 710129
摘要
分焦平面(DoFP)偏振相机的相邻像元具有不同的偏振方向,会导致成像分辨率的损失。双线性插值和滑窗算法能够提高成像分辨率,因此,对双线性插值算法和滑窗算法的数学关系进行了分析,计算了两种算法处理边缘后的线性偏振度(DoLP)。分析表明,双线性插值算法得到的斯托克斯矢量是滑窗算法在四个方向上处理结果的平均值,在边缘区域,滑窗算法处理后的DoLP大于双线性插值算法。将两种算法分别应用于原始DoFP图像,并通过视觉、DoLP图像的统计直方图和均值进行评价。实验结果表明,与双线性插值算法相比,滑窗算法在边缘处产生较强的伪DoLP信息,更能凸显图像的边缘。
Abstract
Adjacent picture elements division of focal plane (DoFP) polarizing camera have different polarization directions, which will result in a loss of imaging resolution. Bilinear interpolation and sliding window algorithms can improve the imaging resolution, therefore, this paper analyzes the mathematical relationship between bilinear interpolation and sliding window algorithms, and degree of linear polarization (DoLP) values are calculates after processing at the edges. The analysis shows that the Stoke vector obtained by the bilinear interpolation algorithm is the average value of the processing results of by sliding window algorithm in four directions. In the edge region, the DoLP processed by sliding window algorithm is larger than bilinear interpolation algorithm. We apply the two algorithms are respectively applied to raw DoFP polarization images and evaluated by visual, statistical histogram, and mean value of the DoLP image. Experimental results prove that compared with bilinear interpolation algorithm, the sliding window algorithm produces stronger pseudo-DoLP information at edges, which highlights the details of the edges.

1 引言

光有四个基本的物理特性,分别为强度、波长、偏振和相位[1]。自然界中有多种生物能够感知光的偏振特性,如昆虫、鲨鱼[2]。虽然人眼无法感知光的偏振信息,但人们借助偏振成像技术可以获取场景的偏振信息[3]。目前,偏振成像技术在工业检测[4]、水下目标探测[5]、去雾成像[6]等方面有潜在的应用价值,是相关领域的研究热点。

场景偏振信息的获取依赖偏振成像系统,目前偏振成像系统主要包括分时型[3]、分振幅型[7]、分孔径型[8-9]和分焦平面型[10-11]四类。分时型偏振成像系统通过在光路中增加可旋转的偏振片,在不同时刻获得不同偏振片旋转角度下的多幅偏振图像,再经过偏振解析处理得到偏振特征图像[12],该类系统只适用于静态场景;分振幅型偏振成像系统利用分光棱镜的折反原理,将入射光分为多路,每路对应一个探测器,存在体积大、稳定性差的缺点;分孔径型偏振成像系统虽然多路共用一个探测器,但其光学系统设计复杂,且不同焦平面需要进行像素级配准,系统稳定性差。相比其他三类偏振成像系统,分焦平面偏振成像系统通过在探测器焦平面上集成微偏振片阵列来制备,具有集成度高、体积小、结构紧凑和实时性好等优点。但由于分焦平面偏振探测器中,不同偏振方位像元交错分布,存在成像分辨率损失和非均匀性[13-14]的缺点。目前提高偏振成像分辨率的算法主要有插值算法、机器建模算法和深度学习算法[15]。其中,应用最广泛的是图像插值算法,包括滑窗算法[16]和插值算法[17]。目前尚未对两种算法存在的数学关系给予实验验证。因此,本文从理论上分析了滑窗算法和双线性插值算法存在的内在数学关系,并进行了对比实验。

2 理论分析

2.1 分焦平面偏振成像原理

实验采用分焦平面偏振相机,其偏振成像器件结构如图1所示,由微偏振片阵列和焦平面探测器组成。微偏振片阵列由2 pixel×2 pixel的超像素集合组成,

图 1. DoFP偏振探测器的结构

Fig. 1. Structure of DoFP polarization detector

下载图片 查看所有图片

每个超像素集合包括微偏振片在0°、45°、90°、135°四个角度的取向。可通过四个角度的光强度求得斯托克斯矢量的前三个参数S0S1S2

S0=12(I0+I45+I90+I135),(1)S1=I0-I90,(2)S2=I45-I135,(3)

式中,Ix为偏振方位x°时偏振像元的光强[18]。通过三个斯托克斯矢量参数,可求得线性偏振度(DoLP)和偏振角(AoP)

DDoLP=(S12+S22)/S02,(4)AAoP=12·arctan(S2/S1)(5)

对于分焦平面偏振成像系统,每个像素仅记录四个角度测量值中的一个。通过尺寸为2 pixel×2 pixel的像素组合计算偏振特性会导致成像分辨率的损失,为了保持分焦平面的偏振成像分辨率,使用滑窗算法和双线性插值算法提高偏振成像分辨率。由于分焦平面偏振成像系统的相邻像素具有不同的偏振方向,因此无法直接使用传统的超分辨率重构算法。

2.2 分焦平面偏振图像的两种图像插值算法

滑窗算法是以单个像素为单位移动,DoFP偏振图像的插值算法主要有双线性插值、双三次插值、双三次样条插值、基于梯度的插值和强度相关的插值算法[19-21]。实验推导了以1 pixel为步长的滑窗算法和双线性插值算法之间的内在联系。

2.2.1 滑窗算法

滑窗算法的原理如图2所示,一般分为四种情况,其中,LU、RU、LD、RD分别表示滑窗算法的左上方窗口、右上方窗口、左下方窗口、右下方窗口。以RD为例,从左至右,从上至下依次处理所有尺寸为2 pixel×2 pixel的像素块,即处理阵列上每个可能的四元组合,最终达到全像素分辨率的恢复。

以RD为例,该窗口上的斯托克斯矢量参数可表示为

S0=12[I(i,j)+I(i,j+1)+I(i+1,j)+I(i+1,j+1)]S1=(i+1,j)-(i,j+1)S2=(i,j)-(i+1,j+1),(6)

图 2. DoFP偏振图像的滑窗算法示意图。(a) LU;(b) RU;(c) LD;(d) RD

Fig. 2. Schematic diagram of sliding window algorithm for DoFP polarization image. (a) LU; (b) RU; (c) LD; (d) RD

下载图片 查看所有图片

式中,(i,j+1)为当前像素的坐标。

同理可求得其他三种情况下的三个斯托克斯矢量参数,最终得到强度图像、偏振度图像和偏振角图像。

2.2.2 双线性插值算法

以135°像素点为例,使用双线性插值算法对分焦平面偏振图像进行处理,具体步骤如下。

1) 从偏振平面图像中提取135°像素点,如图3中圆形标记区域所示。

2) 然后运用插值算法求得第1,3,5,…行、2,4,6,…列的像素点,如图3中菱形标记区域所示。

3) 再求得第2,4,6,…行、第1,3,5,…列的像素点,如图3中矩形标记区域所示。

4) 最后求得135°对角线处的像素点,如图3中三角形标记区域所示,最终获得135°插值后的图像。

图 3. DoFP偏振图像的双线性插值算法示意图

Fig. 3. Schematic diagram of bilinear interpolation algorithm for DoFP polarization image

下载图片 查看所有图片

同理,可获得0°,45°和90°偏振方向的插值图像,根据(1)式~(5)式,得到强度S0、DoLP和AoP图像。

2.3 两种算法的数学关系推导

对于尺寸为3 pixel×3 pixel的像素区域,分焦平面偏振图像以图4中的矩阵A为例,对两种算法的关系进行推导。其中,A11A12A22分别为135°、0°、45°对应位置的像素值,以中心像素A22为计算像素。

图 4. DoFP偏振图像中3 pixel×3 pixel区域的示意图

Fig. 4. Schematic representation of 3 pixel×3 pixel area in DoFP polarization image

下载图片 查看所有图片

图4的3 pixel×3 pixel区域中有四个滑动窗口(LU、RU、LD、RD)。用Si(i=0,1,2)表示滑窗算法的斯托克斯矢量参数,由(1)式~(5)式可得

S0_LU=12(A11+A21+A12+A22)S1_LU=A12-A21S2_LU=A22-A11,(7)S0_RU=12(A12+A13+A22+A23)S1_RU=A12-A23S2_RU=A22-A13,(8)S0_LD=12(A21+A22+A31+A32)S1_LD=A32-A21S2_LD=A22-A31,(9)S0_RD=12(A22+A23+A32+A33)S1_RD=A32-A23S2_RD=A22-A33(10)

对四个滑动窗口对应的斯托克斯矢量参数求和,得到

S0_sum=S0_LU+S0_RU+S0_LD+S0_RD=12(A11+2A12+2A21+4A22+2A32+2A23+A31+A33+A13),(11)S1_sum=S1_LU+S1_RU+S1_LD+S1_RD=2(A12+A32-A21-A23),(12)S2_sum=S2_LU+S2_RU+S2_LD+S2_RD=4A22-(A11+A13+A31+A33)(13)

图4所示,通过双线性插值算法计算中心像素A22的斯托克斯矢量参数Si_interp,可表示为

S0_interp=12A21+A232+A12+A322+A11+A13+A31+A334+A22=18(A11+2A12+2A21+4A22+2A32+2A23+A31+A33+A13),(14)S1_interp=A12+A322-A21+A232=12A12+A32-A21-A23,(15)S2_interp=A22-A11+A13+A31+A334=14[4A22-(A11+A13+A31+A33)](16)

推导发现,双线性插值算法得到的结果是四个方向滑窗算法的平均值,这表明双线性插值算法求解的结果会使图像细节更加平滑。

2.4 两种算法边缘处差异的理论分析

对分焦平面栅格图像进行超分辨率处理时,边缘处的细节都会有一定程度的损失。为了验证双线性插值算法和滑窗算法在边缘处的效果,取RU分三种边缘情况进行讨论,如图5所示。矩形标记表示滑窗算法的计算窗口,虚线将图像划分成两个区域。对于尺寸为3 pixel×3 pixel的区域,以45°像元为例,实线段(边界线)左边区域的像素强度值为a,边界线右边区域像素的强度值为b,且a不等于b图5中三种边缘情况的计算结果如表1所示。

图 5. 三种边缘情况。(a)情况Ⅰ;(b)情况Ⅱ;(c)情况Ⅲ

Fig. 5. Three cases of edge. (a) case Ⅰ; (b) case Ⅱ; (c) case Ⅲ

下载图片 查看所有图片

表 1. 三种边缘情况的计算结果

Table 1. Calculation results of three edge cases

CaseSliding windowBilinear interpolation
CaseⅠS0=a+bS1=a-bS2=a-bDoLP=(2|a-b|)/(a+b)S0=(3a+b)/2S1=(a-b)/2S2=(a-b)/2DoLP=(2|a-b|)/(3a+b)
Case ⅡS0=(3a+b)/2S1=a-bS2=0DoLP=(6|a-b|)/(9a+3b)S0=(3a+3b)/8S1=(a-b)/2S2=(a-b)/4DoLP=(25|a-b|)/(9a+3b)
Case ⅢS0=(3a+b)/2S1=a-bS2=0DoLP=(2|a-b|)/(0a+3b)S0=(5a+3b)/4S1=(a-b)/2S2=(a-b)/2DoLP=(2|a-b|)/(5a+3b)

查看所有表

综上所述,滑窗算法计算分焦平面偏振图像的斯托克斯矢量参数S0S1S2和DoLP均大于双线性插值的斯托克斯矢量参数和DoLP。这表明与双线性插值算法相比,滑窗算法在边缘处具有更强的伪DoLP信息。

3 实验结果及评价

3.1 实验条件

实验采用分焦平面偏振相机(FLIR BLACKFLYS BFS-U3-51S5)直接获取原始DoFP偏振图像,采集的图像为8 bit浮点型图像,像素取值范围为0~255。由于两种算法处理得到的高分辨图像在空间位置上并非完全对齐,且均方误差(MSE)需要标准的参考图像。因此,实验采用主观视觉、DoLP图像的统计直方图及均值评价两种算法的处理结果。采用DoLP图像的直方图和均值对处理结果进行评价的原因,一方面DoLP是偏振成像特有的属性,另一方面直方图从统计意义上表达了DoLP图像的分布情况以及两种算法在细节、图像边缘处的处理情况。

3.2 实验结果

第一组分焦平面偏振图像的处理结果如图6所示,图6(a)和图6(b)分别是双线性插值算法和滑窗算法处理后的强度图像、DoLP图像和AoP图像,其原始DoFP偏振图像拍摄于自然光下的室内,DoLP图像的处理结果对应的统计直方图如图7所示。可以发现,在DoLP图像和AoP图像中,滑窗算法处理后蝴蝶翅膀的轮廓依然清晰可见,但双线性插值算法处理后蝴蝶几乎看不到。此外,双线性插值算法处理后的图像边缘部分更加光滑,而滑窗算法处理后的边缘存在明显的“锯齿”,这种“锯齿”是由伪偏振信息引起的,如图6中的矩形区域。由于双线性插值相当于低通滤波器,会平滑细节,所以较窄的区域容易被平滑。在图6中,两种算法对平坦区域的处理效果相同,在边缘部分或者较窄的图像变化部分,双线性插值算法会使图像看起来更平滑、柔和,但容易造成场景细节信息丢失。滑窗算法在边缘处的伪偏振信息更多,更能凸出场景细节。由图7可以发现,滑窗算法处理后的DoLP统计范围大,这表明图像像素跃变的区域更多。

图 6. 第一组实验结果。(a)双线性插值法;(b)滑窗算法

Fig. 6. Experimental results of the first group. (a) Bilinear interpolation algorithm; (b) sliding window algorithm

下载图片 查看所有图片

图 7. 第一组DoLP图像的统计直方图。(a)双线性插值法;(b)滑窗算法

Fig. 7. Statistical histograms of first group DoLP images. (a) Bilinear interpolation algorithm; (b) sliding window algorithm

下载图片 查看所有图片

第二组图像的处理结果如图8所示,摄于阴天室外,对应的DoLP图像统计直方图如图9所示。在DoLP图像和AoP图像中,矩形标记的线条经过双线性插值算法处理后的结果比滑窗算法处理的结果边缘更加光滑。滑窗算法在边缘处的伪偏振信息更多,“理学院”三个字经过双线性插值处理后边缘比较光滑,经滑窗算法处理后“毛边”较多。双线性插值算法相当于低通滤波器,会平滑细节,适用于忽略小细节注重整体分析的情况,而滑窗法会产生更多的伪偏振信息,更能凸显边缘。由图9可以发现,滑窗算法处理后的DoLP统计数据范围大,且数据变化大,这表明滑窗算法更凸显边缘。

图 8. 第二组实验结果。(a)双线性插值法;(b)滑窗算法

Fig. 8. Experimental results of the second group. (a) Bilinear interpolation algorithm; (b) sliding window algorithm

下载图片 查看所有图片

3.3 DoLP图像的平均值比较

为进一步对比两种算法的处理结果,对9幅分焦平面偏振图像进行了处理,得到每幅图像DoLP的平均值,如表2所示。可以发现,滑窗算法处理后的DoLP均值大于双线性插值算法,这表明整幅图像经过处理后,滑窗算法的伪偏振信息更强烈。

图 9. 第二组DoLP图像的统计直方图。(a)双线性插值法;(b)滑窗算法

Fig. 9. Statistical histograms of second group DoLP images. (a) Bilinear interpolation algorithm; (b) sliding window algorithm

下载图片 查看所有图片

表 2. 两种算法处理后的DoLP图像均值

Table 2. Mean values of DoLP images processed by two algorithms

DoLP imageBilinear interpolationSliding window
10.16240.1754
20.15990.1721
30.13440.1504
40.12240.1335
50.04040.0488
60.09350.0958
70.07720.0795
80.05940.0614
90.06690.0701

查看所有表

4 结论

推导了双线性插值算法和滑窗算法之间的数学关系,证明了双线性插值算法处理得到的斯托克斯矢量是滑窗算法在四个方向上处理结果的平均值。在边缘区域,滑窗算法处理后的DoLP大于双线性插值算法。用双线性插值算法和滑窗算法分别对原始DoFP偏振图像进行处理,结果表明,在边缘区域,滑窗算法比双线性插值算法产生更强的伪DoLP信息、更凸显边缘,与理论分析一致。此外,沿不同滑动方向的滑窗算法会产生不同的DoLP结果,根据场景边缘走向选取最佳的滑窗方向还需要进一步探索研究。

参考文献

[1] Zhang J C, Luo H B, Liang R G, et al. PCA-based denoising method for division of focal plane polarimeters[J]. Optics Express, 2017, 25(3): 2391-2400.

[2] Cronin T W. Polarization vision and its role in biological signaling[J]. Integrative and Comparative Biology, 2003, 43(4): 549-558.

[3] Harnett C K, Craighead H G. Liquid-crystal micropolarizer array for polarization-difference imaging[J]. Applied Optics, 2002, 41(7): 1291-1296.

[4] Meriaudeau F, Ferraton M, Stolz C, et al. Polarization imaging for industrial inspection[J]. Proceedings of SPIE, 2008, 6831: 681308.

[5] 吴中芳, 周少聪, 何贤强. 水下物体偏振成像探测的实验研究[J]. 激光与光电子学进展, 2018, 55(8): 081101.

    Wu Z F, Zhou S C, He X Q. Experimental study on underwater objects detection based on polarization imaging[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081101.

[6] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报, 2017, 37(4): 0400001.

    Liang J, Ju H J, Zhang W F, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica, 2017, 37(4): 0400001.

[7] Pezzaniti J L. Microbolometer-infrared imaging Stokes polarimeter[J]. Optical Engineering, 2009, 48(6): 063201.

[8] Mu T K, Zhang C M, Liang R G. Demonstration of a snapshot full-Stokes division-of-aperture imaging polarimeter using Wollaston prism array[J]. Journal of Optics, 2015, 17(12): 125708.

[9] 王琪, 梁静秋, 梁中翥, 等. 分孔径红外偏振成像仪光学系统设计[J]. 中国光学, 2018, 11(1): 92-99.

    Wang Q, Liang J Q, Liang Z Z, et al. Design of decentered aperture-divided optical system of infrared polarization imager[J]. Chinese Journal of Optics, 2018, 11(1): 92-99.

[10] Perkins R J, Gruev V. Signal-to-noise analysis of Stokes parameters in division of focal plane polarimeters[J]. Optics Express, 2010, 18(25): 25815-25824.

[11] Tyo J S, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications[J]. Applied Optics, 2006, 45(22): 5453-5469.

[12] York T, Gruev V. Characterization of a visible spectrum division-of-focal-plane polarimeter[J]. Applied Optics, 2012, 51(22): 5392-5400.

[13] Zhao F, Wu R, Feng B, et al. Pixel response model for a division of focal plane polarimeter[J]. Applied Optics, 2019, 58(29): 8109-8117.

[14] 孙翯, 王德江, 马天翔, 等. 像素刻划偏振相机的高精度像素级偏振非均匀性矫正[J]. 光学学报, 2017, 37(11): 1111002.

    Sun H, Wang D J, Ma T X, et al. High precision pixel level non-uniformity calibration of pixelated polarization camera[J]. Acta Optica Sinica, 2017, 37(11): 1111002.

[15] Shao J B, Zhang J C, Huang X, et al. Fiber bundle image restoration using deep learning[J]. Optics Letters, 2019, 44(5): 1080-1083.

[16] Feng B, Shi Z L, Liu H Z, et al. Polarized-pixel performance model for DoFP polarimeter[J]. Journal of Optics, 2018, 20(6): 065703.

[17] Gao S K, Gruev V. Bilinear and bicubic interpolation methods for division of focal plane polarimeters[J]. Optics Express, 2011, 19(27): 26161-26173.

[18] Gao S K, Gruev V. Gradient-based interpolation method for division-of-focal-plane polarimeters[J]. Optics Express, 2013, 21(1): 1137-1151.

[19] Gilboa E, Cunningham J P, Nehorai A, et al. Image interpolation and denoising for division of focal plane sensors using Gaussian processes[J]. Optics Express, 2014, 22(12): 15277-15291.

[20] Ratliff B M, Lacasse C F, Tyo J S. Interpolation strategies for reducing IFOV artifacts in microgrid polarimeter imagery[J]. Optics Express, 2009, 17(11): 9112-9125.

[21] Zhang J C, Luo H B, Hui B, et al. Image interpolation for division of focal plane polarimeters with intensity correlation[J]. Optics Express, 2016, 24(18): 20799-20807.

赵峰, 程喜萌, 冯斌, 董悦, 武荣. 分焦平面偏振图像插值算法的比较研究[J]. 激光与光电子学进展, 2020, 57(16): 161014. Feng Zhao, Ximeng Cheng, Bin Feng, Yue Dong, Rong Wu. Comparison Research of Interpolation Algorithms for Division of Focal Plane Polarization Image[J]. Laser & Optoelectronics Progress, 2020, 57(16): 161014.

本文已被 7 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!