基于改进主成分分析的分焦平面偏振图像去噪算法

尹佳琪; 王世勇; 李范鸣

doi:doi:10.3788/AOS202141.0710002

光学学报, 2021, 41 (7): 0710002, 网络出版: 2021-04-11

基于改进主成分分析的分焦平面偏振图像去噪算法下载： 851次

Division-of-Focal-Plane Polarization Image Denoising Algorithm Based on Improved Principal Component Analysis

论文大纲

尹佳琪 ^1,2,3王世勇 ^1,2,*李范鸣 ^1,2,**

作者单位

¹ 中国科学院红外探测与成像技术重点实验室, 上海 200083

² 中国科学院上海技术物理研究所, 上海 200083

³ 中国科学院大学, 北京 100049

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

分焦平面(DoFP)偏振探测器在成像过程中会受到噪声的干扰,从而影响解算偏振信息图像的质量和精度。首先,基于图像的非局部自相似性和不同偏振方向图像之间的相关性,利用DoFP偏振图像的空间分布特点对图像进行分块并选取相似的图像块构成相似块矩阵。然后,利用主成分分析(PCA)得到相似块矩阵的特征值矩阵和特征向量矩阵,并根据噪声和相似块矩阵的特征值分布特点,在PCA域中利用降维对图像进行去噪。最后,利用模拟和真实DoFP偏振图像评估本算法的去噪效果。实验结果表明,本算法可以有效抑制图像中的噪声,保留图像的纹理和边缘细节信息,比现有算法的峰值信噪比至少提高了1 dB。

Abstract

In the process of imaging, the division-of-focal-plane (DoFP) polarization detector is often disturbed by noise, and it affects the quality and accuracy of the polarization images. In this paper, first, based on the non-local self-similarity of the image and the correlation between images with different polarization directions, the image is divided into blocks by using the spatial distribution characteristics of the DoFP polarization image, and similar image blocks are selected to form a similar block matrix. Then, principal component analysis (PCA) is used to obtain the eigenvalue matrix and eigenvector matrix of the similar block matrix, based on the eigenvalue distribution characteristics of the noise and the similar block matrix, and use dimensionality reduction to denoise the image in the PCA domain. Finally, simulated and real DoFP polarization images are used to evaluate the denoising effect of the algorithm. Experimental results show that the algorithm can effectively suppress the noise in the image and preserve the texture and edge details of the image, which is at least 1 dB higher than the peak signal-to-noise ratio of existing algorithms.

1 引言

强度、波长、相干性和偏振性是光的主要物理特性^[1],其中偏振图像能提供与光谱和强度图像不同的信息。研究表明,偏振在遥感^[2]、图像去雾^[3]、生物医学^[4]、金属检测^[5]、水下目标探测^[6]等领域有很大的应用前景。偏振成像系统包括分时系统和实时系统,分时偏振成像系统利用旋转偏振片和波片的方式获取不同偏振态的偏振图像,系统比较复杂,且不能用于动态场景。实时偏振成像系统包括分振幅、分孔径和分焦平面(DoFP)等类型。分振幅偏振成像系统的分辨率较高,但结构复杂;分孔径成像系统的稳定性较好,但会损失空间分辨率^[7],且系统的离轴或偏心结构,导致装调难度较高;DoFP偏振探测器具有体积小、紧凑性高和可靠性好等优势,是目前偏振成像领域的研究热点。

在DoFP偏振探测器阵列中,每个像元只能获取单个偏振方向的响应值,相应位置上缺失的三个偏振分量需要用插值重建偏振图像算法即DoFP偏振图像解马赛克算法得到。目前关于偏振图像解马赛克算法^[8-10]的研究都是基于无噪声的DoFP偏振图像。但DoFP偏振探测器成像过程中,经常会受到噪声的干扰,且DoFP偏振图像解马赛克算法计算Stokes矢量图像(光强度图像为S0、0°与90°方向的偏振光强差图像为S1、45°与135°方向的偏振光强差图像为S2)的过程中会引入视场误差,进一步增大误差,带来错误的偏振信息^[11-12],从而影响线偏振度(DoLP)图像的质量和精度。针对DoFP偏振图像的噪声,Zhang等^[12]提出了基于主成分分析(PCA)的去噪算法,利用降维和线性最小均方误差估计技术在PCA域实现去噪,但该算法会破坏图像的细节和边缘信息。Ye等^[13]提出了一种基于K次奇异值分解(K-SVD)和正交匹配追踪(OMP)的去噪算法,但该算法的复杂度过高且会破坏图像的纹理信息。Abubakar等^[14]提出了一种基于块匹配和三维滤波(BM3D)DoFP偏振图像的去噪算法,能抑制图像中的大部分噪声,但解算的DoLP图像会丢失部分边缘细节信息。

本文基于DoFP偏振图像和高斯白噪声的特点,提出了一种基于改进PCA的DoFP偏振图像去噪算法。首先,利用DoFP偏振图像的非局部自相似性,用相似的图像块构造相似块矩阵,并用PCA算法得到其特征向量和特征值矩阵;然后,根据高斯噪声和相似块矩阵特征值的分布特点,对相似块矩阵进行降维处理,进而估计无噪声的DoFP偏振图像;最后,对去噪后的DoFP偏振图像进行解马赛克计算,得到Stokes矢量图像和DoLP图像。实验结果表明,相比现有算法,本算法的效率更高且具有更好的去噪效果及更强的边缘细节保持能力。

2 分焦平面偏振图像的去噪算法

DoFP偏振探测器通常由焦平面探测器和微偏振片阵列构成,在微偏振片阵列中,每2×2个像元组成一个超像元,偏振方向分别对应0°、45°、90°和135°,如图1所示。

图 1. 微偏振片阵列的示意图

Fig. 1. Schematic diagram of the micro-polarizer array

下载图片查看所有图片

DoFP偏振探测器在成像过程中会引入噪声,导致图像质量下降,一般用加性噪声模型表示为

W_{n} = W + n, (1)

式中,W_n为含噪声的DoFP偏振图像,W为不含噪声的DoFP偏振图像,n为图像中均值为0、标准差为σ的加性高斯噪声。DoFP偏振图像的去噪就是从W_n中恢复出W。

假设含噪声DoFP偏振图像的分辨率为M×N,将图像分成若干个大小为n×n的图像块,取图像块的步长为1。为了利用DoFP偏振图像中四个偏振方向分量之间的相关性,每个图像块中均需含有四个偏振方向分量,即n≥2,将这些图像块用集合表示为

P = {p_{i}, i = 1,2, 3, \dots, (N - n + 1) \times (M - n + 1)}, (2)

式中,p_i∈P为任意一个图像块。将尺寸为2×2的图像块视为参考图像块并转换成列向量y,可表示为

y = {[\begin{array}{l} x_{0 °} & x_{45 °} & x_{135 °} & x_{90 °} \end{array}]}^{T} + v = x + v, (3)

式中,x_θ(θ=0°,45°,90°,135°)为不含噪声图像块中四个偏振分量,x为不含噪声图像块中像素构成的列向量,v为像元噪声构成的向量。

本算法的流程如图2所示,利用DoFP偏振图像的非局部自相似性,获得参考图像块的相似图像块。如图3所示,以参考图像块p_i为中心的K×K窗口为例,计算窗口内所有图像块与参考图像块的欧氏距离,选出欧氏距离最小的m个图像块作为相似图像块,包括参考图像块p_i。相似图像块的数量需大于图像块中的像元数量且小于窗口内候选图像块的数量,即m≥n²且m≤(K-n+2)²/4。可以发现,m的取值会影响算法的效率和去噪效果,m较大时,算法的效率较低,相似图像块中也会引入与参考图像块差异较大的图像块,不利于后续图像的去噪处理。根据现有测试数据结果,将m的取值范围设置为2n²~5n²。

图 2. 本算法的流程图

Fig. 2. Flow chart of our algorithm

下载图片查看所有图片

图 3. DoFP偏振图像的去噪模型

Fig. 3. Denoising model of the DoFP polarization image

下载图片查看所有图片

将参考图像块和对应的相似图像块转换成列向量,构成n²×m的相似块矩阵Y

Y = [\begin{array}{l} y_{1} & y_{2} & \dots & y_{m} \end{array}] = X + V, (4)

式中,X= $[x_{1} x_{2} \dots x_{m}]$ ,V= $[v_{1} v_{2} \dots v_{m}]$ 。将相似块矩阵Y中的列向量去中心化,即 $\bar{Y}$ =Y-E(Y),其中E(·)为求均值处理。由于噪声的均值为0,即E(Y)=E(X),则

\bar{Y} = [{\bar{y}}_{1} {\bar{y}}_{2} \dots {\bar{y}}_{m}] = X + V - E (X) = \bar{X} + V 。 (5)

$\bar{Y}$ 的协方差矩阵可表示为

\bar{C_{Y}} = \frac{1}{m} \bar{Y} {\bar{Y}}^{T} = \frac{1}{m} (\bar{X} {\bar{X}}^{T} + \bar{X} V^{T} + V {\bar{X}}^{T} + V V^{T}) 。 (6)

由于 $\bar{X}$ 和V是互不相关的, $\bar{X}$ V^T和 ${\bar{VX}}^{T}$ 近似为0,可以忽略不计,得到

\bar{C_{Y}} \approx \frac{1}{m} (\bar{X} {\bar{X}}^{T} + V V^{T}) = \bar{C_{X}} + C_{V}, (7)

式中, $\bar{C_{X}}$ = $\frac{1}{m} \bar{X} {\bar{X}}^{T}$ ,C_V= $\frac{1}{m}$ VV^T≈σ²I,其中,I为单位矩阵。用 $\bar{C_{Y}}$ 减去C_V可以估算出 $\bar{C_{X}}$ ,利用PCA算法将 $\bar{C_{Y}}$ 和 $\bar{C_{X}}$ 进行特征值分解,得到特征向量矩阵和对角特征矩阵,可表示为

\{\begin{array}{l} \bar{C_{Y}} = Q Λ_{Y} Q^{T} \\ \bar{C_{X}} = Q Λ_{X} Q^{T} \end{array}, (8)

式中,Λ_X=diag $[\begin{array}{l} λ_{X 1}^{2} & λ_{X 2}^{2} & \dots & λ_{X n^{2}}^{2} \end{array}]$ ,diag(·)表示对角矩阵。Λ_Y=diag $[\begin{array}{l} λ_{Y 1}^{2} & λ_{Y 2}^{2} & \dots & λ_{Y n^{2}}^{2} \end{array})$ , $λ_{Y 1}^{2}$ ≈ $λ_{X 1}^{2}$ +σ²,Q= $[\begin{array}{l} q_{1} & q_{2} & \dots & q_{n^{2}} \end{array}]$ ,q_j(j=1,2,…,n²)为特征向量,两两正交。

高斯白噪声的特征值约等于σ²,根据DoFP偏振像元排列的特点, $\bar{C_{X}}$ 中存在特征值 $λ_{Xj}^{2}$ >σ²。在PCA域降维估计无噪声的x,用 ${\hat{x}}_{r}$ (r=1,2,…,m)表示为

{\hat{x}}_{r} = \overset{n^{2}}{\sum_{j = 1}} a_{j} < {\bar{y}}_{r}, q_{j} > q_{j} + E (y_{r}), (9)

式中,a_j= $\{\begin{array}{l} 1, & λ_{Xj}^{2} > t^{2} \\ 0, & λ_{Xj}^{2} \leq t^{2} \end{array}$ ,t为待定的阈值,<,>为向量的内积。估计的无噪声图像相似块矩阵 $\hat{X}$ 可表示为

\hat{X} = [\begin{array}{l} {\hat{x}}_{1} & {\hat{x}}_{2} & \dots & {\hat{x}}_{m} \end{array}] = Q \cdot th (Λ_{X}) \cdot Q^{T} \bar{Y} + E (Y), (10)

式中,th(Λ)=diag $[\begin{array}{l} a_{1} & a_{2} & \dots & a_{n^{2}} \end{array}]$ ,可以发现,确定阈值t是算法的关键。

在相似块矩阵中,任意一个不含噪声图像块对应的列向量x_r与估计的 ${\hat{x}}_{r}$ 之间的欧氏距离d_r越小,表明图像块的去噪效果越好。距离d_r由图像损失的细节信息和未消除的噪声组成,可表示为

d_{r} = ‖ {\hat{x}}_{r} - x_{r} ‖^{2} = \overset{n^{2}}{\sum_{j = 1}} (a_{j} {- 1)}^{2} (< q_{j}, x_{r} {>)}^{2} + \overset{n^{2}}{\sum_{j = 1}} a_{j}^{2} (< q_{j}, v_{r} {>)}^{2}, (11)

式中,‖·‖²为欧氏距离。由(6)式~(8)式可以得到

\{\begin{array}{l} \frac{1}{m} \overset{m}{\sum_{r = 1}} (< y_{r}, q_{j} {>)}^{2} = λ_{Yj}^{2} \\ \frac{1}{m} \overset{m}{\sum_{r = 1}} (< v_{r}, q_{j} {>)}^{2} \approx σ^{2} \\ \frac{1}{m} \overset{m}{\sum_{r = 1}} (< x_{r}, q_{j} {>)}^{2} = λ_{Xj}^{2} \end{array} 。 (12)

联立(10)式~(12)式,得到相似块矩阵中无噪声图像块与估计图像块之间的平均距离d

d = \frac{1}{m} \overset{m}{\sum_{r = 1}} d_{r} = \frac{1}{m} \overset{m}{\sum_{r = 1}} ‖ {\hat{x}}_{r} - x_{r} ‖^{2} \approx \overset{n^{2}}{\sum_{j = 1}} (a_{j} {- 1)}^{2} λ_{Xj}^{2} + \overset{n^{2}}{\sum_{j = 1}} a_{j}^{2} σ^{2} 。 (13)

当 $\hat{X}$ 与X的平均距离d最小时,满足

a_{j} = \{\begin{array}{l} 1, & λ_{Xj}^{2} > σ^{2} \\ 0, & λ_{Xj}^{2} \leq σ^{2} \end{array} 。 (14)

由(14)式确定t²=σ²,在图像纹理细节信息丰富的区域,对应相似块矩阵的特征值矩阵中存在较多特征值大于噪声特征值σ²,此时d相对较小,能很好地去除图像中的噪声,但也导致图像损失部分纹理细节信息;在图像纹理细节较少的区域,其特征值矩阵中的特征值 $λ_{Xj}^{2}$ 总体较小,会小于噪声特征值σ²,此时d≈ $\overset{n^{2}}{\sum_{j = 1}} λ_{Xj}^{2}$ ,算法可以抑制图像中的大部分噪声。

对于DoFP偏振图像,在图像纹理细节丰富的区域,去噪效果依然明显;在场景纹理细节较少的情况下,四个方向的微偏振片对入射光的调制效果不同,在场景有较强的偏振特性时,超像元中四个像元的响应差异较大,如图4所示,四个偏振方向的子图像标记区域纹理细节较少,但四幅子图像的响应不同,因此相似图像块中存在反映偏振特性的纹理信息,有利于图像去噪。估计的无噪声相似块矩阵 $\hat{X}$ 中包含m个相似图像块,因此在实际应用中,每个图像块会存在多次估计结果,将多次估计结果求平均,不仅能进一步抑制噪声,还可以恢复部分损失的细节信息。

图 4. 模拟的DoFP偏振图像。(a) DoFP;(b) 0°;(c) 45°;(d) 90°;(e) 135°

Fig. 4. DoFP polarization image obtained by simulation. (a) DoFP; (b) 0°; (c) 45°; (d) 90°; (e) 135°

下载图片查看所有图片

3 实验结果与分析

为了验证本算法的去噪效果,将分辨率为1024 pixel×768 pixel、灰度为16 bit的近红外DoFP偏振图像作为测试图像^[15],如图5所示。图像为分时偏振成像系统捕获的0°、45°、90°和135°偏振方向子图像,对四个偏振方向的子图像进行降采样,按图1的阵列方式构成模拟DoFP偏振图像。在模拟的DoFP偏振图像上添加高斯白噪声,分别用PCA算法^[12]、K-SVD算法^[13]、BM3D算法^[14]和本算法对图像进行去噪。其中,PCA和BM3D算法采用文献[ 12]和文献[ 13]提供的源代码,K-SVD算法采用开源代码和文献[ 14]中的参数复现。用峰值信噪比(PSNR)和结构相似性(SSIM)评价模拟DoFP偏振图像的去噪效果。最后,利用国产自研的近红外偏振相机(光谱响应波段为0.9~1.7 μm,分辨率为128 pixel×128 pixel,像元尺寸为30 μm×30 μm)采集真实的DoFP偏振图像,并对图像进行去噪处理。

为了兼顾DoFP偏振图像的去噪效果和算法效率,实验中取n=8,K=70,相似图像块的数量m=200,在水平和垂直方向上,参考图像块的移动步长均为5。

图 5. 测试图像。(a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

Fig. 5. Test images. (a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

下载图片查看所有图片

3.1 本算法的去噪效果

将四个不同偏振方向的原始高分辨率测试图像计算得到的Stokes矢量图像和DoLP图像作为参考,在模拟的DoFP偏振图像上加入标准差为10的高斯白噪声,并采用基于强度相关的插值算法^[9]对图像进行解马赛克。测试图像potery去噪前后的Stokes矢量图像和DoLP图像的结果如表1和图6所示。

表 1. 去噪前后的Stokes矢量图像和DoLP图像

Table 1. Stokes vector images and DoLP images before and after denoising

Image		S0	S1	S2	DoLP
Demosaicing image	PSNR /dB	46.5230	38.6166	41.6959	31.3399
	SSIM	0.9956	0.9512	0.9645	0.7770
Noisy image	PSNR /dB	35.0436	26.1517	26.2277	5.9415
	SSIM	0.8104	0.2388	0.2196	0.1175
Denoised image	PSNR /dB	41.4074	37.1018	39.5708	25.9634
	SSIM	0.9809	0.9060	0.9215	0.5934

查看所有表

图6(a)为由图像potery不同偏振方向高分辨率子图像直接计算得到的真实S0图像和DoLP图像;图6(b)为未加噪声的模拟DoFP偏振图像解马赛克计算得到的S0图像和DoLP图像,与真实图像的视觉效果接近;图6(c)为加噪声后的S0图像和DoLP图像,其中DoLP图像的PSNR和SSIM分别为5.9145 dB和0.1175,可以看出,DoLP图像的纹理和细节信息被噪声严重破坏,影响了DoLP图像的质量和精度;图6(d)为用本算法去噪后的结果,可以看出,DoLP图像的质量有明显提升,DoLP图像的PSNR提高到25.9634 dB,很好地保持了图像的边缘和细节信息。

图 6. 去噪前后的图像potery。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d)去噪图像

Fig. 6. Potery images before and after denoising. (a) Original image; (b) demosaicing image; (c) noisy image; (d) denoised image

下载图片查看所有图片

从表1和图6可以看出,解马赛克算法会给Stokes矢量图像和DoLP图像带来一定的误差,而噪声会严重影响Stokes矢量图像(对S1图像和S2图像的影响更严重),导致DoLP图像的质量严重下降,带来了很大的DoLP误差;用本算法去噪后,Stokes矢量图像和DoLP图像的大部分噪声得到了较好的抑制,提高了图像的PSNR和SSIM,基本恢复了图像的纹理和边缘细节信息。

在真实成像条件下,DoFP偏振图像中的噪声是未知的,需要估计噪声,估计噪声值会存在误差。为了评估噪声误差对去噪效果的影响,在仿真的DoFP偏振图像中加入标准差为10的噪声,选取不同的σ,去噪后DoFP偏振图像的PSNR和SSIM如图7所示。可以发现,当σ<10时,随着σ的增大,去噪后DoFP偏振图像的PSNR和SSIM增长迅速,去噪效果变好;当σ=10时,去噪效果最好;当σ>10时,随着σ的增大,去噪效果逐渐变差,但变化趋势较慢。这表明估计噪声值越准确,本算法对含噪声DoFP偏振图像的去噪效果越好;且在估计噪声值在一定的误差范围内,本算法均有较好的去噪效果。由于在实际应用中很难精确估计噪声,为了保证去噪效果,可以适当增大估计噪声值。

图 7. 不同σ下的去噪结果。(a) PSNR;(b) SSIM

Fig. 7. Denoising results under different σ. (a) PSNR; (b) SSIM

下载图片查看所有图片

3.2 不同算法的去噪结果

为了清晰展现出不同算法的复杂度,用分辨率为128 pixel×128 pixel的图像统计算法的平均去噪时间,噪声标准差为10。算法的运行环境:处理器为英特尔i5-8250U,内存为8 GB,软件为Matlab2015b,结果如表2所示。其中,BM3D算法用mexw64进行了优化,算法效率最高,本算法的运行效率优于PCA和K-SVD算法。

表 2. 不同算法的平均运行时间

Table 2. Average running time of different algorithms

Algorithm	PCA	K-SVD	BM3D	Ours
Time /s	5.9247	34.2411	0.3866	0.8869

查看所有表

在测试图像fabrics、leaves、macbeth classic、macbeth enhancement、painting和potery模拟的DoFP偏振图像中加入标准差为10的高斯白噪声,用不同算法对图像进行去噪处理,将未加噪声的模拟图像作为参考,计算去噪后图像的PSNR和SSIM,结果如表3所示。

表 3. 不同算法的去噪结果

Table 3. Denoising results of different algorithms

Algorithm		Fabrics	Leaves	Macbethclassic	Macbethenhancement	Painting	Potery
Noisy image	PSNR /dB	28.1379	28.1232	28.1315	28.1443	28.1412	28.1259
	SSIM	0.6787	0.4759	0.6143	0.7773	0.7606	0.5223
PCA	PSNR /dB	34.5693	37.5385	38.4190	38.1194	33.8570	37.0131
	SSIM	0.9095	0.9011	0.9481	0.9734	0.9390	0.9124
K-SVD	PSNR /dB	36.1498	39.0277	37.1737	37.7568	33.6660	38.0791
	SSIM	0.9403	0.9365	0.9068	0.9608	0.9334	0.9438
BM3D	PSNR /dB	33.1474	37.7663	39.3794	37.6404	32.7475	37.3816
	SSIM	0.8937	0.9286	0.9611	0.9668	0.9316	0.9456
Ours	PSNR /dB	36.9616	41.5592	43.7434	42.5957	35.2164	40.3545
	SSIM	0.9543	0.9778	0.9900	0.9940	0.9626	0.9826

查看所有表

从表3可以看出,PCA、K-SVD、BM3D和本算法均能抑制图像中的噪声,从而提高图像的PSNR和SSIM,但在不同的测试图像上,PCA、K-SVD、BM3D算法的去噪效果互有优劣,相互之间没有明显的差别,而本算法去噪后DoFP偏振图像的PSNR和SSIM明显高于PCA、K-SVD、BM3D算法。

为了进一步验证不同算法的去噪效果,解算不同算法去噪后的Stokes矢量图像和DoLP偏振图像,并计算PSNR和SSIM,结果如表4所示。图8为测试图像macbeth enhancement去噪前后的S0图像、DoLP偏振图像及局部放大图。

表 4. 不同算法对macbeth enhancement图像的去噪结果

Table 4. Denoising results of different algorithms on macbeth enhancement images

Algorithm		S0	S1	S2	DoLP
Demosaicing	PSNR /dB	49.4055	41.9600	43.4291	33.9477
	SSIM	0.9975	0.9600	0.9816	0.8999
Noisy image	PSNR /dB	35.1736	26.2301	26.2683	11.8090
	SSIM	0.8235	0.2948	0.3727	0.1553
PCA	PSNR /dB	41.8979	35.6964	35.6833	18.5476
	SSIM	0.9723	0.8111	0.8540	0.4134
K-SVD	PSNR /dB	41.6852	34.8183	33.6769	12.9843
	SSIM	0.9744	0.7815	0.8142	0.4154
BM3D	PSNR /dB	40.9549	36.5001	35.7293	20.7019
	SSIM	0.9689	0.8720	0.8902	0.5247
Ours	PSNR /dB	43.0844	39.9698	39.6139	27.0429
	SSIM	0.9847	0.9305	0.9527	0.7623

查看所有表

从表4、图8(c3)~图8(g3)和图8(d4)~图8(g4)可以看出,不同算法的去噪效果存在一定的差异。相比含噪声的DoLP图像,K-SVD算法去噪后得到的图像PSNR提高了1.1753 dB,SSIM提高到0.4154,没有恢复图像中的纹理和边缘信息;PCA算法去噪后图像质量得到了提升,恢复了部分图像细节,但破坏了图像边缘,存在较多的噪声残余;BM3D算法较好地保持了DoLP图像的边缘,但有少量残余噪声,去噪效果优于PCA和K-SVD算法;本算法很好地抑制了图像的噪声,DoLP图像的PSNR和SSIM分别为27.0429 dB和0.7623,降低了DoLP图像的误差,提高了DoLP图像的精度;从视觉效果上来看,很好地保持了图像的纹理和细节信息,优于现有的DoFP偏振图像去噪算法。

图 8. 不同算法的去噪结果。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d) PCA算法;(e) K-SVD算法;(f) BM3D算法;(g)本算法

Fig. 8. Denoising results of different algorithms. (a) Original image; (b) demosaicing image; (c) noisy image; (d) PCA algorithm; (e) K-SVD algorithm; (f) BM3D algorithm; (g) our algorithm

下载图片查看所有图片

为了验证不同算法对不同标准差噪声的去噪效果,在模拟DoFP偏振图像macbeth enhancement中添加不同标准差的高斯白噪声,去噪后DoFP偏振图像的PSNR和SSIM如图9所示。可以发现,噪声图像和去噪后图像的PSNR和SSIM随着噪声的增大而减小,去噪效果会变差;当噪声的标准差小于5时,去噪前后图像的PSNR和SSIM相差不大;当噪声的标准差大于15时,本算法去噪后图像的PSNR和SSIM均明显优于其他算法,且随噪声标准差的增大,PCA、K-SVD和BM3D与本算法的差距更明显,PSNR和SSIM的差值也逐渐增大。本算法去噪后图像的PSNR始终保持在30 dB以上,SSIM始终大于0.9,能很好地保持DoFP图像的结构,对大噪声的抑制效果更明显。

图 9. 不同算法对图像macbeth enhancement的去噪结果。(a) PSNR;(b) SSIM

Fig. 9. Denoising results of different algorithms for image macbeth enhancement. (a) PSNR; (b) SSIM

下载图片查看所有图片

3.3 真实分焦平面图像的去噪结果

对于真实的近红外DoFP偏振图像,首先对图像进行非均匀性校正^[16],得到校正后的DoFP偏振图像;然后利用噪声估计算法^[17],分别对不同偏振方向的子图像进行噪声估计,得到子图像噪声的标准差;最后对图像进行去噪和解马赛克处理,得到去噪后的Stokes矢量图像及DoLP图像。

图10为真实DoFP偏振图像去噪前后的S0图像和DoLP图像,其中,原始图像是由原始图像数据解马赛克得到。可以看出,S0图像中窗户和墙面等物体轮廓存在严重的不均匀性,图像质量差,而DoLP图像没有显示有效的偏振信息;经过非均匀性校正后的强度图像质量得到了明显提升,DoLP图像能看出墙面和玻璃窗户等物体的偏振差异,但存在明显的噪声干扰;用PCA算法去噪后的S0图像没有明显变化,DoLP图像的质量有明显提升,但标记区域中窗栏粗细不均匀;K-SVD算法处理后的强度图像没有显著变化,但DoLP图像很难看出玻璃窗户和墙面等物体的偏振差异;BM3D算法处理后的强度图像质量下降,DoLP图像也没有明显提升;而本算法处理后的强度图像质量提升不明显,但DoLP图像的噪声得到了明显抑制,图像质量有了很大提升,且标记区域中窗栏的粗细更均匀,这验证了本算法的有效性。

图 10. 不同算法对真实图像的去噪结果。(a)原始图像;(b)非均匀性校正后的图像;(c) PCA算法;(d) K-SVD算法;(e) BM3D算法;(f)本算法

Fig. 10. Denoising result of real images by different algorithms. (a) Original image; (b) non-uniformity corrected image; (c) PCA algorithm; (d) K-SVD algorithm; (e) BM3D algorithm; (f) our algorithm

下载图片查看所有图片

4 结论

针对DoFP偏振图像中的高斯白噪声,提出了基于DoFP偏振图像非局部自相似性的PCA去噪算法。根据DoFP偏振图像的特点,充分利用不同偏振方向像元值之间的相关性,将图像分割成一系列相同尺寸的图像块并构造相似块矩阵,利用噪声和相似矩阵块特征值的特点在PCA域进行降维处理,进而实现图像去噪。利用模拟图像对本算法进行测试,并用PSNR、SSIM和主观视觉效果对本算法进行评价。实验结果表明,本算法可以较好地保留图像中的细节和纹理信息,且在高强度噪声下,依然可以有效抑制图像噪声。进一步采用真实的近红外DoFP偏振图像对本算法进行测试,结果表明,经本算法处理后的DoLP图像质量得到了明显提升。下一步还将研究DoFP偏振图像解马赛克对Stokes矢量图像及DoLP图像的具体影响。

参考文献

[1] Scott Tyo J, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications[J]. Applied Optics, 2006, 45(22): 5453-5469.

[2] Tyo J S, Rowe M P, Pugh E N, et al. Target detection in optically scattering media by polarization-difference imaging[J]. Applied Optics, 1996, 35(11): 1855-1870.

[3] Fang S, Xia X, Xing H, et al. Image dehazing using polarization effects of objects and airlight[J]. Optics Express, 2014, 22(16): 19523-19537.

[4] Alali S, Vitkin A. Polarized light imaging in biomedicine: emerging Mueller matrix methodologies for bulk tissue assessment[J]. Journal of Biomedical Optics, 2015, 20(6): 61104.

[5] 汪方斌, 孙凡, 朱达荣, 等. 一种基于偏振热像的金属疲劳损伤评估方法[J]. 光学学报, 2020, 40(14): 1412002.

Wang F B, Sun F, Zhu D R, et al. Metal fatigue damage assessment based on polarized thermography[J]. Acta Optica Sinica, 2020, 40(14): 1412002.

[6] 汪杰君, 梁磊, 李树, 等. 水下目标偏振差分成像模型修正与实现[J]. 光学学报, 2019, 39(11): 1111003.

Wang J J, Liang L, Li S, et al. Correction and implementation of polarization-difference imaging model for underwater target[J]. Acta Optica Sinica, 2019, 39(11): 1111003.

[7] 刘敬, 夏润秋, 金伟其, 等. 基于斯托克斯矢量的偏振成像仪器及其进展[J]. 光学技术, 2013, 39(1): 56-62.

Liu J, Xia R Q, Jin W Q, et al. Review of imaging polarimetry based on Stokes Vector[J]. Optical Technique, 2013, 39(1): 56-62.

[8] Gao S K, Gruev V. Bilinear and bicubic interpolation methods for division of focal plane polarimeters[J]. Optics Express, 2011, 19(27): 26161-26173.

[9] Zhang J C, Luo H B, Hui B, et al. Image interpolation for division of focal plane polarimeters with intensity correlation[J]. Optics Express, 2016, 24(18): 20799-20807.

[10] Zhang J C, Luo H B, Liang R G, et al. Sparse representation-based demosaicing method for microgrid polarimeter imagery[J]. Optics Letters, 2018, 43(14): 3265-3268.

[11] Goudail F, Bénière A. Estimation precision of the degree of linear polarization and of the angle of polarization in the presence of different sources of noise[J]. Applied Optics, 2010, 49(4): 683-693.

[12] Zhang J C, Luo H B, Liang R G, et al. PCA-based denoising method for division of focal plane polarimeters[J]. Optics Express, 2017, 25(3): 2391-2400.

[13] Ye W B, Li S T, Zhao X J, et al. A K times singular value decomposition based image denoising algorithm for DoFP polarization image sensors with Gaussian noise[J]. IEEE Sensors Journal, 2018, 18(15): 6138-6144.

[14] Abubakar A, Zhao X J, Li S T, et al. A block-matching and 3-D filtering algorithm for Gaussian noise in DoFP polarization images[J]. IEEE Sensors Journal, 2018, 18(18): 7429-7435.

[15] Lapray P J, Gendre L, Foulonneau A, et al. Database of polarimetric and multispectral images in the visible and NIR regions[J]. Proceedings of SPIE, 2018, 1067: 1067738.

[16] 尹佳琪, 王世勇, 张瑞, 等. 近红外偏振探测器的定标及非均匀性校正[J]. 红外与毫米波学报, 2020, 39(2): 235-241.

Yin J Q, Wang S Y, Zhang R, et al. Calibration and non-uniformity correction of near-infrared polarization detector[J]. Journal of Infrared and Millimeter Waves, 2020, 39(2): 235-241.

[17] Immerkær J. Fast noise variance estimation[J]. Computer Vision and Image Understanding, 1996, 64(2): 300-302.

尹佳琪, 王世勇, 李范鸣. 基于改进主成分分析的分焦平面偏振图像去噪算法[J]. 光学学报, 2021, 41(7): 0710002. Jiaqi Yin, Shiyong Wang, Fanming Li. Division-of-Focal-Plane Polarization Image Denoising Algorithm Based on Improved Principal Component Analysis[J]. Acta Optica Sinica, 2021, 41(7): 0710002.

基于改进主成分分析的分焦平面偏振图像去噪算法下载： 851次

1 引言

2 分焦平面偏振图像的去噪算法

图 1. 微偏振片阵列的示意图

Fig. 1. Schematic diagram of the micro-polarizer array

图 2. 本算法的流程图

Fig. 2. Flow chart of our algorithm

图 3. DoFP偏振图像的去噪模型

Fig. 3. Denoising model of the DoFP polarization image

图 4. 模拟的DoFP偏振图像。(a) DoFP;(b) 0°;(c) 45°;(d) 90°;(e) 135°

Fig. 4. DoFP polarization image obtained by simulation. (a) DoFP; (b) 0°; (c) 45°; (d) 90°; (e) 135°

3 实验结果与分析

图 5. 测试图像。(a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

Fig. 5. Test images. (a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

3.1 本算法的去噪效果

表 1. 去噪前后的Stokes矢量图像和DoLP图像

Table 1. Stokes vector images and DoLP images before and after denoising

图 6. 去噪前后的图像potery。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d)去噪图像

Fig. 6. Potery images before and after denoising. (a) Original image; (b) demosaicing image; (c) noisy image; (d) denoised image

图 7. 不同σ下的去噪结果。(a) PSNR;(b) SSIM

Fig. 7. Denoising results under different σ. (a) PSNR; (b) SSIM

3.2 不同算法的去噪结果

表 2. 不同算法的平均运行时间

Table 2. Average running time of different algorithms

表 3. 不同算法的去噪结果

Table 3. Denoising results of different algorithms

表 4. 不同算法对macbeth enhancement图像的去噪结果

Table 4. Denoising results of different algorithms on macbeth enhancement images

图 8. 不同算法的去噪结果。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d) PCA算法;(e) K-SVD算法;(f) BM3D算法;(g)本算法

Fig. 8. Denoising results of different algorithms. (a) Original image; (b) demosaicing image; (c) noisy image; (d) PCA algorithm; (e) K-SVD algorithm; (f) BM3D algorithm; (g) our algorithm

图 9. 不同算法对图像macbeth enhancement的去噪结果。(a) PSNR;(b) SSIM

Fig. 9. Denoising results of different algorithms for image macbeth enhancement. (a) PSNR; (b) SSIM

3.3 真实分焦平面图像的去噪结果

图 10. 不同算法对真实图像的去噪结果。(a)原始图像;(b)非均匀性校正后的图像;(c) PCA算法;(d) K-SVD算法;(e) BM3D算法;(f)本算法

Fig. 10. Denoising result of real images by different algorithms. (a) Original image; (b) non-uniformity corrected image; (c) PCA algorithm; (d) K-SVD algorithm; (e) BM3D algorithm; (f) our algorithm

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于改进主成分分析的分焦平面偏振图像去噪算法 下载： 851次

1 引言

2 分焦平面偏振图像的去噪算法

图 1. 微偏振片阵列的示意图

Fig. 1. Schematic diagram of the micro-polarizer array

图 2. 本算法的流程图

Fig. 2. Flow chart of our algorithm

图 3. DoFP偏振图像的去噪模型

Fig. 3. Denoising model of the DoFP polarization image

图 4. 模拟的DoFP偏振图像。(a) DoFP;(b) 0°;(c) 45°;(d) 90°;(e) 135°

Fig. 4. DoFP polarization image obtained by simulation. (a) DoFP; (b) 0°; (c) 45°; (d) 90°; (e) 135°

3 实验结果与分析

图 5. 测试图像。(a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

Fig. 5. Test images. (a) Fabrics; (b) leaves; (c) macbeth classic; (d) macbeth enhancement; (e) painting; (f) potery

3.1 本算法的去噪效果

表 1. 去噪前后的Stokes矢量图像和DoLP图像

Table 1. Stokes vector images and DoLP images before and after denoising

图 6. 去噪前后的图像potery。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d)去噪图像

Fig. 6. Potery images before and after denoising. (a) Original image; (b) demosaicing image; (c) noisy image; (d) denoised image

图 7. 不同σ下的去噪结果。(a) PSNR;(b) SSIM

Fig. 7. Denoising results under different σ. (a) PSNR; (b) SSIM

3.2 不同算法的去噪结果

表 2. 不同算法的平均运行时间

Table 2. Average running time of different algorithms

表 3. 不同算法的去噪结果

Table 3. Denoising results of different algorithms

表 4. 不同算法对macbeth enhancement图像的去噪结果

Table 4. Denoising results of different algorithms on macbeth enhancement images

图 8. 不同算法的去噪结果。(a)原始图像;(b)解马赛克图像;(c)加噪图像;(d) PCA算法;(e) K-SVD算法;(f) BM3D算法;(g)本算法

Fig. 8. Denoising results of different algorithms. (a) Original image; (b) demosaicing image; (c) noisy image; (d) PCA algorithm; (e) K-SVD algorithm; (f) BM3D algorithm; (g) our algorithm

图 9. 不同算法对图像macbeth enhancement的去噪结果。(a) PSNR;(b) SSIM

Fig. 9. Denoising results of different algorithms for image macbeth enhancement. (a) PSNR; (b) SSIM

3.3 真实分焦平面图像的去噪结果

图 10. 不同算法对真实图像的去噪结果。(a)原始图像;(b)非均匀性校正后的图像;(c) PCA算法;(d) K-SVD算法;(e) BM3D算法;(f)本算法

Fig. 10. Denoising result of real images by different algorithms. (a) Original image; (b) non-uniformity corrected image; (c) PCA algorithm; (d) K-SVD algorithm; (e) BM3D algorithm; (f) our algorithm

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进主成分分析的分焦平面偏振图像去噪算法下载： 851次