光学学报, 2021, 41 (5): 0511001, 网络出版: 2021-04-07   

利用灰度差估计的条纹非均匀性校正方法 下载: 952次

Fringe Non-Uniformity Correction Method Based on Gray Difference Estimation
作者单位
南京理工大学电子工程与光电技术学院, 江苏 南京 210094
摘要
条纹非均匀性是红外焦平面阵列成像系统中一种较为常见的固定图案噪声,其对成像质量会产生很大的影响。通常认为图像的非均匀性主要体现在像素间的灰度差,即非均匀性所引起的灰度差。为了解决这一问题,提出一种利用灰度差估计的条纹非均匀性校正方法。该方法根据条纹噪声的空间特性,对每一帧图像的非均匀性条纹的所在位置进行判断;根据条纹位置处相邻像素间的灰度差,对该处存在的非均匀性进行初步估计,并对下一帧的估计结果进行评价以进一步完善估计值。实验结果表明,所提方法能够显著减少条纹非均匀性,并且能够有效地保护图像的边缘信息。
Abstract
Stripe non-uniformity is a relatively common fixed pattern noise in infrared focal plane array imaging systems, which has a great impact on imaging quality. It is generally believed that the non-uniformity of an image is mainly reflected in the gray level difference between pixels, that is, the gray level difference caused by the non-uniformity. In order to solve this problem, a correction method of stripe non-uniformity based on gray difference estimation is proposed. According to the spatial characteristics of the strip noise, the position of the non-uniform strip in each frame is judged. According to the gray level difference between adjacent pixels at the position of the strip, the non-uniformity is preliminarily estimated, and the estimation results of the next frame are evaluated to further improve the estimated value. Experimental results show that the proposed method can significantly reduce fringe non-uniformity and can effectively protect the edge information of the image.

1 引言

目前,红外成像系统已经广泛应用在**领域和民用领域,如红外制导、红外预警、夜视、监视系统和火灾探测等[1],而红外焦平面阵列(IRFPA)是成像系统的重要组成部分之一。受到制造工艺和材料特性等方面的限制,使得焦平面中各探测像元的响应特性不一致,进而导致红外图像具有非均匀性。IRFPA的非均匀性通常以固定图案噪声(FPN)的形式出现,其中条纹状或网格状的FPN是制冷和非制冷IRFPA组件常见的非均匀性噪声模式[2]。非均匀性噪声会严重影响系统的成像质量,因此需要通过非均匀性校正(NUC)技术有效地减小或消除非均匀性的影响。

目前,IRFPA的非均匀性校正算法主要分为基于定标的非均匀性校正算法和基于场景的非均匀性校正算法[3-4]。基于定标的校正方法简单且易于实现,但其参数会随着时间的变化产生飘移,如果不进行周期性的重复定标,就会直接影响系统的可靠性。基于场景的校正方法能够根据所在场景本身的特征来更新校正参数,从而自适应校正非均匀性。

基于场景的非均匀性校正算法主要分为基于统计的校正方法和基于配准的校正方法两大类[5]。基于统计的校正方法通常根据在时间和空间上的统计假设以实时更新校正参数,从而实现非均匀性校正,其中最具代表性的方法有时域高通滤波[6]、恒定统计[7]和神经网络[8]等,但此类方法在一些复杂的应用场景中难以满足假设的条件,从而引起校正结果出现鬼影。Qian等[9]提出了基于空域低通时域高通(SLTH)的校正方法,该方法只对图像中的高频部分进行滤波,降低了低频背景对时域滤波器的影响,有效抑制了鬼影,但是容易造成边缘信息的损失。Zuo等[10]提出了基于双边滤波的时域高通滤波(BFTH)算法,该算法能够在保护图像边缘信息的同时对非均匀性进行校正,并且能够有效抑制鬼影,但容易受到慢速高亮场景的影响。对于基于配准的校正方法,科研人员认为在较短的时间内,各探测像元对视场中同一点的辐射响应是一致的,但实际情况下不同探测像元对同一点的辐射响应存在差异,通过准确计算相邻帧之间的位移,就能对这些差异进行分析从而得到非均匀性,但这种方法限制较多,计算量较大,校正误差容易逐级累积,不易实现。

综上所述,本文提出一种利用灰度差估计的条纹非均匀性校正方法。首先根据条纹噪声固有的空间特性,对每一帧图像存在非均均匀性条纹的位置进行判断;然后根据条纹位置处相邻像素间的灰度差,对非均匀性进行初步估计,并通过下一帧图像对当前估计值进行评价, 根据评价结果完善估计值;最后将所提方法与其他传统方法进行比较。实验结果表明,所提方法具有有效性。

2 非均匀性校正

2.1 非均匀性的基本表述

假设IRFPA器件工作在线性区域,则每一个探测像元的输入与相应的输出都应当满足线性关系,这种线性关系可以表示为

Y(i,j)(f)=g(i,j)(f)·X(i,j)(f)+o(i,j)(f),(1)

式中:(i,j)表示焦平面内探测像元的行列坐标,同时也对应输出红外图像的行列坐标;g(i,j)(f)和o(i,j)(f)分别表示第f帧图像在(i,j)位置处探测像元的增益和偏置;X(i,j)(f)表示第f帧图像在(i,j)位置处探测像元接收到的辐照度;Y(i,j)(f)表示第f帧图像在(i,j)位置处探测像元对应的输出值。(1)式可简化为

Y(i,j)(f)=I(i,j)(f)+N(i,j)(f),(2)

式中:I(i,j)(f)表示第f帧图像在(i,j)位置处像素校正后的灰度值;N(i,j)(f)表示第f帧图像在(i,j)位置处像素包含由非均匀性引起的灰度差估计值。

2.2 相邻像素的非均匀性分析

从某一像素的角度来看,红外图像的非均匀性往往表现为4种情况,如水平方向相邻像素的非均匀性、垂直方向相邻像素的非均匀性、右对角相邻像素的非均匀性以及左对角相邻像素的非均匀性。4种情况下相邻像素的相对位置如图1所示。

图 1. 4种情况下相邻像素的相对位置。(a)水平方向;(b)垂直方向;(c)右对角方向;(d)左对角方向

Fig. 1. Relative positions of adjacent pixels in 4 cases. (a) Horizontal direction; (b) vertical direction; (c) right diagonal direction; (d) left diagonal direction

下载图片 查看所有图片

4种方向相邻像素的的非均匀性往往会在各自的正交方向上累积,为此形成条纹型非均匀性噪声。以水平方向相邻像素的的非均匀性为例,如果水平方向相邻像素的的非均匀性在垂直方向上累积到某种程度,就会形成垂直方向的条纹噪声,如图2所示。

图 2. 累积的条纹型非均匀性噪声

Fig. 2. Cumulative strip-type non-uniform noise

下载图片 查看所有图片

相邻像素的非均匀性主要体现在灰度值的差异上,而相邻像素间的灰度差由输入图像本身细节引起的差异,以及由相邻探测像元响应不一致引起的差异两部分组成。对于水平方向的非均匀性,相邻像素间的灰度差可以表示为

Dh(i,j)(f)=dh(i,j)(f)+nh(i,j)(f),(3)

式中: Dh(i,j)(f)表示第f帧图像在(i,j)位置处的像素与其水平方向相邻像素间的灰度差;dh表示输入图像本身细节所引起的灰度差;nh表示探测像元非均匀性所引起的灰度差,即水平方向的非均匀性。

其他几种类型的非均匀性与上述情况相似,这里不再对其进行一一分析。

2.3 条纹型非均匀性的估计

非均匀性的估计需要进一步判定各位置处的像素是否包含非均匀性或是包含非均匀性的类型,可以从图像所包含条纹噪声的类型展开分析。

以水平方向相邻像素的的非均匀性判定为例,假设(i,j)位置处的像素与其水平方向相邻像素有着较大的灰度差,并且当前像素所在列(即第j列)存在垂直方向的非均匀性条纹,那么(i,j)位置处的像素就有相当大的概率包含水平方向的非均匀性条纹。

假设当前显示的一帧图像(f>1)为

I(f)=Y(f)-N(f-1)=n1,1n1,2n1,Nn2,1n2,2n2,NnM,1nM,2nM,N,(4)

式中:Y(f)表示校正前的第f帧图像;I(f)表示校正后的第f帧图像,令I(1)=Y(1);N(f-1)表示第(f-1)帧图像得到的非均匀性估计值;MN分别表示图像的行数和列数。

计算图像中每个像素与其水平方向相邻像素的差值,得到的差值矩阵为

Dh(f)=0n1,2-n1,1n1,N-n1,N-10n2,2-n2,1n2,N-n2,N-10nM,2-nM,1nM,N-nM,N-1(5)

此处为了便于处理,将Dh(f)第一列的数值全部置零。随着校正算法的迭代,条纹噪声的范围也会不断收缩。为了提高估计的适应性,引入阈值参数β,β是关于C的函数,其中C表示目前经过估计的图像序列,某一位置被判定包含水平方向非均匀性的像素个数。β(C)的变化规律如图3所示。

图 3. β(C)的函数示意图

Fig. 3. Function diagram of β(C)

下载图片 查看所有图片

实际的红外图像序列中,非均匀性噪声主要以固定图案噪声的形式出现,并且变化速率十分缓慢,则非均匀性的灰度差估计值 Nh(i,j)(f)可表示为

Nh(i,j)(f)=kh(i,j)(f)Dh(i,j)(f)/G+Nh(i,j)(f-1),f>1kh(i,j)(f)Dh(i,j)(f)/G,f=1,(6)

式中:1/G表示估计步长; kh(i,j)(f)表示第f帧图像在(i,j)位置处的像素关于水平方向非均匀性的存在参数。当 kh(i,j)(f)值为1时,说明(i,j)位置处的像素存在水平方向的非均匀性;当 kh(i,j)(f)值为0时,说明(i,j)位置处的像素不存在水平方向的非均匀性。

由(3)式可知,非均匀性所引起的灰度差 nh(i,j)(f)往往包含相邻像素间的灰度差 Dh(i,j)(f),那么每次都可以从 Dh(i,j)(f)中提取很少的一部分进行尝试性估计。由(6)式可知,将非均匀性估计的问题转化为使 Nh(i,j)(f)不断向当前非均匀性的实际值逼近的过程。需要注意的是,这里必须确保估计速率大于非均匀性的变化速率,但估计速率也不宜过快,否则会使一些慢速运动物体的轮廓出现重影。

水平方向非均匀性的存在参数 kh(i,j)(f)的表达式为

kh(i,j)(f)=ah(i,j)(f),i=1Mah(i,j)>βCh(i,j)(f)·Sh(i,j)(f)0,others,(7)

式中: ah(i,j)(f)表示第f帧图像在(i,j)位置处的像素相对于水平方向相邻像素灰度差较大的标志参数; Sh(i,j)(f)表示第f帧图像在(i,j)位置处所在列的像素总数,即图像的行数M; Ch(i,j)(f)表示第f帧图像在(i,j)位置处被判定包含水平方向非均匀性的像素个数,其可表示为

Ch(i,j)(f)=Ch(i,j)(f-1)+1,kh(i,j)(f)=1Ch(i,j)(f-1),kh(i,j)(f)=0(8)

标志参数 ah(i,j)(f)可表示为

ah(i,j)(f)=1,Dh(i,j)>Th(i,j)(f)0,others,(9)

式中:Th表示判断标准的阈值。当 ah(i,j)(f)值为1时,表示当前位置的像素与水平方向的相邻像素有明显差异;反之,则没有。 Th(i,j)(f)可表示为

Th(i,j)(f)=αl=i-1i+1m=j-1j+1Dh(l,m)(f)/9,0<α1,(10)

式中:α表示阈值参数,用于调节阈值的大小,一般α=1。

其余几个方向的非均匀性估计与水平方向非均匀性估计的思想类似,最终都可以通过类似于(6)式的形式得到各自的估计值。

当非均匀性噪声为对角方向的斜条纹时,以右对角方向的非均匀性条纹为例,此时需要计算图像中每个像素与其左对角方向相邻像素的差值,差值矩阵可表示为

Dld(f)=0n1,2-n2,1n1,N-n2,N-10n2,2-n3,1n2,N-n3,N-10nM-1,2-nM,1nM-1,N-nM,N-1000(11)

后续步骤也与水平方向非均匀性估计的思想类似。

3 实验结果与分析

对所提校正方法的性能进行评价,并与参考文献[ 9,11]中的两种校正方法进行比较,两种方法分别为SLTH方法和CSAR(Constant Statistics of Adjacent Ratios)方法。实验过程中,使用两组带有非均匀性的红外视频序列来评价这三种方法。第一组序列是在均匀的红外图像中添加非均匀性条纹所形成的图像序列,第二组序列是带有真实非均匀性条纹的图像序列。校正过程中,根据经验设置βmax=0.7、βmin=0.4、G=40、α=1、C1=10和C2=50。

第一组序列是在一组均匀的图像中添加一定均值和方差的模拟条纹噪声形成的,一帧图像加噪前后的对比结果如图4所示。

图 4. 加噪前后的对比图像。(a)原始图像;(b)噪声图像

Fig. 4. Comparison of images before and after adding noise. (a) Original image; (b) noisy image

下载图片 查看所有图片

表 1. 不同方法对模拟非均匀性的平均校正效果

Table 1. Average correction effects of different methods on simulated non-uniformity

MethodSLTHCSARProposedmethod
RMSE5.5725.9335.071
Roughness0.0720.0830.063

查看所有表

表 2. 不同方法对实际非均匀性的平均粗糙度

Table 2. Aerage roughness of different methods on actual non-uniformity

MethodSLTHCSARProposedmethod
Roughness0.0850.0930.065

查看所有表

为了客观评价三种方法的校正结果,使用方均根误差(RMSE)和粗糙度系数(ρ)作为评价指标[12]。RMSE的定义表达式为

xRMSE=1M·Ni=1Mj=1N(I^(i,j)-I(i,j))2,(12)

式中: I^(i,j)I(i,j)分别表示原始均匀图像和经过非均匀性校正后的图像。RMSE可以度量校正后图像与原始均匀图像之间的差异。

ρ的定义表达式为

ρ=h1*I1+h2*I1I1,(13)

式中:h1h2分别表示水平和垂直方向的差分滤波器;I表示待分析的图像;‖I1表示IL1范数;*表示离散卷积符号。校正后图像的ρ值越小,表示图像的非均匀性程度越弱,校正效果越好。

分别使用三种方法对图像序列进行校正,校正效果如图5所示。图6(a)和图6(b)分别为三种方法的RMSE值和粗糙度。表1为三种方法对第100~700 frame图像的平均校正效果比较。

图 5. 不同方法对模拟非均匀性的校正效果。(a)噪声图像;(b) SLTH方法;(c) CSAR方法;(d)所提方法

Fig. 5. Correction effects of different methods on simulated non-uniformity. (a) Noisy images; (b) SLTH method; (c) CSAR method; (d) proposed method

下载图片 查看所有图片

图 6. 不同方法对模拟非均匀性校正效果的性能曲线。(a) RMSE;(b)粗糙度

Fig. 6. Performance curves of different methods on simulated non-uniformity. (a) RMSE; (b) roughness

下载图片 查看所有图片

图5可以看到,SLTH方法对图像中的复杂场景部分能够较好地去除条纹噪声,简单场景部分的效果较差,原因在于简单场景的灰度值一般较为均匀,与条纹之间有较大的灰度差异,此时低通滤波很难彻底将条纹噪声和背景区分开,使得校正结果中的残留条纹噪声较为明显;从直观角度来看,CSAR方法的效果明显优于SLTH方法,但通过仔细观察会发现图像中仍存在一些残留的条纹噪声;所提方法是利用相邻像素间的灰度差异对非均匀性进行估计,所以能够有效去除图像中各部分的条纹型非均匀性。

图6表1可以看到,三种方法的收敛速度近似,但SLTH方法和CSAR方法的RMSE值和粗糙度大于所提方法,说明经过SLTH方法和CSAR方法校正后的图像,其细节信息与原始图像之间存在较大差异,而所提方法的校正结果最为接近原始均匀图像,校正效果最佳。

采用一组实际含有条纹非均匀性的红外图像序列来测试所提方法的校正性能。图像序列是由分辨率为640 pixel×512 pixel的非制冷型热像仪采集而得的,分别采用三种方法对采集的1000 frame图像进行非均匀性校正,校正效果如图7所示。三种方法对于实际非均匀性的粗糙度比较结果如图8所示,平均粗糙度比较结果如表2所示。

图 7. 不同方法对实际非均匀性的校正效果。(a)噪声图像;(b) SLTH方法;(c) CASR方法;(d)所提方法

Fig. 7. Correction effects of different methods on actual non-uniformity. (a) Noisy images; (b) SLTH method; (c) CASR method; (d) proposed method

下载图片 查看所有图片

图7可以看到,SLTH方法和CSAR方法并未彻底去除图像中的条纹型非均匀性,而所提方法能够有效去除。从图8表2可以看到,经过所提方法校正后的图像,粗糙度稳定保持在较低的数值,校正效果优于CSAR方法和SLTH方法,说明所提方法有着较好的稳定性。

图 8. 不同方法对实际非均匀性的粗糙度比较

Fig. 8. Roughness comparison of different methods on actual non-uniformity

下载图片 查看所有图片

4 结论

对条纹非均匀性图像中的相邻像素的非均匀性进行分析,提出一种利用灰度差估计的条纹非均匀性校正方法。该方法通过条纹噪声的空间特性来确定每一帧非均匀性出现的位置,再根据这些位置处相邻像素间的灰度差对非均匀性进行估计,发现估计值会随着每一帧的评价而不断完善。将所提方法与SLTH方法和CSAR方法进行比较。实验结果表明,所提方法能够显著降低红外图像中的条纹非均匀性,并且计算量较小,非常利于硬件化的实现。

参考文献

[1] 吴泽鹏, 贾宏光, 宣明, 等. 基于扩展全变分的红外焦平面阵列非均匀性校正方法[J]. 光学学报, 2014, 34(3): 0304001.

    Wu Z P, Jia H G, Xuan M, et al. Nonuniformity correction algorithm for infrared focal plane arrays based on extended total variation[J]. Acta Optica Sinica, 2014, 34(3): 0304001.

[2] 祝善友, 张桂欣, 巩彩兰, 等. 基于方差补偿矩匹配的红外图像非均匀性校正方法[J]. 光学学报, 2013, 33(12): 1211002.

    Zhu S Y, Zhang G X, Gong C L, et al. Non-uniformity correction method based on standard deviation value compensation after moment matching[J]. Acta Optica Sinica, 2013, 33(12): 1211002.

[3] Liu N, Qiu H. A time-domain projection-based registration-scene-based nonuniformity correction technology and its detailed hardware realization[J]. Optical Review, 2014, 21(1): 17-26.

[4] Hardie R C, Hayat M M, Armstrong E, et al. Scene-based nonuniformity correction with video sequences and registration[J]. Applied Optics, 2000, 39(8): 1241-1250.

[5] 冷寒冰, 易波, 谢庆胜, 等. 基于时域矩匹配的红外图像自适应非均匀性校正[J]. 光学学报, 2015, 35(4): 0410003.

    Leng H B, Yi B, Xie Q S, et al. Adaptive nonuniformity correction for infrared images based on temporal moment matching[J]. Acta Optica Sinica, 2015, 35(4): 0410003.

[6] 钱润达, 赵东, 周慧鑫, 等. 基于加权引导滤波与时域高通滤波的非均匀性校正算法[J]. 红外与激光工程, 2018, 47(12): 1204001.

    Qian R D, Zhao D, Zhou H X, et al. Non-uniformity correction algorithm based on weighted guided filter and temporal high-pass filter[J]. Infrared and Laser Engineering, 2018, 47(12): 1204001.

[7] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[J]. Proceedings of SPIE, 1990, 1308: 224-233.

[8] 赵春晖, 刘振龙. 改进的红外图像神经网络非均匀性校正算法[J]. 红外与激光工程, 2013, 42(4): 1079-1083.

    Zhao C H, Liu Z L. Improved infrared image neural network non-uniformity correction algorithm[J]. Infrared and Laser Engineering, 2013, 42(4): 1079-1083.

[9] Qian W X, Chen Q, Gu G H. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]. Optical Review, 2010, 17(1): 24-29.

[10] Zuo C, Chen Q, Gu G H, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]. Optical Review, 2011, 18(2): 197-202.

[11] Zhou D B, Wang D J, Huo L J, et al. Scene-based nonuniformity correction for airborne point target detection systems[J]. Optics Express, 2017, 25(13): 14210-14226.

[12] Liu C W, Sui X B, Liu Y, et al. FPN estimation based nonuniformity correction for infrared imaging system[J]. Infrared Physics & Technology, 2019, 96: 22-29.

徐泽林, 路东明, 王利平, 顾国华. 利用灰度差估计的条纹非均匀性校正方法[J]. 光学学报, 2021, 41(5): 0511001. Zelin Xu, Dongming Lu, Liping Wang, Guohua Gu. Fringe Non-Uniformity Correction Method Based on Gray Difference Estimation[J]. Acta Optica Sinica, 2021, 41(5): 0511001.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!