利用灰度差估计的条纹非均匀性校正方法 下载: 952次
1 引言
目前,红外成像系统已经广泛应用在**领域和民用领域,如红外制导、红外预警、夜视、监视系统和火灾探测等[1],而红外焦平面阵列(IRFPA)是成像系统的重要组成部分之一。受到制造工艺和材料特性等方面的限制,使得焦平面中各探测像元的响应特性不一致,进而导致红外图像具有非均匀性。IRFPA的非均匀性通常以固定图案噪声(FPN)的形式出现,其中条纹状或网格状的FPN是制冷和非制冷IRFPA组件常见的非均匀性噪声模式[2]。非均匀性噪声会严重影响系统的成像质量,因此需要通过非均匀性校正(NUC)技术有效地减小或消除非均匀性的影响。
目前,IRFPA的非均匀性校正算法主要分为基于定标的非均匀性校正算法和基于场景的非均匀性校正算法[3-4]。基于定标的校正方法简单且易于实现,但其参数会随着时间的变化产生飘移,如果不进行周期性的重复定标,就会直接影响系统的可靠性。基于场景的校正方法能够根据所在场景本身的特征来更新校正参数,从而自适应校正非均匀性。
基于场景的非均匀性校正算法主要分为基于统计的校正方法和基于配准的校正方法两大类[5]。基于统计的校正方法通常根据在时间和空间上的统计假设以实时更新校正参数,从而实现非均匀性校正,其中最具代表性的方法有时域高通滤波[6]、恒定统计[7]和神经网络[8]等,但此类方法在一些复杂的应用场景中难以满足假设的条件,从而引起校正结果出现鬼影。Qian等[9]提出了基于空域低通时域高通(SLTH)的校正方法,该方法只对图像中的高频部分进行滤波,降低了低频背景对时域滤波器的影响,有效抑制了鬼影,但是容易造成边缘信息的损失。Zuo等[10]提出了基于双边滤波的时域高通滤波(BFTH)算法,该算法能够在保护图像边缘信息的同时对非均匀性进行校正,并且能够有效抑制鬼影,但容易受到慢速高亮场景的影响。对于基于配准的校正方法,科研人员认为在较短的时间内,各探测像元对视场中同一点的辐射响应是一致的,但实际情况下不同探测像元对同一点的辐射响应存在差异,通过准确计算相邻帧之间的位移,就能对这些差异进行分析从而得到非均匀性,但这种方法限制较多,计算量较大,校正误差容易逐级累积,不易实现。
综上所述,本文提出一种利用灰度差估计的条纹非均匀性校正方法。首先根据条纹噪声固有的空间特性,对每一帧图像存在非均均匀性条纹的位置进行判断;然后根据条纹位置处相邻像素间的灰度差,对非均匀性进行初步估计,并通过下一帧图像对当前估计值进行评价, 根据评价结果完善估计值;最后将所提方法与其他传统方法进行比较。实验结果表明,所提方法具有有效性。
2 非均匀性校正
2.1 非均匀性的基本表述
假设IRFPA器件工作在线性区域,则每一个探测像元的输入与相应的输出都应当满足线性关系,这种线性关系可以表示为
式中:(i,j)表示焦平面内探测像元的行列坐标,同时也对应输出红外图像的行列坐标;g(i,j)(f)和o(i,j)(f)分别表示第f帧图像在(i,j)位置处探测像元的增益和偏置;X(i,j)(f)表示第f帧图像在(i,j)位置处探测像元接收到的辐照度;Y(i,j)(f)表示第f帧图像在(i,j)位置处探测像元对应的输出值。(1)式可简化为
式中:I(i,j)(f)表示第f帧图像在(i,j)位置处像素校正后的灰度值;N(i,j)(f)表示第f帧图像在(i,j)位置处像素包含由非均匀性引起的灰度差估计值。
2.2 相邻像素的非均匀性分析
从某一像素的角度来看,红外图像的非均匀性往往表现为4种情况,如水平方向相邻像素的非均匀性、垂直方向相邻像素的非均匀性、右对角相邻像素的非均匀性以及左对角相邻像素的非均匀性。4种情况下相邻像素的相对位置如
图 1. 4种情况下相邻像素的相对位置。(a)水平方向;(b)垂直方向;(c)右对角方向;(d)左对角方向
Fig. 1. Relative positions of adjacent pixels in 4 cases. (a) Horizontal direction; (b) vertical direction; (c) right diagonal direction; (d) left diagonal direction
4种方向相邻像素的的非均匀性往往会在各自的正交方向上累积,为此形成条纹型非均匀性噪声。以水平方向相邻像素的的非均匀性为例,如果水平方向相邻像素的的非均匀性在垂直方向上累积到某种程度,就会形成垂直方向的条纹噪声,如
相邻像素的非均匀性主要体现在灰度值的差异上,而相邻像素间的灰度差由输入图像本身细节引起的差异,以及由相邻探测像元响应不一致引起的差异两部分组成。对于水平方向的非均匀性,相邻像素间的灰度差可以表示为
式中:
其他几种类型的非均匀性与上述情况相似,这里不再对其进行一一分析。
2.3 条纹型非均匀性的估计
非均匀性的估计需要进一步判定各位置处的像素是否包含非均匀性或是包含非均匀性的类型,可以从图像所包含条纹噪声的类型展开分析。
以水平方向相邻像素的的非均匀性判定为例,假设(i,j)位置处的像素与其水平方向相邻像素有着较大的灰度差,并且当前像素所在列(即第j列)存在垂直方向的非均匀性条纹,那么(i,j)位置处的像素就有相当大的概率包含水平方向的非均匀性条纹。
假设当前显示的一帧图像(f>1)为
式中:Y(f)表示校正前的第f帧图像;I(f)表示校正后的第f帧图像,令I(1)=Y(1);N(f-1)表示第(f-1)帧图像得到的非均匀性估计值;M和N分别表示图像的行数和列数。
计算图像中每个像素与其水平方向相邻像素的差值,得到的差值矩阵为
此处为了便于处理,将Dh(f)第一列的数值全部置零。随着校正算法的迭代,条纹噪声的范围也会不断收缩。为了提高估计的适应性,引入阈值参数β,β是关于C的函数,其中C表示目前经过估计的图像序列,某一位置被判定包含水平方向非均匀性的像素个数。β(C)的变化规律如
实际的红外图像序列中,非均匀性噪声主要以固定图案噪声的形式出现,并且变化速率十分缓慢,则非均匀性的灰度差估计值
式中:1/G表示估计步长;
由(3)式可知,非均匀性所引起的灰度差
水平方向非均匀性的存在参数
式中:
标志参数
式中:Th表示判断标准的阈值。当
式中:α表示阈值参数,用于调节阈值的大小,一般α=1。
其余几个方向的非均匀性估计与水平方向非均匀性估计的思想类似,最终都可以通过类似于(6)式的形式得到各自的估计值。
当非均匀性噪声为对角方向的斜条纹时,以右对角方向的非均匀性条纹为例,此时需要计算图像中每个像素与其左对角方向相邻像素的差值,差值矩阵可表示为
后续步骤也与水平方向非均匀性估计的思想类似。
3 实验结果与分析
对所提校正方法的性能进行评价,并与参考文献[ 9,11]中的两种校正方法进行比较,两种方法分别为SLTH方法和CSAR(Constant Statistics of Adjacent Ratios)方法。实验过程中,使用两组带有非均匀性的红外视频序列来评价这三种方法。第一组序列是在均匀的红外图像中添加非均匀性条纹所形成的图像序列,第二组序列是带有真实非均匀性条纹的图像序列。校正过程中,根据经验设置βmax=0.7、βmin=0.4、G=40、α=1、C1=10和C2=50。
第一组序列是在一组均匀的图像中添加一定均值和方差的模拟条纹噪声形成的,一帧图像加噪前后的对比结果如
图 4. 加噪前后的对比图像。(a)原始图像;(b)噪声图像
Fig. 4. Comparison of images before and after adding noise. (a) Original image; (b) noisy image
表 1. 不同方法对模拟非均匀性的平均校正效果
Table 1. Average correction effects of different methods on simulated non-uniformity
|
表 2. 不同方法对实际非均匀性的平均粗糙度
Table 2. Aerage roughness of different methods on actual non-uniformity
|
为了客观评价三种方法的校正结果,使用方均根误差(RMSE)和粗糙度系数(ρ)作为评价指标[12]。RMSE的定义表达式为
式中:
ρ的定义表达式为
式中:h1和h2分别表示水平和垂直方向的差分滤波器;I表示待分析的图像;‖I‖1表示I的L1范数;*表示离散卷积符号。校正后图像的ρ值越小,表示图像的非均匀性程度越弱,校正效果越好。
分别使用三种方法对图像序列进行校正,校正效果如
图 5. 不同方法对模拟非均匀性的校正效果。(a)噪声图像;(b) SLTH方法;(c) CSAR方法;(d)所提方法
Fig. 5. Correction effects of different methods on simulated non-uniformity. (a) Noisy images; (b) SLTH method; (c) CSAR method; (d) proposed method
图 6. 不同方法对模拟非均匀性校正效果的性能曲线。(a) RMSE;(b)粗糙度
Fig. 6. Performance curves of different methods on simulated non-uniformity. (a) RMSE; (b) roughness
从
从
采用一组实际含有条纹非均匀性的红外图像序列来测试所提方法的校正性能。图像序列是由分辨率为640 pixel×512 pixel的非制冷型热像仪采集而得的,分别采用三种方法对采集的1000 frame图像进行非均匀性校正,校正效果如
图 7. 不同方法对实际非均匀性的校正效果。(a)噪声图像;(b) SLTH方法;(c) CASR方法;(d)所提方法
Fig. 7. Correction effects of different methods on actual non-uniformity. (a) Noisy images; (b) SLTH method; (c) CASR method; (d) proposed method
从
图 8. 不同方法对实际非均匀性的粗糙度比较
Fig. 8. Roughness comparison of different methods on actual non-uniformity
4 结论
对条纹非均匀性图像中的相邻像素的非均匀性进行分析,提出一种利用灰度差估计的条纹非均匀性校正方法。该方法通过条纹噪声的空间特性来确定每一帧非均匀性出现的位置,再根据这些位置处相邻像素间的灰度差对非均匀性进行估计,发现估计值会随着每一帧的评价而不断完善。将所提方法与SLTH方法和CSAR方法进行比较。实验结果表明,所提方法能够显著降低红外图像中的条纹非均匀性,并且计算量较小,非常利于硬件化的实现。
[1] 吴泽鹏, 贾宏光, 宣明, 等. 基于扩展全变分的红外焦平面阵列非均匀性校正方法[J]. 光学学报, 2014, 34(3): 0304001.
[2] 祝善友, 张桂欣, 巩彩兰, 等. 基于方差补偿矩匹配的红外图像非均匀性校正方法[J]. 光学学报, 2013, 33(12): 1211002.
[5] 冷寒冰, 易波, 谢庆胜, 等. 基于时域矩匹配的红外图像自适应非均匀性校正[J]. 光学学报, 2015, 35(4): 0410003.
[6] 钱润达, 赵东, 周慧鑫, 等. 基于加权引导滤波与时域高通滤波的非均匀性校正算法[J]. 红外与激光工程, 2018, 47(12): 1204001.
[7] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[J]. Proceedings of SPIE, 1990, 1308: 224-233.
[8] 赵春晖, 刘振龙. 改进的红外图像神经网络非均匀性校正算法[J]. 红外与激光工程, 2013, 42(4): 1079-1083.
[11] Zhou D B, Wang D J, Huo L J, et al. Scene-based nonuniformity correction for airborne point target detection systems[J]. Optics Express, 2017, 25(13): 14210-14226.
徐泽林, 路东明, 王利平, 顾国华. 利用灰度差估计的条纹非均匀性校正方法[J]. 光学学报, 2021, 41(5): 0511001. Zelin Xu, Dongming Lu, Liping Wang, Guohua Gu. Fringe Non-Uniformity Correction Method Based on Gray Difference Estimation[J]. Acta Optica Sinica, 2021, 41(5): 0511001.