基于配准的机载红外非均匀性校正技术应用 下载: 1187次
1 引 言
机载红外点目标探测系统是一种基于红外成像机理实现的准全天候、被动式无源探测系统,可快速对远距离点目标进行探测及预警。远距离目标(飞机、导弹)在红外探测系统焦平面上的成像面积通常只占几个像元甚至只有一个像元,在大气辐射、成像场景复杂、探测器自身非均匀性噪声等综合因素影响下,系统会存在低探测概率或高虚警率[1-2]。其中,非均匀性噪声作为主要噪声在红外探测系统工作中会直接影响成像质量,其在图像上多以乘性噪声、加性噪声或二者混合的形式表现为明暗不均的固定图案噪声,这会掩盖目标的边缘和细节信息,使图像中的目标模糊不清。尤其在微弱点目标探测预警中,在非均匀噪声的影响下,红外探测器盲元,噪声等孤立像素点常会被误判为点目标[3-4],给后续的应用带来很大的影响[5]。
导致红外探测器产生非均匀性噪声的原因有多种,主要包括红外焦平面阵列中各探测单元的响应特性不一致、红外光学系统加工装调误差、红外焦平面阵列输入驱动误差、无效探测单元、工作温度变化、读出电路本身非均匀性以及读出电路与探测器耦合的非均匀性等。其中,最主要的原因是红外焦平面阵列中各探测单元的响应输出存在非均匀性。要彻底解决这一问题,必须从探测器的原材料、设计、加工工艺等方面入手,涉及电子学、物理学、材料学等学科[6]。就目前各学科研究现状还很难保证红外焦平面阵列各个探测单元响应输出的均匀性。因此,机载红外探测系统在工作前一定要进行非均匀性校正。
上世纪90年代开始,国内外研究人员对红外非均匀性校正开展了大量研究,大体可分为两大类,基于标定的非均匀性校正方法[7]和基于场景的非均匀性校正方法[8]。无论是哪种校正方法,目前都只能是在某些特定的条件下得到良好的校正效果。
目前我国机载红外探测系统的非均匀性校正主要采用地面标定法,但由于机载系统工作环境复杂,同时随着近年来成像系统的焦距增长,口径增大,地面标定法的准确性在一定程度上受到影响,国外已采用基于场景的非均匀性校正方法或二者相结合进行非均匀性校正。国内基于场景的非均匀性校正方法研究多停留在实验室仿真阶段,缺少工程化应用。为解决此问题,本文在第2节阐述了典型的机载红外非均匀校正技术,指明它们的问题所在;在第3节中提出基于帧间配准的算法,规避了传统方法所遇到的问题;第4节描述了实验比较过程,验证了算法的有效性;最后总结本文算法的应用条件,以及在工程应用的可行性。
2 典型机载红外非均匀性校正技术分析
2.1 基于标定的机载红外非均匀性校正方法
基于标定的非均匀性校正算法是建立在探测像元输出响应特性为非时变的前提条件下的。利用标准黑体辐射源在不同的已知温度下对红外焦平面阵列的非均匀性进行标定,按照一定的公式计算红外焦平面各个探测单元在均匀黑体辐射下的响应输出值与标准探测单元响应输出值,以获得各个探测元在特定温度下的校正系数(增益和偏置),然后使用校正系数再对各个探测单元的原始响应输出数据进行校正运算,使得探测器所有像元在同一温度下输出一致。基于标定的非均匀性校正算法原理简单、所需计算量小,目前使用的基于标定的机载红外非均匀性校正方法有地面两点法非均匀性校正、机载嵌入式低温黑体非均匀性校正、基于双黑体切换标定的机上非均匀校正[9]。
2.1.1 地面两点法非均匀性校正
地面两点法校正是将机载红外探测系统在实验室通过辐射定标计算校正系数[10]。该方法建立在两个前提假设的基础上:一是假设每个探测单元响应都是线性的;二是假设探测单元的响应具有时间稳定性。根据两点确定一条直线的原理,对直线上任意两点进行定标测量获取该直线参数。对于规格为M行N列的红外探测器而言,只需进行M×N次乘法运算和M×N次加法运算即可获取各像元的校正参数。这种方法虽然简单易行,但对探测器随时间偏移引起的非均匀性无法进行实时校正;并且地面标定过程中,由于无法模拟真实机载设备的复杂工作环境,因此,复杂热交换过程引起的光学系统产生的非均匀性无法进行校正。
2.1.2 机载嵌入式低温黑体非均匀性校正
机载嵌入式低温黑体校正法是为了补偿红外探测器非均匀性随时间漂移所提出的校正方法,具体是将一个嵌入式低温黑体插入到系统成像光路中,每次机载红外探测系统在有效成像前对探测器进行在线实时标定。这种方法的优点是可以解决辐射响应漂移和光学镜头微形变等现象带来的问题,但受限于整个系统的结构尺寸、重量和嵌入式黑体的研制水平等因素制约,难以实现对口径较大的主镜进行标定,且在标定过程中需要中断系统正常成像,降低了工作效率。目前的机载红外成像系统中还无法广泛应用该方法实现自标定。为获取更准确的校正参数,需要考虑探测器非线性响应的影响,而在采取线性模型模拟探测器非线性的辐射响应时,会产生一定的近似误差。尤其是当被标定温度点距离参考温度点较远时,校正误差会迅速增大。
2.1.3 基于双黑体切换标定的机上非均匀校正
机上黑体标定对于中长波红外来说一般可采用中温面源黑体作为内定标光源,双黑体切换标定装置可将其置于测量头部的整流罩上方,当需要进行机上非均匀校正时通过机械位移机构在成像光路中实现通光孔与黑体切换,通过两点法等标定方法获取红外探测系统非均匀校正参数。
标定类校正方法容易受到红外焦平面阵列探测单元响应特性漂移的影响,随着工作时间和温度的变化,红外焦平面阵列探测单元的响应特性漂移越来越大,因此在实际应用中需要周期性地定标,以减少漂移带来的误差。在周期性反复定标时需要暂停红外成像系统的工作,这在实时应用场合受到限制。尤其在机载红外载荷系统应用中,红外成像载荷随机快速起飞至巡航,温度,气压等外界条件在短时间发生急剧变化,环境温度多在−50 ℃~70 ℃,载荷工作温度在−10 ℃~−30 ℃,在此工况下光学系统多会发生微弱形变,地面标定系数很难直接满足机载点目标探测系统的高精度要求。
2.2 基于场景的机载红外非均匀性校正方法
基于场景的校正方法利用场景的统计特性来完成图像的非均匀性校正,不需要拍摄黑体的辐射图像,直接通过拍摄场景图像来实现非均匀性校正,可以回避机载红外探测系统机上黑体标定需要中断拍摄的问题,已成为近年来的研究热点[11]。这类方法大多需要目标和红外探测器之间发生相对运动,需要大量图像数据帧参与运算,通常采取迭代计算图像序列的场景信息来获取红外探测器的校正系数,校正参数的更新依赖于场景信息的变化,具有场景自适应校正的优点。但计算方法比标定法更复杂,对系统硬件条件要求较高。
对于机载红外探测系统常用的基于场景的非均匀性校正方法主要有时域高通滤波方法、常数统计量方法。
2.2.1 时域高通滤波方法
时域高通滤波算法(Temporal High-Pass Filtering,THPF)是一种基于统计的算法[12],它采用了原始信号与时域低通滤波信号的差。人眼信号处理系统中接收器在传输信号时存在一种现象:即当人眼长期观察有干扰背景的事物后,人眼会逐渐适应此干扰背景,可在有干扰背景的情况下观察有用的信号,也就是它会自动“滤除”背景干扰。对于一种相机获取的图像,假设只含非均匀性背景,即原始图像为干净图像与非均匀背景的叠加,并且非均匀背景随着时间的推移而缓慢变化。受人眼视觉系统的启发,可以设计一种机制以模拟人眼强大的适应能力,即人眼观察非均匀性背景一段时间后会降低对其敏感度,以获取“干净的”图像。该机制可用下式来表示:
式中,
2.2.2 常数统计量算法
常数统计量算法(Constant-Statistics,CS)的提出背景与THPF算法相同,都是模拟人眼的适应能力的机制[13]。区别在于THPF算法假设增益为1,仅仅是在偏置上做文章。而常数统计量算法则考虑了不同像元增益的差别所带来的影响。假设干净图像序列为
其沿时域标准差为:
由于计算沿时域的均值和标准差时,像元坐标
式中
该算法采用
因此,未知的增益可由
基于统计的算法处理结果非常依赖统计数据,并且校正参数的收敛速度较慢。由于统计的特性,它倾向于把场景内的不动或移动缓慢的目标当做是非均匀性的一部分来处理掉,因此容易产生残影,严重影响图像质量。它的应用条件要求相机相对场景有较快的运动。为了避免由于统计特性带来的缺陷,本文提出一种通过帧间配准并使得误差函数最小化来更新校正参数的算法(IRLMS)。
3 基于配准的机载红外非均匀性校正技术
3.1 基本假设
假设相邻一个时间间隔的两帧场景之间没有变化,而相机相对于场景的位置发生了一定的变化,此时所获取的两张图像可视为存在平移。因此可以考虑在配准之后采用最小化均方差值来求得像元的增益和偏移参数。根据此原理,构建了3个子模型,来求得像元的增益和偏移参数[14]。
首先,假设焦平面上每个像元
式中,n表示帧数,
其中
3.2 基于互功率谱计算配准位移
为了保证计算速度,考虑采用互功率谱的方法来计算配准位移[15],即求出用于配准所需的平移参数。假设相机在场景内获取的两帧图像之间存在一定的平移
图 1. 两帧图像之间相对于场景的位移示意图,两帧图像大小均为512×384
Fig. 1. Illustration of the relative displacement between two continuous frames. The size of the two images are both 512 × 384
连续两帧图像之间有如下的关系:
为计算两帧图像间的相对位移,根据傅立叶变换的位移定理,通过计算归一化的互功率谱(12)可得到两帧之间的相对位移(13):
式(12)中,
图 2. 该两帧图像之间的互功率谱(实部),图中峰值对应的坐标(x 0, y 0) = (−58,94)即为两帧图像之间的位移
Fig. 2. A cross-power spectrum between two frames of images (real part). The relative displacement (x 0, y 0) = (−58,94) is determined by the coordinate of the peak shown in the figure
实际上,互功率谱的精度很容易受到其他噪声的影响,因此,需要先对原始图像进行预处理,将坏点剔除掉。当非均匀性噪声非常明显时,它会在互功率谱的(0,0)处产生较大的响应幅度。如
经上述计算后,还需验证这两帧待配准图像是否有效[16],即两帧图像之间的互功率谱中,最大响应幅值是否显著高于其他响应的均值。若是,则认为最大响应对应的坐标为两帧图像之间相对于场景的位移,否则视为干扰,将其忽略掉,不参与后续校正参数的计算,该过程由下式表示:
式中k表示要求的显著程度,可根据不同的场景进行调整,一般取20。
图 3. 较明显的非均匀噪声产生的互功率谱响应示意图。(a)和(b)是两帧参与计算互功率谱的图,(c)为计算结果
Fig. 3. Illustration of a cross-power spectrum response caused by the significant non-uniformity. (a) and (b) are the two frames used to calculate the cross-power spectrum and (c) is the calculation result
图 4. 图3(c) 掩模过滤非均匀背景噪声响应后的互功率谱响应
Fig. 4. Cross-power spectrum inFig. 3(c) after filtering the non-uniformity background response by mask filter
3.3 校正参数的更新
在理想情况下,配准误差是可以忽略的,因此,配准位移可直接由式(13)计算得出。若有非均匀噪声的干扰,经过掩模处理后,也可得到配准位移。经平移配准后,可结合两帧图像间的像素差异计算亮度误差。因此需要定义误差函数:
式中,
式(15)中的
结合式(16)、式(17)和式(15)可改写为:
由此,误差函数就被定义为相邻两帧中重叠部分的差。
本文的目的是估计出增益
为使整体误差最小化,定义目标函数:
由式(20)可知,增益
式中a为学习率,它的大小对
4 实验结果与讨论
4.1 IRLMS算法的局限性
IRLMS算法的核心部分是图像配准,因此互功率谱确定出的配准位移成为非均匀性校正能否成功的关键,第3.2节介绍的互功率谱只能反映相对平移,不能反映相对旋转和缩放。而实际获取图像过程中,由于相机的抖动等原因不可避免地会引入相对旋转和缩放。因此,本实验在与其他算法比较之前,首先确定IRLMS算法的适用条件及其有效性。为此本文从一组干净图像入手,比较并分析了对配准精度有影响的因素,如
图 6. 图像变换对配准的影响。(a)原图;(b)(c)(d)分别相对于(a)平移(120,120)、旋转2°、放大1.03倍,(e)(f)(g)分别是(b)(c)(d)与(a)计算的互功率谱
Fig. 6. Registering accuracy affected by geometry transformation. (a) Original image; (b)(c)(d) are respectively translated by (120,120), rotated by 2 degrees, enlarged by 1.03 X relative to (a); (e)(f)(g) are the cross-power spectrum of (b)(c)(d) and (a), respectively.
4.2 旋转与缩放对估计校正参数的影响
为了比较不同程度旋转与缩放对校正参数估计的影响,本实验首先生成非均匀性的增益,并利用此增益生成模拟的非均匀性场景图像。
下面对一系列这样的图像进行实验,若相邻的两帧图像之间没有相对旋转或缩放,则IRLMS算法估计的非均匀性增益系数如
式中,
图 7. 添加增益非均匀性示意图。(a)真值图像;(b)模拟增益非均匀性背景(增益范围为0.5~1.5);(c)将(a)进行非均匀性增益,模拟非均匀场景图像
Fig. 7. Illustration of adding non-uniformity gain. (a) A ground-truth image; (b) simulated non-uniformity gain (range: 0.5~1.5); (c) non-uniformity scene after adding non-uniformity gain
图 8. 增益非均匀性真值与估计值的对比。 (a)真值;(b)估计值(MSE:0.0028)
Fig. 8. Comparison between ground-truth and estimated non-uniformity gains. (a) Ground-truth; (b) estimated by IRLMS (MSE: 0.0028)
若引入不同范围的随机相对旋转或缩放,则会导致估计准确性大大降低。如
图 9. 引入不同范围的随机旋转角度时估计增益系数的准确性
Fig. 9. Estimation correctness of gain coefficient by inducing various ranges of random rotation
图 10. 引入不同范围的随机缩放时估计增益系数的准确性
Fig. 10. Estimation correctness of gain coefficient by inducing various ranges of random scaling
表 1. 不同旋转或缩放范围对增益估计准确性的影响
Table 1. Influence of various ranges of random rotation or scaling on estimation correctness of gain coefficient
|
4.3 图像的比较
为了比较算法之间的性能,采用本文提出的IRLMS与THPF和CS分别处理一系列图像,对非均匀性增益的估计进行比较,如
图 11. 几种算法非均匀性增益迭代估计比较(从上到下:THPF、CS、IRLMS;从左到右:第10、20、50、100、200帧迭代估计)
Fig. 11. Iterative estimated non-uniformity gain comparisons of different algorithms (from top to bottom: THPF, CS, IRLMS; from left to right: the 10th, 20th, 50th, 100th, 200th frame).
图 12. 各算法的去非均匀性效果比较(从左到右分别是原图、THPF、CS、IRLMS、真值图像;从上到下行分别是该系列图像的第10、20、50、100帧)
Fig. 12. Performance comparisons of different algorithms, from left to right: Original, THPF, CS, IRLMS, Ground-truth images; from top to bottom: the 10th, 20th, 50th, 100th frame in the series of images.
4.4 图像评价方法
为了客观评价图像质量,本实验采用3个评价指标进行评价,分别是对比度(全局标准差)、峰值信噪比、结构相似度。
4.4.1 对比度(全局标准差)
对比度主要有3种:韦伯对比度、迈克尔逊对比度和标准差对比度。对于图像,一般采用标准差来代表对比度[17],即
式中,Iij表示在M×N大小的图像中位于i行j列的像素亮度,
表 2. 各种算法处理后图像的平均对比度(全局标准差)
Table 2. Average contrasts (global standard deviation) of the image processed by various algorithms
|
4.4.2 峰值信噪比
峰值信噪比(Peak Signal-Noise Ratio,PSNR)常常用于评价处理后的图像对未退化图像的忠实度指标。给定一个参考图像和测试图像,则PSNR的计算公式如下:
式中,b表示比特位,例如对于8位图像,
在本实验中,用模拟非均匀性场景图像进行处理,下面将采用最后的200帧图像计算PSNR的平均值,如
表 3. 各种算法处理后图像的平均峰值信噪比
Table 3. Average PSNRs of the images processed by various algorithms
(dB)
|
4.4.3 结构相似度
结构相似指数(Structural Similarity,SSIM)是根据亮度、对比度、结构特征这3个指标来评价图像质量的,计算公式如下[18]:
式中,
表 4. 各种算法处理后图像的平均结构相似性
Table 4. Average SSIMs of the images processed by various algorithms
|
5 论 结
经过实验比较可以发现,THPF算法和CS算法比较简单,易于实现,但它的参数极少,其校正结果非常依赖于统计,校正参数收敛速度较慢,它要求所拍摄的景物有持续的全局性变化,若存在运动速度较慢的目标,它容易在校正图像上留下“残影”,因此,不能够反映出真实的辐照度。IRLMS算法通过计算帧间位移信息进行配准,然后求出使得帧间误差最小的校正参数。在配准过程中,它采用互功率谱的方法来确定配准位移,避免了基于统计的算法带来的缺陷。因此,IRLMS对非均匀性校正效果更好。但互功率谱是一种归一化的相位谱,其结果非常依赖于高频信息,相邻两帧之间的相对旋转与缩放不能太大,否则,将会导致配准失败,进而导致非均匀性校正参数错误更新。由于该算法可调整的参数更多,可以在不同场景灵活调整,虽然该算法较为复杂,但校正参数收敛速度较快,可以抵消由于算法复杂度较高带来的不利影响,仍然容易在硬件中实现,能够实现在工程上的应用。
Article Outline
吕宝林, 佟首峰, 徐伟, 冯钦评, 王德江. 基于配准的机载红外非均匀性校正技术应用[J]. 中国光学, 2020, 13(5): 1124. Bao-lin LV, Shou-feng TONG, Wei XU, Qin-ping FENG, De-jiang WANG. Non-uniformity correction of airborne infrared detection system based on inter-frame registration[J]. Chinese Optics, 2020, 13(5): 1124.