基于视觉特征融合的机载红外弱小目标检测 下载: 851次
1 引言
红外成像系统具有隐蔽性好、探测距离远等优点,在现代**领域发挥着重要作用[1]。在远距离机载成像过程中,目标图像的像素很少,通常呈点状特征[2]。受大气扰动及光学散射等影响,目标能量微弱,当机载成像平台发生姿态调整或抖动时,探测到的目标缺乏具体的形状、纹理及结构信息,使能够提取的特征信息很少[3-5]。此外,由于目标和机载成像平台通常具有机动运动特性,当目标受云层遮挡或杂波等高亮背景干扰时,目标和背景难以有效区分[6]。以上因素使得机载环境下的目标检测问题成为亟待解决的技术瓶颈问题之一[7]。
现有红外弱小目标检测方法可分为基于空间域的方法、基于变换域的方法、基于神经网络或深度学习的方法等。基于空间域的方法采用特定的空间滤波器对图像进行滤波,对原始图像与背景估计图像进行差分运算来抑制背景,实现背景预测,如最大均值滤波、最大中值滤波[8]、形态学滤波等[9-11],此类方法具有工程实现简单的优势,但在复杂背景下很难满足理想的假设条件,检测率较低。基于变换域的方法在抑制背景变化影响的同时,提高了目标信噪比,有效保留了目标及图像中部分边缘,如高通滤波[12-13]、小波变换[14-15]等,此类方法对平缓背景下目标的检测效果较好,但对背景起伏比较大的红外图像,尤其是对云层边缘杂波,抑制能力较差,虚警率上升。基于深度学习的方法是近年来涌现出的一种新的技术手段[16-18],已在合成孔径雷达(SAR)图像、多光谱遥感图像等领域得到应用[19],但该方法的检测效果通常依赖于完备数据集,且需要计算性能很高的硬件平台,可解释性较差,现阶段仍难以应用于机载目标检测场合中。
近年来,人类视觉机制在红外弱小目标检测中起着非常重要的作用,即人的视觉系统能够从较为复杂的视觉环境中敏捷地提取出关键区域,并指向显著性目标,抑制无效信息。因此,人类视觉机制可高效率地对红外弱小目标进行精准检测[20]。目前,研究的人类视觉机制主要依据弱小目标与背景在多种特征及尺度上的差异,利用视觉特征进行背景抑制,提取目标区域。文献[ 21]利用灰度及方向特征,通过多方向线重构抑制背景杂波,利用信息熵差异将目标与背景分离,增强目标。然而,若图像中目标信号较为微弱时,信息熵方法不能达到增强目标的效果,使得目标的检测率降低。文献[ 22]采用对比度特征和尺度特征来检测目标,该方法可增强微弱目标的强度,但对于具有复杂云层背景的图像,可能会将锐利的云层边缘与真实目标混淆。
针对上述不足,本文提出一种基于视觉特征融合的机载目标检测方法。所提方法依据人类视觉机制对重要信息极其敏感的特性进行分析,依据目标与背景的梯度特征及灰度特征上的差异,对红外弱小目标进行检测。首先利用Laplace方法对图像进行预处理,提高图像中的边缘轮廓;然后根据目标与背景边缘的梯度特性差异,采用局部多向梯度方法抑制预处理后的图像中云层边缘杂波的干扰,降低虚警率;其次利用图像的灰度差异特性,采用局部灰度差方法剔除原始图像中云层和天空环境下较暗或均匀的背景,增强目标,提高目标的检测率;最后对基于梯度和灰度两类视觉特征信息提取的图像进行融合,实现复杂背景的抑制和目标显著性的增强,并进行阈值分割,检测出真实目标。
2 基于视觉特征的目标检测
2.1 复杂背景下图像的预处理
机载环境下探测到的红外图像主要由弱小目标、云层及天空组成。在复杂背景环境下,目标通常会受到天空中高亮度云层的影响,当部分目标被云层遮挡时,目标的完整性较差并且不易被检测,云层的位置分布和几何尺寸将对目标检测造成严重干扰。利用图像边缘增强的理念,对所获取的红外图像进行预处理,使得图像中不同灰度区域的模糊边界或边缘表现为灰度突变,以提高目标识别能力。
对于图像f(i,j),在像素点(i,j)处的Laplace算子的表达式为
式中:
Laplace算子的意义在于提取图像中的模糊边缘。对原始图像中灰度分布较均匀的区域,
式中:I(i,j)为轮廓边缘增强后的图像。效果如
从
图 1. 高亮度云层的增强效果。(a)原始图像;(b)边缘提取图像;(c)叠加图像
Fig. 1. Enhancement effect of high brightness cloud. (a) Original image; (b) edge extraction image; (c) overlay image
2.2 基于梯度特征的背景抑制
复杂云层环境是方法检测性能较低的主要因素之一,其中,与目标灰度相近的高亮度云层边缘将进一步增加目标的检测难度。利用视觉机制对图像边缘敏感区进行分析,云层边缘与目标灰度值较高,与天空背景形成鲜明的对比,表现出极为突出的视觉特征,使得云层边缘易与目标产生混淆。目标通常具有很小的尺寸且呈亮斑状。
图 2. 目标及其邻域的强度和梯度分布图。(a)原始图像;(b)强度三维分布;(c)梯度图
Fig. 2. Distribution maps of intensity and gradient of target and its neighborhood. (a) Original image; (b) 3D intensity distribution; (c) gradient map
相比于目标的梯度特性,云层边缘强杂波区域的梯度方向具有特定同向的分布趋势。
图 3. 云层及其梯度分布。(a)原始图像;(b)云层边缘区域梯度分布
Fig. 3. Cloud and its gradient distribution. (a) Original image; (b) gradient distribution of cloud edge region
根据弱小目标的视觉特征,利用目标与云层边缘的梯度特征差异来处理高亮云层环境下的云层边缘强杂波的背景抑制问题。从降低计算量以提高处理效率角度考虑,选取四个方向的对称梯度算子,其大小为3×3,如
需要说明的是,此时目标的梯度方向指向目标中心,因此要选取满足要求的目标像素。将每个像素点分别作为坐标原点,并且在以坐标原点为中心,其局部区域大小为N×N的图像块中建立极坐标系,将其划分成四个区域,则每个区域中射线与极坐标轴的夹角符合几何关系,表达式为
式中:ψn为局部区域的第n个区域,n=1,2,3,4;(γ,θn)为极坐标中的一个点。
由于目标的梯度方向应指向其中心,因此目标的梯度应满足
式中:
对每个区域中指向中心的像素点计算梯度幅值,表达式为
式中:Nm(m=1,2,…,Nm)为每个区域中达到方向条件的像素数目;
在每个图像块中,Gmax和Gmin为Gn的最大和最小值,表达式分别为
图像中各个图像块的局部多向梯度幅值G定义为
式中:k为梯度幅值比率。
由于目标的梯度矢量在各个方向均匀分布,因此每个方向上的梯度幅值比较接近,此时梯度幅值中最小值与最大值比值接近1,大于梯度幅值比率,目标容易被提取。然而,云层边缘的方向为局部定向,其梯度幅值相差较大,各方向的梯度幅值会有最大值和最小值之分,使得最小值与最大值比值较小,因此采用比较Gmin和Gmax的比值与梯度幅值比率的方法来抑制复杂云层边缘。梯度幅值比率k是从实验中获得的。因此采用局部多向梯度方法对云层边缘强杂波进行抑制,减少了复杂背景下图像的虚警现象。
2.3 基于灰度特征的目标增强
在复杂云层环境下,天空和云层占极大部分,体积很大,内部的云层灰度几乎相同,没有局部梯度特征。但机载过程中机身温度较高,探测到的目标的红外辐射强度高于天空和云层背景,从而表现为图像中目标灰度高于天空和云层区域的视觉特征。因此,考虑到图像的灰度特征,采用局部灰度差方法模拟人眼系统对感兴趣点的视觉机制,在对图像中云层和天空内部均匀背景及复杂环境下的较暗背景进行抑制同时适当地增强目标。
以原始图像f中每个像素为区域中心,其局部区域Ω的大小为M×M,其中M≥3。图像中各个Ω的像素均值表示为
式中:MΩ为局部区域的像素个数。
图像的局部灰度差D(i,j)为
式中:α'为增强系数;Vg为原图像的方差;Vl为局部区域的方差;fmean(i,j)为局部区域Ω的均值。
在图像中,背景主要是云层和天空,而目标与背景间会有微弱的不连续,目标通常是突出的。对图像中在各种情况下的局部区域的灰度差进行讨论,结果如下。
1) 在红外图像中,当局部区域在天空背景或云层内部时,由于云层和天空背景区域成片分布,灰度变化较小,局部灰度差值会较小,其中小区域范围内灰度变化相对均匀,局部灰度差会为极小值甚至为0。
2) 当目标与高亮度云层都出现在局部区域时,相比局部的高亮度云层,目标通常会有微小的强度突变。由于Vg为固定值,图像中的背景多数为高亮云层,Vl较小,则α'比较大,虽然目标和云层灰度较高,均值差很小,但是此时的α'会使局部灰度差变得较大,目标得到适当增强,低于局部均值的云层背景会被抑制。
3) 当局部区域同时包含目标、云层边缘及天空背景时,相比天空背景,目标和云层边缘强杂波的灰度值均较高。由于Vg为固定值,局部区域中整体的灰度均值较低,Vl较大,此时α'较小,可预防对云层边缘强杂波进行增强的问题。因此,局部区域会存在一定大小的灰度差,低于局部均值的较暗天空背景会被抑制。
在弱小目标的检测过程中,局部灰度差方法的优势在于通过有效地抑制均匀及较暗的背景干扰,适当地增强了目标像素强度,提高目标的检测率。
2.4 视觉特征融合及阈值分割
根据梯度特征和灰度特征对应的不同特征图像,对各个特征图像进行融合,得到映射图像F:
式中:G(i,j)为局部多向梯度值。
最后,利用自适应阈值从图像F中得到目标:
式中:mean[·]和V[·]分别为映射后图像的非0像素的均值和方差;λ为调节系数,一般为3~10。对于图像像素F(i,j),若F(i,j)≥T,则可能是目标,反之,可能为背景。
3 实验与分析
3.1 实验结果与仿真环境
实验中,利用具有高亮度云层和低亮度云层环境的图像对所提方法的检测性能进行验证,结果如
从
图 5. 检测结果。(a)原始图像;(b)原始图像的强度三维分布;(c)效果图;(d)效果图的强度三维分布
Fig. 5. Detection results. (a) Original image; (b) 3D intensity distribution of original image; (c) effect image; (d) 3D intensity distribution of effect image
3.2 对比实验
为了验证所提方法的性能,对所提方法、Top-Hat滤波方法、基于线的图像重构和信息熵增强(LRES)检测方法、基于局部强度和梯度(LIG)检测方法、NRAM[2]检测方法进行比较。
从
图 6. 不同方法的检测效果图。(a)原图;(b) Top-Hat方法;(c) LRES方法;(d) NRAM方法;(e) LIG方法 (f)所提方法
Fig. 6. Detection results of different methods. (a) Original image; (b) Top-Hat method; (c) LRES method; (d) NRAM method; (e) LIG method; (f) proposed method
表 1. 不同方法的检测性能
Table 1. Detection performance of different methods
|
表 2. 不同方法的SCR
Table 2. SCR of different methods
|
表 3. 不同方法的BSF
Table 3. BSF of different methods
|
为了定量评价所提方法的检测性能,采用信杂比(SCR)和背景抑制因子(BSF)[21]评价指标对所提方法和其他典型的三种检测方法的性能进行定量评价,结果如
式中:Ft为输出图像中目标的像素强度;Fm为输出图像局部区域中背景区域的均值;σ为输出图像局部区域中背景区域的标准差。实验中,局部区域尺寸为15 pixel×15 pixel。
BSF定义为
式中:σin为输入图像的灰度标准差;σout为输出图像的灰度标准差。
从
4 结论
针对梯度方法不能准确检测出被云层遮挡的目标的问题,利用Laplace算法对图像进行预处理,保护复杂云层环境中目标的完整性且提高了目标的显著性,局部多向梯度方法有效地抑制锐利云层边缘强杂波的干扰。局部差方法剔除了较暗和无梯度特性的均匀背景,适当地增强了目标。采用所提方法对目标检测进行实验。实验结果表明:与Top-Hat方法、LRES方法、LIG方法相比,在复杂背景条件下,所提方法的信杂比和背景抑制因子均得到了显著性的提升,说明所提方法能增强目标,也能减小复杂背景杂波影响,并且有效地减少了虚警率。依据信杂比,所提方法增强目标的效果优于NRAM方法,且明显提高了对目标的检测能力。因此,在复杂云层背景和强杂波环境下,所提方法在机载红外弱小目标检测中具有良好的适用性。
[1] 朱婧文, 刘文好, 印剑飞, 等. 基于改进复杂度的红外弱小目标区域检测算法[J]. 激光与光电子学进展, 2018, 55(10): 101006.
[2] Zhang L D, Peng L B, Zhang T F, et al. Infrared small target detection via non-convex rank approximation minimization joint l2,1 norm[J]. Remote Sensing, 2018, 10(11): 1821.
[3] Li Y S, Zhang Y J, Yu J G, et al. A novel spatio-temporal saliency approach for robust dim moving target detection from airborne infrared image sequences[J]. Information Sciences, 2016, 369: 548-563.
[4] 赵高鹏, 李磊, 王建宇. 基于结构张量分析的弱小目标单帧检测[J]. 光子学报, 2019, 48(1): 0110001.
[5] Gao J L, Wen C L, Liu M Q. Robust small target co-detection from airborne infrared image sequences[J]. Sensors, 2017, 17(10): 2242.
[6] Shi Y F, Wei Y T, Yao H, et al. High-boost-based multiscale local contrast measure for infrared small target detection[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(1): 33-37.
[8] Hu J, Yu Y, Liu F. Small and dim target detection by background estimation[J]. Infrared Physics & Technology, 2015, 73: 141-148.
[9] Zeng M, Li J X, Peng Z. The design of Top-Hat morphological filter and application to infrared target detection[J]. Infrared Physics & Technology, 2006, 48(1): 67-76.
[10] Bai X Z, Zhou F G. Analysis of new Top-Hat transformation and the application for infrared dim small target detection[J]. Pattern Recognition, 2010, 43(6): 2145-2156.
[11] 陆福星, 李夜金, 陈忻, 等. 基于Top-Hat变换的PM模型弱小目标检测[J]. 系统工程与电子技术, 2018, 40(7): 1417-1422.
Lu F X, Li Y J, Chen X, et al. Weak target detection for PM model based on Top-Hat transform[J]. Systems Engineering and Electronics, 2018, 40(7): 1417-1422.
[12] Wang P, Tian J W, Gao C Q. Infrared small target detection using directional highpass filters based on LS-SVM[J]. Electronics Letters, 2009, 45(3): 156-158.
[14] Ahmadi K, Salari E. Small dim object tracking using frequency and spatial domain information[J]. Pattern Recognition, 2016, 58: 227-234.
[15] Xin Y H, Zhou J, Chen Y S. Dual multi-scale filter with SSS and GW for infrared small target detection[J]. Infrared Physics & Technology, 2017, 81: 97-108.
[16] Qian K, Zhou H X, Qin H L, et al. Guided filter and convolutional network based tracking for infrared dim moving target[J]. Infrared Physics & Technology, 2017, 85: 431-442.
[17] Qin H L, Han J J, Yan X, et al. Infrared small moving target detection using sparse representation-based image decomposition[J]. Infrared Physics & Technology, 2016, 76: 148-156.
[18] Gao C Q, Zhang T Q, Li Q. Small infrared target detection using sparse ring representation[J]. IEEE Aerospace and Electronic Systems Magazine, 2012, 27(3): 21-30.
[19] Chen H, Jiao L C, Liang M M, et al. Fast unsupervised deep fusion network for change detection of multitemporal SAR images[J]. Neurocomputing, 2019, 332: 56-70.
[20] 杨昳, 徐长彬, 马玉莹, 等. 低信噪比下的红外弱小目标检测算法研究综述[J]. 激光与红外, 2019, 49(6): 643-649.
Yang Y, Xu C B, Ma Y Y, et al. A review of infrared dim small target detection algorithms with low SNR[J]. Laser & Infrared, 2019, 49(6): 643-649.
[21] Shang K, Sun X, Tian J W, et al. Infrared small target detection via line-based reconstruction and entropy-induced suppression[J]. Infrared Physics & Technology, 2016, 76: 75-81.
[22] Zhang H, Zhang L, Yuan D, et al. Infrared small target detection based on local intensity and gradient properties[J]. Infrared Physics & Technology, 2018, 89: 88-96.
[23] Han J H, Liang K, Zhou B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616.
Article Outline
仇国庆, 杨海静, 王艳涛, 魏雅婷, 罗盼. 基于视觉特征融合的机载红外弱小目标检测[J]. 激光与光电子学进展, 2020, 57(18): 181004. Guoqing Qiu, Haijing Yang, Yantao Wang, Yating Wei, Pan Luo. Dim Target Detection in Airborne Infrared Images Based on Visual Feature Fusion[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181004.