1 引言

红外探测技术因其非接触式和被动探测的特点受到各国广泛关注,成为**侦察领域的研究热点之一^[1]。该技术主要以红外目标监测系统为载体,利用目标与背景之间红外辐射的差异对目标进行识别。相比于雷达探测技术,红外探测技术具有生存能力强、便携性好,以及可以实现对雷达盲区的探测等优点^[2]。相比于可见光探测技术,红外检测技术透过烟尘能力更强,可昼夜工作等优点十分突出。同时,随着红外技术的发展,红外探测技术应用也逐渐从**领域中的预警系统、空防系统、海防系统等扩展到民用领域中的医学成像、交通管理、机器人及自动驾驶等方面,可见对其研究具有十分重要的意义^[3-5]。但是,当前红外探测相关技术的实时性、稳健性还不能完全满足各方面的需要,因此红外弱小目标检测技术仍是下一步研究的重点。

红外弱小目标检测算法主要分为跟踪前检测算法(DBT)和检测前跟踪算法(TBD)两大类。DBT的重点在于对单帧图像的处理,首先进行预处理以突出目标,然后通过门限值对图像进行分割进而获得众多疑似目标,最后在序列图像中根据目标运动特点来对真实目标进行确认。DBT算法的复杂程度较低,实时性较好,且易于硬件实现,因此被广泛应用于实际工程中。但是对于信噪比较低、背景较为复杂的图像,该类算法有一定的局限性。而TBD算法则针对序列图像进行处理,首先在序列图像中对小目标进行跟踪,得到目标的众多疑似轨迹,然后通过对轨迹的确定进而实现目标检测。相比于DBT算法,TBD算法的主要部分为跟踪算法,对于信噪比较低的图像有更好的处理效果^[6],但该类算法实时性较差,目前在实际工程中应用较少。

由于对跟踪算法的研究也应重点考虑对图像背景的抑制,并且在许多应用场景中目标与成像传感器之间的相对运动会使基于序列图像的算法性能下降^[7]。因此,近年来对单帧图像算法的研究已成为红外弱小目标检测算法的主要研究方向之一。根据检测小目标所采用的基本思想,可以将相关算法分为基于滤波的方法、基于人类视觉系统(HVS)的方法、基于图像数据结构的方法3大类。其中,基于滤波的方法主要通过抑制背景进而达到检测红外弱小目标的目的,根据处理角度的不同可以分为基于空间域的处理方法和基于变换域的处理方法两种;基于HVS的方法通过目标与背景的局部差异构建可以突出目标的显著图,进而实现对目标的检测;基于图像数据结构的方法则利用目标矩阵与背景矩阵之间的特征差异从单帧图像中分离出目标。

本文首先对红外弱小目标的特征进行介绍,其次重点对当前基于单帧图像的红外弱小目标检测的各类算法及其改进算法的原理、主要步骤和特点进行综述,最后对红外弱小目标检测技术的研究和发展趋势进行简要分析。

2 红外弱小目标检测方法分析

2.1 红外弱小目标的特征

红外弱小目标在成像系统中的特点可以简单概括为“弱”和“小”两个方面。其中“弱”主要表现为对比度及信噪比较低,“小”则主要表现为目标所占像素数目少,导致目标缺乏固定的形状和纹理特征^[8-9]。根据国际光学工程学会(SPIE)对红外弱小目标的定义,对于大小为256 pixel×256 pixel的图像,成像尺寸小于总像素数的0.12%(即小于81 pixel)的目标为弱小目标^[10]。

目前,在对红外弱小目标的检测算法进行研究时,主要根据其大致为圆形、没有各向异性和主方向、与二维高斯函数相似的特点进行建模。图1引自文献[ 2],其中图1(a)和图1(c)为两幅实际的红外图像,右上角插图是为了清晰显示而对图像中弱小目标区域放大后的结果,图1(b)和图1(d)分别为两幅图像中弱小目标的三维强度图,图1(b)和图1(d)中两水平坐标表示像素位置,垂直坐标表示灰度强度,右侧的色度条表示灰度强度值。该模型可以用二维高斯函数表示^[11],即

s(x,y)=γexp-12xσx2+yσy2,(1)

式中:x和y分别表示横纵坐标;γ为目标的灰度幅值;σ_x和σ_y分别为横向和纵向的尺度参数。

图 1. 红外图像及三维(3D)强度分布。(a)包含小目标的实际红外图像1;(b)图像1中小目标区域的3D强度图;(c)包含小目标的实际红外图像2;(d)图像1中小目标区域的3D强度图

Fig. 1. Infrared images and three-dimensional (3D) intensity distributions. (a) Actual infrared image 1 containing small target; (b) 3D intensity distribution in small target area of image 1; (c) actual infrared image 2 containing small target; (d) 3D intensity distribution in small target area of image 2

下载图片 查看所有图片

由于成像距离以及环境等因素的不同,目标与复杂背景叠加或目标本身展现出的少量形状特征有时会使观察到的目标像素数及亮度发生变化,这时采用二维高斯函数直接模拟小目标可能是无效的^[12]。图2为复杂背景下红外弱小目标的示意图,上方为不同场景下的实际红外图像,下方图像分别对应上方图像目标处的三维强度。

图 2. 复杂背景下的红外弱小目标图像。(a)海天背景中的弱小目标;(b)海天背景下的明亮目标;(c)在有云的天空背景的弱小目标;(d)在天空背景下的明亮目标[12]

Fig. 2. Infrared dim small targets in complex background. (a) Dim small target in sea-sky background; (b) bright target in sea-sky background; (c) dim small target in sky cloud background; (d) bright target in sky-ground background[12]

下载图片 查看所有图片

2.2 红外弱小目标检测方法的评价指标

信杂比增益、背景抑制因子、正确检测概率、虚警率和算法消耗时间等指标常用于客观评价基于单帧图像的红外弱小目标检测算法的性能。其中信杂比增益用于表示经算法处理后对目标显著性的改善程度,信杂比增益越大,表示算法突出目标的效果越好。信杂比S_SCR和信杂比增益G_SCR分别表示为

SSCR=μt-μbσb,(2)GSCR=SSCR_outSSCR_in,(3)

式中:μ_t和μ_b分别为目标区域和整幅图像的平均灰度;σ_b为整幅图像的标准差;S_{SCR_in}和S_{SCR_out}分别为经算法处理前后图像的信杂比。

背景抑制因子B_BSF主要用于表示算法对背景的抑制能力,值越大表示算法对背景的抑制能力越强,算法性能越好,表示为

BBSF=CINCOUT,(4)

式中:C_IN和C_OUT分别表示算法处理前后整幅图像的标准差。

信杂比和背景抑制因子为最常用的分别用于描述目标增强和背景抑制程度的指标。而正确检测概率和虚警率常用于评价算法的检测效果。正确检测概率为正确检测的目标数与总的真实目标数之比,虚警率为错误检测的像素数与整幅图像像素总数之比。这些评价指标主要用于描述算法可靠性,对于算法的实时性,一般通过算法运行所消耗的时间进行描述。

2.3 红外弱小目标检测方法

本研究主要从基于滤波(空间域和变换域的滤波)、人类视觉系统以及图像数据结构3个方面对当前单帧图像的红外弱小目标检测算法的原理、主要步骤及特点进行分析与介绍。

2.3.1 基于滤波的方法

2.3.1.1 基于空间域滤波的方法

采用空间域滤波方法对红外弱小目标进行检测的主要思路为:先通过滤波对背景进行估计,然后将原始图像与滤波得到的背景图像进行差分以突出小目标,最后对差分图像进行阈值分割,实现对小目标的检测。此种方法的重点在于通过滤波实现背景抑制。

1) 空域高通滤波

空域高通滤波方法^[13]主要利用小目标与背景间的灰度差异进行目标检测。该方法通过相应的高通滤波模板与图像卷积来近似频域上的高通滤波。高通滤波模板的特点:在模板内值的和为0的条件下,模板中心或靠近中心的权值取较大的正值,靠近模板边缘的权值取负值。这样就会使孤立噪声点和小目标容易通过模板,而对平缓变化的背景产生抑制。

2) 中值滤波和最大中值滤波

中值滤波技术是1971年由Turkry提出的一种经典的非线性空域滤波方法。其主要思想是用像素点某邻域内的灰度中值代替该点的灰度值,以实现对图像中平缓变化背景的预测,抑制点状噪声和干扰脉冲^[14]。由于进行中值滤波操作时,需要对窗口内的所有像素的灰度值进行排序,因此滤波窗口的大小和形状会对滤波效果以及计算量产生较大的影响。为了提高算法的实时性,张新明等^[15]通过改变窗口的形状使得参与排序的像素数减少,刘鹏宇等^[16]则从减少滤波窗口在滑动过程中对像素点重复操作的角度来降低需要考虑的像素数目。为了提升算法的滤波效果,需要对图像中包含的更多信息进行考虑,邓秀勤等^[17]通过考虑噪声点的密度信息来自适应调节窗口尺寸,使得算法既能有效地滤除噪声,又能较好地保护图像细节。

最大中值滤波法^[18]则将各方向上的信息引入到模板中来确定中值,有效减少了边缘信息对于检测效果的影响,并降低了虚警率。将其应用于红外弱小目标检测时,首先以样本点为中心求取滤波窗口中几个方向上像素点灰度值的中值,再利用得到中值的最大值与样本点确定样本点的灰度值,运算公式为

X(x,y)=X(x,y)-max(g1,g2,g3,g4), X(x,y)-max(g1,g2,g3,g4)≥00,X(x,y)-max(g1,g2,g3,g4)<0,(5)

式中:X(x,y)为图像在样本点(x,y)处的灰度值;g₁,g₂,g₃,g₄分别为模板所选取的4个方向上像素点灰度值的中值。

3) Robinson Guard滤波器

Robinson Guard滤波器是一种非线性非参数型滤波器,当窗口大小为5时,模板结构如图3所示。中心像素点周围不存在权值的区域称为保护带,它的存在克服了普通边缘滤波器只给出目标边缘信息而滤除了目标内部信息的缺点^[19],其杂波抑制准则可表示为

X=minZj-X,X≤minZj0,minZj<X≤maxZjX-maxZj,X≥maxZj,(6)

图 3. 窗口大小为5×5的Robinson Guard滤波器模板结构

Fig. 3. Filter template structure of Robinson Guard with window size of 5×5

下载图片 查看所有图片

式中:Z_j为模板中编号j处像素的灰度值;X为中心像素点的灰度值。传统Robinson Guard滤波器的局限性在于窗口尺寸无法自适应小目标的尺寸和形状,窗口过小会使保护机制起不到应有的作用,影响目标信息的完整性,甚至会将目标滤除,而窗口过大则容易引入复杂背景中噪声的干扰。克服这个缺点主要有两种方法:一是将它与形态学方法相结合来抑制噪声及背景^[20-21],由于形态学操作可以在一定程度上消除目标尺寸和形状带来的影响,因此一般将形态学操作用于Robinson Guard滤波之前;二是使Robinson Guard滤波器能够自适应调节窗口大小。Zhang等^[22]基于这种思想,首先利用图像局部对比度的方法来对感兴趣区域(ROI)初步获取目标的尺寸,并据此构造Robinson Guard滤波器原始窗口,之后对该窗口进行放大或缩小以形成多尺度窗口。多尺度窗口处理得到的数据能够更充分地反映不同大小目标的邻域信息,进而提升算法检测性能及稳健性。

4) 双边滤波方法

为了在滤波过程中引入更多信息,Tomasi等^[23]提出了双边滤波方法(BF),通过两个高斯滤波器来对所要处理的像素点与其邻域的空间关系和强度关系进行综合考虑,达到锐度增强和噪声去除的目的。在非线性滤波器BF的窗口中,通过归一化因子保证一定区域内灰度均值不变,并依据不同准则赋予两个高斯低通滤波器权值:给空间上靠近中心像素的像素提供更高的权重;给与中心像素灰度值相近的像素提供更高的权重。Bea等^[24]将BF方法应用于红外弱小目标检测,首先对像素4个方向上的边缘分量进行阈值判定,判断是否存在潜在的小目标;如果存在潜在小目标,则使用BF方法使小目标模糊;然后用原始图像与通过BF方法得到的预测图像进行差分来突出图像中的小目标。这种方法可以削弱背景边缘对红外弱小目标识别的影响。

5) 形态学方法

数学形态学方法是由Matheron提出,经Serra扩展后被广泛应用于图像处理领域^[25],其基本运算为膨胀与腐蚀。在利用形态学方法进行红外弱小目标检测时,Top-Hat变换最为常用。经典Top-Hat变换首先根据所要检测目标的先验知识构造合适的结构元素,然后利用开运算去掉图像中细小连接及亮奇异点,最后将原图像和处理后图像进行差分来突出小目标^[26]。

结构元素的选取是形态学方法的关键,对于Top-Hat变换,只有选取合适的结构元素才能达到保留目标、滤除杂波的目的。因此该种算法需要一些准确的先验信息来确定结构元素。但是红外弱小目标的先验信息一般难以获得,这就使经典Top-Hat变换在不同背景下效果差异较大。为了提升Top-Hat变换的处理效果,在获取恰当结构元素的过程,效果较好的算法一般采用计算量较大的神经网络和遗传算法等方式^[27-28],但是实时性难以保证。因此,为了兼顾可靠性与实时性,需要针对结构元素从形态学算法最基本的膨胀与腐蚀运算本身进行考虑。由于将Top-Hat变换用于红外弱小目标检测时,参与膨胀与腐蚀运算的结构元素相同,没有考虑结构元素区域与其周围区域之间的差异,因此无法区分真实目标、噪声及起伏背景区域。为此,Bai等提出使用相互关联的不同结构元素重新定义开运算,进而得到新型的Top-Hat变换^[26,29]。刘源等^[30]将这种新型Top-Hat变换与局部对比度的方法相结合,采用局部对比度的方法对采用新型Top-Hat变换检测到的目标进行筛选,进一步降低了虚警率。

基于空间域滤波的红外弱小目标检测方法,其优势在于算法的计算量一般较小,复杂度较低。缺点是:1) 采用的每种算法对图像中所包含的信息考虑不够全面,在较为复杂的背景环境中,算法的性能差异较大,容易出现正确检测概率低、虚警率高等问题;2) 此类算法需要一定的先验信息来确定模板或结构元素,使算法的稳健性较差,应用范围受到限制;3) 对于红外弱小目标的检测而言,难以获取先验信息的问题将导致算法性能的下降。上述几种经典的基于模板的空间域滤波算法的改进基本上都是通过增加滤波过程中所考虑的因素来更好地实现对背景的估计,例如通过引入各方向上的信息、模板大小以及权重参数等。基于形态学处理的改进则主要集中在对邻域信息的引入以及通过一些迭代算法来实现对结构元素的选取。这些改进方法虽然能够在一定程度上提高算法的性能,但大部分改进算法都会造成计算量的增加。总的来说,在简单背景条件下,该类算法比较适用于实时性要求较高而对性能要求一般的系统。

2.3.1.2 基于变换域滤波的方法

与空间域红外弱小目标检测方法相比,变换域方法计算复杂度较高。但是随着近年来相关设备计算能力的显著提高,一些基于变换域方法也在实际工程中得到应用。通过变换域方法进行红外弱小目标检测的基本思路为:首先通过相应的变换得到变换域信息,然后对变换域信息进行处理,最后通过反变换将其变换回空间域,实现对红外弱小目标的检测。

1) 经典频域高通滤波

经典的频域高通滤波器主要有理想高通滤波器、高斯高通滤波器和巴特沃斯高通滤波器3种。其中理想高通滤波器滤波效果最好,它可以以指定频率为界,将低于此频率的部分完全滤除,并将高于此频率的部分完全保留,但是这将带来“振铃”现象,产生较高的虚警率。高斯高通滤波器因其在高频与低频之间存在平滑的过渡,所以没有“振铃”现象,但是滤波效果较差。巴特沃斯高通滤波器是前二者之间的一个平衡,其滤波效果处于前二者之间,同时“振铃”现象也在可以接受的范围内,因此常选取巴特沃斯滤波器对图像进行简单的高通滤波。实验表明,二阶巴特沃斯高通滤波器对于背景处理具有最好的效果^[31]。

2) 小波滤波

小波变换继承了傅里叶变换的频域分析方法,使计算结果有一定的频率分辨率,同时又提供了信号的局部时间特性,使结果具有一定的时间分辨率。此外,小波变换还会根据信号的局部特点进行“变焦”,对非平稳信号进行自适应地描述^[32]。在红外弱小目标检测的过程中,由于目标区域的辐射强度高于背景的辐射强度,且与周围区域无关,因此可以将目标看作是图像信号中的高频部分,而将背景看作是低频部分,这样就可以利用小波变换将图像中的高、低频成分分离,再分别进行处理进而提高图像信噪比,实现目标检测。

但是由于小波具有各向同性的特点,对高维特征不能很好地表示,因此产生了一些新的多尺度几何分析的方法,如Curvelet变换^[33]、Countourlet变换^[34]、非下采样轮廓波变换(NSCT)^[35]、shearlet变换^[36]等,并被广泛应用于图像处理领域的图像去噪与融合之中。

Boccignone等^[37]利用小波变换得到不同分解尺度的信息,并与Renyi熵相结合进行弱小目标检测。但是后来考虑到传统小波变换在平移不变性和方向性上的缺陷,研究人员一般采用双树复小波以及Countourlet变换来对图像进行去噪^[38-42]。另外,单纯对图像进行去噪处理而不考虑背景的影响也会降低目标检测的效果,为此,一般采用支持向量回归、主成分分析以及独立成分分析等技术对背景进行预测。但是这种处理方法只能间接突出目标,并没有直接对目标信息进行增强。吴天爱等^[43]进一步考虑了奇异值的物理意义,根据目标所对应的中序部分的奇异值来调整NSCT分解得到的各子带图像矩阵的系数,不仅抑制了背景与噪声,同时还增强了目标,使算法的性能得到进一步提升。

3) 希尔伯特-黄变换

希尔伯特-黄变换(HHT)是由Huang^[44]提出的,利用经验模态分解(EMD)的方法将信号分解成多个满足窄带条件的本征模态函数(IMF)之和,并在此基础上对每个IMF进行希尔伯特变换,得到IMF分量的瞬时频率以描述信号在某一时刻的波动。EMD是HHT的核心,它是基于信号的局部变化特性,在分解过程中,每一次提取都是通过局部极值将高频信号分离,剩下低频信号,最后得到的余量代表了数据的总体趋势或定常值。HHT方法在对非线性、非平稳数据进行分析时具有极大的优势^[45]。

由于图像是空间二维信号,是变化在空间上的展开,属于非平稳信号,因此可以将HHT用于对图像信号的处理,在进行图像处理时,一般会将EMD扩展到二维经验模态分解(BEMD)。张永梅等^[46]提出了一种去噪方法,通过BEMD得到原始图像不同频率的分量和余量。由于噪声往往存在于图像的高频、次高频、中频分量之中,因此利用BEMD恰好可以把图像从高频到低频依次分解,这样就可以针对图像含噪声的分量进行处理,有效保留图像的原有信息。邓江华等^[47]直接选取合适的IMF进行阈值分割来检测红外弱小目标。解婷等^[48]则将BEMD与其他处理手段相结合来进行红外弱小目标的检测:对同组滤波器(PFG)提升信噪比后的图像进行BEMD,得到足够的IMF,并将原始图像和残余图像进行差分,使用局部逆熵实现背景抑制,同时对IMF所对应的高频信息进行表示来获取小目标的位置。该方法拥有较好的识别效果,但是运行速度较慢。

基于变换域滤波的红外弱小目标检测算法主要是通过各种变换将图像中的高频与低频分量进行分离,其中背景占据了图像信号中的低频部分,但是由于噪声以及一些强边缘的存在,目标不一定对应于图像中频率最高的部分,因此在进行目标信息提取之前还应进行相关的处理。由于变换域信息的引入,该类算法相比于基于空间域滤波的方法在可靠性上有所提高,但是对图像进行正反变换本身的计算量就很大,变换域上的一些处理方法进一步增加了计算量,该类算法一般较难满足实时性的要求。

2.3.2 基于人类视觉系统的方法

根据相关生物学的研究,灵长类动物的初级视觉皮层包含有大量的简单细胞和复杂细胞。其中简单细胞只感受视野中的局部区域,复杂细胞是简单细胞集群的一种非线性时空整合,将局部单元信息汇集成具有全局意义的特征后,视觉系统便能感知显著区域^[49]。基于HVS的方法的关键便在于显著性区域的获取。

1) 基于频谱残差法的显著性检测

Hou等^[50-51]提出的基于频谱残差法的显著性检测的基本原则是对频繁出现的响应进行抑制,同时保持对于偏离规范的特征的敏感性。主要步骤为:首先通过傅里叶变换得到图像的log谱,然后将局部均值滤波器处理前后的log谱进行差分得到频谱残差,再对得到的频谱残差进行傅里叶逆变换,并对结果用高斯滤波器进行平滑,最后通过阈值分割得到显著图。由于该算法可以不依赖先验信息提取图像中的显著目标,因此对形状和纹理特征不明显的红外弱小目标十分适用。另外,此算法中涉及的运算主要为卷积、傅里叶变换、傅里叶逆变换,在复杂度及硬件实现方面有很大的优势。

虽然频谱残差法可以直接用于红外弱小目标的检测,但是效果较差。因此,近年来研究人员一般利用频谱残差法来缩小目标可能存在的范围,然后与主成分分析法及尺度空间理论等相结合来进行红外弱小目标的检测^[52-53]。易翔等^[54]采用频率调谐的方式,利用幅度谱的局部均值和方差设定自适应阈值的方法在阈值选取方面进行改进。并在得到显著性区域后根据小目标的局部梯度特征及极值特征将目标检测与角点检测相联系,进一步提取候选目标。

2) 基于局部对比度的方法

在局部对比度测量(LCM)方法提出之前,研究人员一般采用相关算子(如LoG算子和DoG算子等)对图像进行全局处理来提升图像的对比度,并通过阈值分割来构造显著图^[55-57]。这种方法的效果主要取决于所采用算子的性能,在采用不同算子对单帧图像进行处理时,一般增加所引入的信息量将有利于算法可靠性的提升,如Han等^[58]将方向信息考虑在内提出了改进的Gabor差分算子(IDoGb)等。这种基于全局对比度提升的方法的主要优点在于计算量较小。

基于LCM的方法是由Chen等^[59]于2014年提出的,主要利用空间域的局部信息,先将图像块与其邻域间的局部对比度作为局部特征来构建显著图,然后在显著图中通过阈值分割出小目标,最后将显著图中目标的位置与原图像对应,实现对红外弱小目标的检测。其中显著图的获取方式是该类算法的关键,将极大影响算法性能。

cis=Lsmi,(7)Cs=miniLs×cis=miniLs×Lsmi=miniLs2mi,(8)

式中:m_i表示图4中编号为i区域内的灰度均值;L_s表示“0”区域中灰度的最大值;s表示对于整幅图像而言“0”区域所在位置的编号。

该算法中构建显著图的方法为:首先通过窗口滑动获取图像上的相应区域,并将该区域分成图4所示的9个部分;然后通过(7)式和(8)式进行计算;最后将窗口滑动到各位置时计算得到的C_s值赋给对应的“0”区域构建整幅图像的显著图。

图 4. 滑动窗口的9个部分

Fig. 4. Nine parts of sliding window

下载图片 查看所有图片

根据前文所述的红外弱小目标的特点,当小目标在“0”区域,而其邻域为背景时,L_s的值较大,而m_i的值较小,这就使得C_s的值较大;而当“0”区域内为背景时,L_s的值较小,使得C_s的值较小。这样在显著图中,存在目标的区域就会因为较大的C_s值得到突出,便于检测。考虑到实际图像中小目标的大小存在一定的差异,Chen等^[59]提出了一种多尺度的LCM算法来对上述算法进行改进,以得到效果最好的显著图。该算法通过不断调整窗口中心块的大小来计算C_s,选取使得C_s值最大时窗口所对应的尺寸为该算法中的窗口尺寸。通过这种获取显著图的方法,检测的准确率得到了提高,但是多次计算不同窗口尺寸下的C_s会使计算量成倍增加。针对这一问题,Han^[60]通过将预处理之后的图像划分为子块以提高处理速度。

高强度脉冲和剧烈起伏区域会严重影响LCM算法的性能。另外LCM算法还存在影响检测目标位置精确性的“块效应”。研究人员针对这些问题,对LCM算法进行了改进。为了克服高强度脉冲的影响,通过分析得到:若脉冲噪声存在于“0”区域,LCM算法会产生虚警;若其存在于“0”的邻域,则会影响目标的显著性。据此,Qin等^[61]提出了一种新型局部对比度测量(NLCM)的红外弱小目标检测方法,基于灰度值的排序,引入自定义的均值和方差两个参数计算显著图,消除了高强度脉冲噪声的影响,进一步提高了LCM算法的检测效果。为了克服一定范围内剧烈起伏区域的影响,王刚等^[49]通过分析各场景中“0”区域不同方向邻域上的对比度特征,发现检测小目标的一个充要条件是“0”区域各方向上的最小对比度较大。因此,利用窗口滑动到各区域时对应的最小对比度来构造显著图就可以实现对目标更可靠的检测。Shi等^[62]则通过改进的高提升滤波来初步实现对图像中高频信号的增强以及对低频信号的抑制,然后再根据局部区域上的最大值与最小值来构建显著图。为了克服LCM算法中块效应的影响,张祥越等^[63]将传统LCM方法得到的显著图与原图相减来构造新的显著图,在一定程度上提升了传统LCM方法检测目标位置的精确度。

近年来相关研究人员对显著图的构建并未局限于对局部对比度特征的提取,对图像的局部信息进行了更加深入的分析,并以此为基础构建显著图。如Bai^[64]提出了一种基于导数熵对比度测量(DECM)的方法。通过计算某个小平面内不同方向上的导数,并将其与熵的概念相结合,得到各方向导数所对应的对比度测量图,将这些对比度测量图融合的结果用于对小目标的检测。该方法中对比度测量图的作用相当于LCM算法中的显著图,但是由于该算法更加充分地利用了原始图像中的位置和幅度信息,因此可以更有效地增强目标并抑制背景中杂波与噪声干扰,适用于较为复杂环境下的红外弱小目标检测。Nasiri等^[65]提出的算法首先通过对原始图像的处理突出类似于高斯函数形状灰度分布的区域,并抑制条状干扰,得到一些初步增强目标的Gaussian-like特征图,然后从频域的角度,通过引入符号函数sign与离散余弦变换(DCT)相结合的改进的离散余弦变换(PCT)在Gaussian-like特征图的基础上构建显著图,并将这些显著图进行融合用于最终的目标检测。该方法可以有效去除背景中存在的条状边缘对于目标识别的影响,但是计算量较大。

基于HVS的红外弱小目标检测算法的关键在于显著图的获取。其中基于频谱残差法的显著性检测只利用部分频域信息来获取显著图,所得到的显著图质量较差,十分容易受到背景中的非目标显著区域以及突出边缘的影响,一般需要与其他方法相结合才能达到检测小目标的目的。LCM及其改进方法一般是从像素某邻域的灰度值及对比度角度进行考虑来构造显著图,算法的可靠性较好,可以满足大部分系统的要求。为了进一步提高算法的正确检测概率,并降低虚警率,图像中更深层次的信息(如方向性、熵值等空域信息以及频域信息等)也被用来构造显著图,但是这样会增加算法的复杂度。

2.3.3 基于图像数据结构的方法

传统的红外小目标检测的基本思路是将原始红外图像看作3个部分,即目标图像、背景图像和噪声图像的叠加,通过相关方法抑制背景和噪声并增强目标,进而实现目标检测。研究人员针对红外弱小目标的识别问题提出了一种新思路,通过将传统红外模型推广到红外块图(IPI)模型,然后利用红外背景图像的非局部自相关特性和小目标的稀疏特征,将小目标检测问题转化为低秩矩阵和稀疏矩阵的恢复问题,据此实现对目标的分割。

该类方法的主要步骤为:首先将预先设定好的窗口在原图像上由左至右、由上至下滑动,每滑动到一个位置,将窗口内各像素的灰度值组成一个列向量。如图5所示,这些列向量所构成的矩阵对应的图像称为块图像,其中k表示在整幅图像中,滑动窗口滑动到的位置所对应的编号,n为k的最大值。将这个矩阵看成是小目标矩阵、背景矩阵和噪声矩阵3部分的叠加。通过分析各部分的特点,分别用1范数、核范数和F范数表示这3部分。凸优化问题表达式为

minB,TB‖*+λ‖T‖1+12μ‖D-B-T‖F2,(9)

式中:B表示背景矩阵;T表示目标矩阵;D表示原图对应的矩阵;λ和μ为给定的参数。通过加速近端梯度算法(APG)方法解决(9)式来恢复矩阵。最后,对得到的矩阵进行重构得到空间域灰度图像,并通过自适应阈值分割得到小目标。该算法的步骤如图6所示^[12]。

图 5. 利用图像块从原始图像构建块图像

Fig. 5. Patch-image construction from original image by using image patches

下载图片 查看所有图片

图 6. 算法的步骤

Fig. 6. Steps of algorithm

下载图片 查看所有图片

此类算法的改进主要集中在权值设定和矩阵恢复算法两个方面。对于权值的设定,Dai等^[66]考虑了结构先验信息,将IPI模型中全局恒定的权重用加权IPI(WIPI)模型块图像中的每一列自适应权重代替。这种方法可以更好地保留红外弱小目标,并抑制强边缘。Guo等^[67]采用重加权核规范来约束背景并引入了重加权l₁范数来进一步增强目标的稀疏性,该方法消除了同样具有稀疏特性的背景边缘以及一些非目标稀疏点的影响,但确定加权参数时进行的迭代运算使算法的复杂程度明显提高。张丛丛等^[68]则对块图像的奇异值进行了加权,消除了由于忽略奇异值物理意义导致的算法对背景描述能力的不足。该算法的主要思想是将加权核范数最小化(WNNM)引入IPI模型来检测红外弱小目标,利用先验知识引入加权核范数来区别对待背景图像对应的低秩矩阵的奇异值。由于较大的奇异值往往对应更主要的子成分信息,因此在进行低秩背景矩阵恢复时,赋予较大的奇异值更小的权重,使其缩减得更少,以保留背景图像主要和潜在的信息。结果表明,这样可以更好地实现对背景低秩性的描述。在IPI方法的基础上,Dai等^[69]进一步将弱小目标检测问题转化为稳健性的低秩张量恢复问题,并借助结构张量和重新加权的思想,设计了一种基于局部结构权重和稀疏增强权重相结合的方式来代替全局恒定的加权参数。该方法解决了强边缘和未充分利用先验信息给小目标检测带来的影响,使算法对目标较暗且背景复杂的图像具有更好的检测效果。对于矩阵恢复算法,熊斌等^[70]对文献[ 12]中的稳健主成分分析(RPCA)问题的APG求解算法进行了改进。首先通过引入自适应加权参数以使算法适应稀疏程度和背景复杂度不同的图像;然后采用在收敛速度和相对误差方面表现更好的自适应参数非精确增广拉格朗日乘子法(AIALM)来代替APG算法进行求解。改进后的算法能够显著提升图像的信杂比与检测的准确率,对时间开销也有一定的缩减。以上算法主要考虑的都是强边缘对弱目标区域检测的影响,并未考虑较为复杂的异构背景。另外单独的子空间结构并不能充分表示非缓慢变化或非均一的背景。为此,Wang等^[71]采用基于稳定的多子空间学习的方法实现了对于背景区域更加精准的预测,进而有效降低了异构背景下检测的虚警率。

基于图像数据结构的方法将传统红外图像模型推广到IPI模型后,通过重构目标矩阵来实现目标的分离。该类方法的基础是对目标、背景、噪声数据结构特点的分析以及对重构算法的研究。掌握各部分矩阵的特征才能够更好地定义约束条件并重构出目标矩阵,进而确定出目标所在的位置,设计合适的重构算法则有助于提升矩阵重构的效果并缩短算法的收敛时间。该类算法不仅能够适应信噪比较低的图像,对于比较复杂的异构背景同样有较高的可靠性,但这将以增加算法的计算量作为代价。

2.4 算法性能分析

采用文献[ 64]的数据对基于滤波、HVS、图像数据结构这3大类算法中最经典的算法进行横向比较。图7的4幅图像分别为4个背景较简单的红外序列(数据集1,2,3,4)中有代表性的单帧图像,图8为较复杂背景下红外序列(数据集5)中的4幅代表性的单帧图像。表1和表2分别为最大中值滤波、Top-Hat、LCM和IPI四种算法在信杂比增益和背景抑制因子两个评价指标上的表现。可以看出,基于图像数据结构的IPI方法依据上述两种评价准则评价的性能明显优于其他算法。由于基于滤波方法的最大中值滤波和Top-Hat的目的就在于对背景的抑制,因此这两种方法相比于以提升目标区域局部对比度为基础的LCM算法,在背景抑制因子这个指标上表现更好。但是从信杂比增益的角度来看,这3种算法的性能十分接近。值得注意的是,在处理背景较为复杂的图像方面,IPI算法拥有明显的优势。对于算法所消耗的时间这一评价指标,由于各类算法中参数的设置及所处理图像内部像素的分布特征都会对其产生较大的影响,因此仅仅对几种背景下相关算法所消耗的时间进行统计的意义不大。综合相关文献对算法所消耗时间的统计来看,对于本文综述的3大类方法所对应的经典算法,一般来说基于HVS的方法远低于基于图像数据结构的方法,并高于基于滤波的方法。

图 7. 4个数据集的代表图像。(a)数据集1;(b)数据集2;(c)数据集3;(d)数据集4

Fig. 7. Representative images in four datasets. (a) Dataset 1; (b) dataset 2; (c) dataset 3; (d) dataset 4

下载图片 查看所有图片

图 8. 数据集5中的4幅代表图像。(a)图像1;(b)图像2;(c)图像3;(d)图像4

Fig. 8. Four representative images in dataset 5. (a) Image 1; (b) image 2; (c) image 3; (d) image 4

下载图片 查看所有图片

3 结束语

对于红外弱小目标检测,目前还没有在可靠性、通用性、稳健性及复杂度等方面表现都较为突出的算法。下面主要从红外探测技术和红外弱小目标检测算法两个方向简要分析其未来的发展趋势。

对于红外探测技术:

1) 随着当今材料及微电子技术的发展,红外焦平面阵列和红外光电子物理等先进技术正推动红外探测设备向高分辨率、大面阵及单片多波段探测的方向演进,自适应多光谱、超光谱成像技术也正在研究。采用性能更好的红外图像获取系统可以促进算法更加深入地挖掘、利用图像中包含的信息,有利于更加精确地检测目标位置。

2) 由于应用场景中的多种干扰,单一波段的红外检测系统的检测能力有时难以达到要求。采用多波段探测技术,以及红外与可见光、雷达等多源复合探测技术可以有效进行信息互补,在扩大系统应用范围的同时有效降低虚警率。

对于红外弱小目标检测算法:

1) 在保证检测可靠性的前提下,考虑到红外弱小目标检测的应用领域,应着重考虑算法实时性问题。虽然近年来计算机的性能得到了很大的发展,但一些计算量较大的基于序列图像的算法仍然受到计算机计算能力的限制。另外,在进行基于序列图像的算法研究及应用的过程中也需要采用许多基于单帧图像算法中的关键步骤,因此基于单帧图像算法的研究将是近年来的热点。

2) 对于基于滤波的检测算法,特别是基于空间域的算法,由于受到先验知识难以获取的限制,算法的适用范围较窄,因此应针对所要应用的场景,对算法进行针对性的改进及完善。如对基于模板的滤波,可以从模板及杂波抑制准则的设计上引入关键信息;对于形态学方法,可以考虑通过改进的迭代算法(如神经网络和遗传算法等)来获取合适的结构元素或采用toggle算子(TO)等新型非线性形态学算子对图像进行处理。对算法在硬件上的实现也应当进行进一步的优化,以更好地发挥该类算法在实时性方面的优势,例如可以采用分块并行处理的方法来降低处理时间。

3) 对于基于HVS的检测算法,只利用局部对比度方面的信息来构建显著图难以满足高可靠性的要求,为提升该类算法的检测效果,可以提取多维信息以及深层信息(如熵、相关性、方向关系等空域信息及变换域信息等)来构建显著图,进一步扩大前景与背景的差异。

4) 对于基于数据结构的方法,需要深入地分析图像中各部分的矩阵特征,从多角度分别进行加权方式和约束条件的设定,对目标矩阵实现更高质量的重构。对于该类算法计算量大的问题可以考虑使用快速算法提升收敛速度,实现约束条件下矩阵的快速重构。