1 引言

目标跟踪是国内外计算机视觉领域的一个研究热点^[1-5],广泛应用于**领域、民用领域等。现实场景的复杂性(光照变化、形状变化、运动模糊等),使得目标跟踪的效果不太理想,因此如何在复杂背景下提高算法的跟踪准确率是目标跟踪领域的热点问题。

根据目标建模方式的不同,目前跟踪方法主要分为生成式方法和判别式方法两种。生成式方法主要是计算候选目标与目标模型的相似度,以相似度最高的候选目标作为目标进行跟踪。生成式方法仅针对目标本身的外观特征,导致其在处理目标外观快速变化和遇到遮挡时,跟踪效果并不好。判别式方法则是把跟踪看作一个二分类问题,旨在构建一个有效的分类器以区分目标及其背景,从而实现对目标的跟踪。相比于生成式方法,判别式方法在建模时将目标与背景进行区分,因此在目标跟踪时的效果通常表现得更为稳健,目前已成为目标跟踪的主流跟踪方式。

近年来,基于相关滤波的判别式方法已广泛应用于目标跟踪领域,并取得了显著的效果。2010年Bolme等^[6]提出将相关滤波(CF)应用于目标跟踪领域,该算法基于输出结果的最小均方误差(MOSSE)训练相关滤波器,通过响应图像的值判断候选位置与初始化目标的相关性。响应值越大,则相关性越大,从而提高了滤波器的准确度。同时该算法的计算从时域转换到频域,跟踪速率超过了600 frame/s。此后,很多算法都在其基础上进行改进。Henriques等^[7]于2012年提出核循环结构(CSK)算法,该算法针对相关滤波中样本数量不足对滤波器的影响,使用循环密集采样的方法,有效地利用了整张图片的特征。为了提升算法性能,Henriques等^[8]在相关滤波中引入核空间,提出了核相关滤波算法(KCF),在算法中采用多通道梯度方向直方图(HOG)特征,通过核函数将线性空间的岭回归问题映射到非线性空间,提高了高维特征空间中样本分类的速度。Danelljan等^[9]针对尺度变化问题,基于MOSSE跟踪方法提出了多尺度空间滤波跟踪算法(DSST),该算法分为位置滤波器(TF)和尺度滤波器(SF)两部分,采用判别相关滤波器来确定位置,同时在文中提出一种精准的尺度估计方法以确定尺度信息。利用该算法进行跟踪的过程中,两个滤波器独立工作,分别进行目标定位和尺度评估,取得了优异的表现。Bertinetto等^[10]从特征融合入手,提出一种特征互补的跟踪方法,将HOG特征与颜色特征相融合,有效地解决了变形情况下HOG特征稳健性较差和光照变化下颜色特征表现效果较差的问题,提高了跟踪的准确度,但两种特征融合增加了计算复杂度。除融合特征外,针对人为选择的核函数未必是最优函数的问题,Tang等^[11]提出了多核相关滤波器(MKCF),即在核化滤波器(KCF)基础上引入多个核函数,并提出了优化求解的方法。Zhang等^[12]将多个特征进行融合,同时在计算时引入多个核函数,再将多个滤波器进行整合,并通过最后的跟踪结果调整核的权重,从而使得核有自适应选择的能力。

虽然相关滤波算法凭借其速度的优势和良好的精度得到广泛应用,但也存在不足之处:1)相关滤波方法属于模板类方法,对于快速变形和快速运动的情况跟踪效果较差,易发生跟踪漂移现象;2)在提取目标特征的过程中,提取单一特征或固定权重融合特征不能够全面地描述目标,导致跟踪的准确率较低;3)为了提高跟踪的准确率,一些跟踪方法采用多个滤波器相互融合来确定目标位置,时间复杂度较高。

针对以上问题,本文在相关滤波跟踪的基础上,提出一种自适应特征选择的相关滤波跟踪算法。该方法对HOG特征相关滤波器的响应值与颜色统计特征的响应值分配不同的权重,进行线性加权运算,得到多个具有不同偏向性的融合特征,通过对融合特征进行可信度判定,选取得分最高的融合特征作为跟踪特征,保证了对目标特征描述的准确性。然后对确定的目标位置进行尺度估计和模型更新,实现对目标的稳定跟踪。在OTB50和OTB100的标准数据序列上进行实验,实验结果验证了所提方法的有效性和稳定性。

2 总体框架设计

快速多尺度空间滤波跟踪(fDSST)算法^[13]在跟踪效果和速度上都表现得较好,因此本文算法采用fDSST算法作为基本框架,同时为了更有效、全面地描述目标以及方便后续与其余跟踪算法的比较,采用判别能力较强的HOG特征与颜色统计特征作为基础特征进行融合。跟踪框架主要分为建模、跟踪和更新三个阶段,整体框架如图1所示。

1) 建模阶段。根据手动标定的第一帧目标位置信息,训练用来估计目标位置的相关滤波器,同时训练颜色概率模型和用来估计目标尺度的相关滤波器,最终建立目标模型。

2) 跟踪阶段。首先在当前帧的候选区域提取HOG特征和颜色特征^[14],使用前一帧确定的目标模型对两种基础特征进行计算。然后对计算结果分配不同的权重并进行融合,对融合结果进行可信度判断,选取可信度最高的融合特征作为当前帧的跟踪特征,并根据该特征估计出目标的候选位置。对于最高可信度仍低于阈值的情况,根据两帧之间特征点的匹配结果,判断是否启动检测器。若匹配程度较低,启动检测器重新检测和定位目标的位置,否则候选位置即为目标最终位置。最后使用尺度滤波器对目标的尺度进行估计,从而完成跟踪过程。

图 1. 整体框架示意图

Fig. 1. Schematic of overall frame

下载图片 查看所有图片

3) 更新阶段。利用每帧跟踪阶段确定的目标位置,对位置滤波器、颜色概率模型和尺度滤波器进行更新。

3 自适应特征选择的跟踪算法

相关滤波方法最早在文献[ 6]中提出,可应用在跟踪领域,是近年来跟踪领域的主流方法。其基本思想是:越是相似的两个目标,其相关值越大,即图片中的目标与初始化目标越相似,滤波器得到的响应值越大,因此将滤波器响应最大的位置作为目标的位置,从而实现跟踪。该类方法属于模板类方法,并受边界效应的影响,对于快速运动与快速变形的目标,效果并不好。文献[ 10]提出融合两种互补特征的方法,一定程度上改善了相关滤波方法对快速运动和快速变形目标跟踪的情况,同时对光照变化的情况也能表现出较好的跟踪效果。但是该方法采用固定等权重分配特征的方式融合互补的两个特征,对不断变化的目标以及背景没有选择适应能力,且未对跟踪结果进行可靠性判定。在文献[ 6]和文献[ 10]的基础上,本文提出一种自适应特征选择的跟踪算法,通过融合不同权重的特征,不仅有效解决了相关滤波器对于快速运动和快速变形目标效果不好的问题,而且增强了跟踪框架对于变化的目标与背景的适应能力。同时对跟踪效果进行可信度判断,可信度较低时启动检测器进行重新检测,重新定位目标的位置,从而有效地提高了跟踪的准确率。

在本文中,位置滤波器和颜色概率模型用于提取样本特征,得到相对应的响应图。然后通过对两个响应图以线性加权的方式进行组合,得到最终的目标位置响应图。其组合公式为

ffuse=ωfcolor+(1-ω)fcf,(1)

式中:f_fuse为融合特征的得分响应函数;ω为权重分配因子;f_color为颜色概率模型的得分响应函数;f_cf为位置滤波器的得分响应函数。通过对两个得分函数进行线性加权,最终得到融合特征的响应函数。

通过使用不同的权重分配因子ω,使融合出的特征具有不同的特征偏向性,以应对变化的目标及背景信息。大量实验证明:若权重分配的偏向性太大,则会使跟踪效果和单一特征的跟踪效果相近,不能体现出融合特征的必要性;若权重分配的偏向性太小,则导致跟踪效果与等权重分配方式的跟踪效果相近, 不能体现本文选择特征的有效性。因此本文采用实验中表现最为合适的权重分配方式进行特征融合。融合特征的权重分配方式见表1。

通过融合不同权重的特征得到不同的融合特征响应图,对融合后得到的响应图的可信度进行判断,取可信度最大的特征作为当前帧的跟踪特征。采用文献[ 15]提出的平均峰值相关能量(APCE)计算跟踪的可信度,计算公式为

EAPCE=|Fmax-Fmin|2mean∑w,h(Fw,h-Fmin)2,(2)

式中:F_max、F_min、F_w,h分别代表特征响应图中的最大值、最小值以及对应(w,h)位置的元素值;E_APCE值反映响应图的波动程度和检测目标的置信水平。E_APCE值越大,表明响应图除峰值之外的区域波动较为平滑,目标的峰值响应相对背景的响应越高,目标的可信度越高;反之,目标的可信度越低。实验中使用不同权重分配方式对特征进行融合,计算每种方式的E_APCE值,取最大值的融合特征作为当前帧的跟踪特征,所选择的跟踪特征以及检测跟踪过程如图2所示。图中,w_hog表示位置滤波器的权重,w_color表示颜色概率模型的权重,P_t代表第t帧的目标的中心位置,M₁、M₂、 M₃表示在不同权重分配方式下的可信度。

图 2. 自适应选择检测跟踪示意图

Fig. 2. Schematic of adaptive selection detection tracking

下载图片 查看所有图片

由于图2中的检测跟踪结果可能会因各种因素的影响出现跟踪漂移,实验设定了一个重检测阈值来判断是否需要对检测跟踪结果进行重新检测。重检测阈值表示可信度历史均值的比例,若重检测阈值设置过大,则会导致目标可信度的可波动范围较小,检测器会误判目标的正常变化,因此需要激活重检测机制,这样就增加了总体跟踪过程的时间复杂度;反之,可信度的可波动范围较大,检测器会漏判目标的异常变化,此时不需要激活重检测机制,这样就降低了整体跟踪的准确率。本文设定重检测阈值θ_APCE=0.6F_mean,其中F_mean表示E_APCE值的历史均值。ΔF_APCE代表当前帧的历史均值与最大E_APCE值的差值,表示当前帧目标候选区域与历史目标区域峰值的波动情况。当ΔF_APCE的值大于重检测阈值时,表明融合特征定位的目标区域的峰值波动发生突变,可能产生了漂移的情况,启动网格运动统计(GMS)检测器对目标进行判断重检测。当ΔF_APCE的值小于重检测阈值时,更新滤波器模型以及颜色概率模型。针对目标的尺度变化问题,采用文献[ 13]中的方法,在候选区域构建目标尺度金字塔,使用尺度滤波器得到最佳的目标尺度。

3.1 位置滤波器与颜色概率模型

位置滤波器与颜色概率模型主要是用来提取特征,以获取相应的响应图。其中位置滤波器主要用于提取HOG特征,颜色概率模型主要用于统计搜索区域内的颜色特征。HOG特征用于快速运动和快速变形的情况时效果不好,但用于运动模糊光照变化等情况时比较好;而颜色统计特征不属于相关滤波框架,不受边界效应的影响,用于快速运动和快速变形的情况时效果较好,但光照变化对其影响较大。因此,选择这两种互补的特征作为融合特征的基础特征。

3.1.1 位置滤波器

位置滤波器主要通过使用fDSST算法提取搜索区域中的HOG特征,并使用相关滤波器将其转化为响应图。在响应图中,峰值代表该位置的响应分数最高,表示该位置是目标位置的可能性最大。fDSST算法是对DSST算法的改进,本文借鉴该算法对目标进行HOG特征的提取。针对目标区域提取d维特征,记作f_l,l∈{1,2,…,d},l表示特征通道,通过建立最小化代价函数,构建最优的相关滤波器h_l。目标函数的公式为

ε=‖g-∑l=1dhl★fl‖2+λ∑l=1d‖hl‖2,(3)

式中:★表示循环相关;g表示期望的响应分数,由高斯函数产生;(3)式中的第二项表示权重参数为λ的正则化项,f_l、h_l与g的维数相同,大小也相同。

为减少卷积计算耗费的时间,基于Parseval公式将(3)式转换到傅里叶域进行计算,得到最优化滤波器为

Hl=G-Fl∑k=1dF-kF+λ,l=1,2,…,d,(4)

式中: G-表示g经傅里叶变换后的复共轭; F-k表示f_l经傅里叶变换后的复共轭。(4)式中的大写字母对应(3)式中的相应变量的离散傅里叶变换(DFT),在跟踪过程中,根据每帧的跟踪结果决定是否进行模型更新。为确保模型能得到稳健的近似结果,采用如下策略更新相关滤波器模型:

At(l)=G-Ut(l),l=1,2,…,d~,(5)Bt=(1-η)Bt-1+η∑k=1d~F-t(k)Ft(k),(6)

式中: t表示目标序列的帧数; F-t(k)表示傅里叶域第t帧、第k维特征的复共轭;U_t=F{P_tu_t},其中u_t是一个目标模板,u_t=(1-η)u_t-1+ηf_t,用于减少快速傅里叶变换(FFT)需要的计算量,P_t是通过最小化重构目标模板u_t构造出的投影矩阵,其大小为 d~×d,作用是将提取到的特征投影到低维子空间, d~表示特征经过压缩后的特征维度;F_t=F{P_tf_t};η表示学习率,作为模型的更新参数。(5)式和(6)式分别表示(4)式中分子和分母部分的更新策略。

在第t帧图像中,参照目标在t-1帧的位置,在指定的背景区域提取不同维度的特征样本,对样本进行压缩后使用相关滤波器得到 zt(l),对 zt(l)进行FFT得到Z_t=F{P_t-1z_t},最终得到的响应分数为

Rt=∑l=1d~A-t-1(l)Zt(l)Bt-1+λ,(7)

式中: A-t-1(l)表示第t-1帧、第l维特征的复共轭。对得到的响应分数R_t进行傅里叶逆变换(IFFT)得到相关滤波器的响应值r_t,响应值越大,则越有可能是目标的位置。r_t的计算式为

rt=F-1{Rt},(8)

式中:F^-1表示傅里叶逆变换。

3.1.2 颜色概率模型

颜色概率模型主要用于将目标的前景与背景分开,通过统计前景目标和背景区域的颜色直方图并进行归一化,判别每个像素属于前景和背景的概率,得到像素级的前景概率响应图,前景响应分数越高的位置,越有可能是目标的位置。响应图的得分计算式为

s(Φ;α)=1|M|∑x∈MαTΦ(x),(9)

式中:M为待计算区域提取出的像素个数;α为模型参数;Φ(x)为第x帧中像素网格内统计颜色特征的函数。通过提取并统计前景和背景网格中的颜色特征,使用(9)式计算出像素的响应分数,从而得到目标的颜色概率响应图。每帧确定跟踪目标位置后,采用最小化损失函数的方式更新模型。该模型的损失函数为

L(x,α)=1|O|∑x∈Ο[αTΦ(x)-1]2+1|B|∑x∈B[αTΦ(x)]2,(10)

式中:O表示模型所提取的目标区域的图像个数;B表示模型所提取的背景区域的图像个数。(10)式由两项组成,前一项表示目标区域的损失,后一项表示背景区域的损失。在模型中使用的颜色特征为RGB,统计直方图得分可以使用平均投票的方式。在损失函数中,使用每个图像的目标函数对每个特征像素进行线性回归。对于模型参数α,采用以下策略解决相关岭回归问题:

αt=argminαL(x,α)+12λ‖α‖2,(11)αt(j)=ρ(j)(O)ρ(j)(O)+ρ(j)(B)+λ,j=1,2,…,m,(12)

式中:ρ^(j)(O)为目标区域中特征j的非零区域中像素比例;ρ^(j)(B)为背景区域中特征j的非零区域中像素比例;j为特征的维度;λ为模型的权重参数。

跟踪第t帧时,当学习率为η,采用以下策略在线更新像素比例:

ρt(O)=(1-η)ρt-1(O)+ηρ't(O),(13)ρt(B)=(1-η)ρt-1(B)+ηρ't(B),(14)

式中:ρ_t(O)为颜色概率模型中第t帧目标区域的更新策略;ρ'_t(O)为第t帧计算目标区域的直方图得分;ρ_t(B)为颜色概率模型中第t帧背景区域的更新策略;ρ'_t(B)为第t帧计算背景区域的直方图得分。

3.2 基于GMS的目标检测器

在可信度策略的基础上,针对最高可信度仍然较低的情况,提出了一种基于GMS特征点匹配^[16]的目标检测器。检测器首先通过特征点匹配判断是否进行重检测,在重检测时将利用当前帧计算得出的目标位置与前一帧目标的预测位置进行比较,选择可信度最高的位置作为当前帧目标的最终位置,实现对目标的跟踪。以序列DragonBaby中的第5帧为例,目标重检测过程示意图如图3所示,图中的检测候选位置为P₀(107.8,219.1),特征点对数为178,5个预测区域的可信度集合为{3.27,2.89,3.14,4.09,3.18},可信度最高的位置为P₁(108.3,205.2),P₁为重检测确定的目标的最终跟踪位置。

图 3. 重检测过程示意图

Fig. 3. Schematic of redetection process

下载图片 查看所有图片

GMS特征点匹配是文献[ 16]提出的一种基于网格运动统计的快速、超稳健的特征匹配算法,其主要思想是:首先进行ORB (Oriented FAST and Rotated BRIEF)特征匹配,得到特征匹配点,然后使用GMS方法对匹配结果进行过滤,消除错误的特征匹配点对,保留匹配成功的特征点。为了减少邻域之间像素的干扰,增加特征匹配结果的差异,构建了一种基本平滑运动核,其大小为3×3,每个网格的匹配统计值S_i满足二项分布,每个核的匹配统计值计算式为

Sa,b=∑u=1K|Xa(u)b(u)|,(15)

式中:K=9为平滑运动核的网格个数;| Xa(k)b(k)|为区域a与区域b中匹配成功的特征点对数。该算法设定判定阈值τ=m_f+δs_f≈δs_f≈δn(δ=6),δ表示设定阈值的平衡常数。其中m_f为错误匹配的对数均值,s_f为方差,每个核的匹配结果为

Pcell-pair{a,b}=TSa,b>τa=δnaFotherwise,(16)

式中:T表示成功匹配;F表示错误匹配。

通过对当前帧可信度较高的目标区域与前一帧的目标区域进行特征点匹配,得到匹配成功的特征点对数,匹配成功点越多,表示两帧之间的目标区域越相似,匹配程度越高;反之,则匹配程度越低。实验中设定特征点总数为S_point,匹配阈值为Y_theshold,匹配阈值为特征点总数的1/2。当匹配成功的特征点数大于阈值时,表明两帧之间的相似程度高于50%,虽然可信度较低,但是模型定位的区域仍是目标区域,对目标进行尺度估计以及整体模型的更新。当匹配成功的特征点数小于阈值时,说明两帧之间的相似程度低于50%,此时激活检测器,重新检测目标区域。

图4为以序列Bird2为例模拟得到的目标运动轨迹。结合图4中目标的运动轨迹可以看出,目标运动是平滑渐进的过程,所以两帧之间目标位置移动的距离不会呈阶跃性的变化。因此,根据前一帧的目标中心点位置,在其不同方向上设置预测区域作为重检测时的目标预测区域。同时考虑可信度较低以及匹配程度较低的原因可能在于:1)漂移的发生,导致目标丢失;2)对目标的定位不够准确。因此将模型在当前帧定位的可信度最大但低于可信度阈值的目标位置也作为预测位置,以实现对目标的准确定位。本文共设置5个预测区域,预测区域集合为N={N₁,N₂,N₃,N₄,N₅},其中N₅表示当前帧候选目标位置确定的预测区域,N₁,N₂,N₃,N₄表示根据前一帧的目标位置设置4个预测区域,分别对应4个方向,预测区域的构建过程如图5所示。

图5中,O_center为前一帧的目标中心点,预测区域的中心点分别为A₀、B₀、C₀和D₀,前一帧的目标尺寸记作w_prior×h_prior。以A₀为例,A₀是通过O_center先向右平移φ×w_prior的距离,然后再向上平移φ×h_prior的距离得到。B₀、C₀与D₀的获得过程与A₀类似,只是平移方向不同。根据实验效果,φ=1/4时效果最好。图5中所示的红色框是以O_center为中心的搜索区域,黄色框是以A₀为中心的搜索区域,虚线框表示A₀、B₀、C₀、D₀ 4个点共同确定的搜索区域。

图 4. 目标运动轨迹图

Fig. 4. Trajectory of object motion

下载图片 查看所有图片

图 5. 预测区域构造示意图

Fig. 5. Schematic of predicted area

下载图片 查看所有图片

使用当前帧的融合特征组合方式导致可信度较低,因此在对预测区域进行检测时,采用的融合特征融合方式中不包括当前帧已经使用过的融合方式,增强了检测器对偶然因素形成的可信度较高的特征的抗干扰能力。对于每个预测区域, 使用位置滤波器与颜色概率模型进行特征提取,通过分配不同的权重得到融合特征,选取最大的可信度作为该预测区域的可信度。预测区域可信度集合表示为Q={Q₁,Q₂,Q₃,Q₄,Q₅},取可信度集合中数值最大的预测区域为目标所在的区域,同时使用该预测区域中选择的特征对目标的位置进行定位,找到目标的中心位置,实现跟踪。Q集合中最大可信度低于阈值θ_APCE时,表明该区域的特征不足以表征目标,因此对当前帧不进行模型更新,以确保整体模型对目标描述的准确性。

对序列DragonBaby的前10帧的位置数据进行采集,结果如表2所示。通过对比表2中检测位置、重检测位置以及目标实际位置可以看出,进行重新检测后,得到的目标位置与实际位置接近,说明了本文的重检测机制的必要性以及目标检测器的有效性。

3.3 多尺度滤波

针对目标跟踪过程中的尺度变化问题,在确定目标位置后,使用尺度相关滤波器对目标的尺度变换进行估计,构建目标尺度金字塔。尺度滤波器模型的期望响应函数是高斯函数,使用相关滤波器对尺度池中不同的尺度进行评估,响应分数最大的尺度即为目标当前帧的最佳尺度,构建尺度池的方法为

Sscale=σn×W×σn×H, n∈-S-12,…,S-12,(17)

式中:W×H为前一帧目标的大小;σ为尺度因子;n为比例滤波器的大小;S为压缩后的特征维数;S_scale为尺度响应值。

尺度滤波器与位置滤波器的滤波过程相似,采用一维高斯函数作为期望函数,将尺度滤波器h_scale与尺度训练样本f_scale代入(3)式,然后在傅里叶域进行计算,得到17维的尺度响应向量,通过对17维的尺度向量进行内插操作,得到33维的响应向量,响应值最大的尺度即为目标的最佳尺度。为提高计算和存储效率,并未像位置滤波器中通过构建自相关矩阵的方式获得尺度投影矩阵P_scale,而是通过对f_scale进行正交三角(QR Decomposition)分解得到,这样处理不会影响跟踪结果的输出。表3中的数据表示序列CarScale的部分帧的尺度估计信息,并将尺度滤波器选取的最佳尺度与实际尺度进行了比较,从表中数据可以看出,最佳估计尺度与目标的实际尺度差距很小,表明本文的尺度估计方法能够适应目标的尺度变化。

4 算法步骤

自适应特征选择的相关滤波跟踪算法步骤如下:

1) 建立模型。使用已知的首帧目标位置信息,选取首帧中的目标区域和搜索区域,分别训练2维位置滤波器、颜色概率模型以及1维尺度滤波器。

2) 融合特征。取t-1帧的目标位置作为中心位置,利用该位置构建相应的背景区域和前景区域。使用位置滤波器在背景区域中采集候选样本z_t,将z_t进行FFT变换后代入(7)式和(8)式,得到滤波器的响应图f_cf;同时使用颜色概率模型统计前景和背景的颜色直方图并进行归一化,将结果代入(9)式得到像素级的前景概率响应图f_color。对得到的f_cf与f_color分配不同的权重,代入(1)式得到多个最终的特征响应图f_fuse。

3) 可信度判断。通过(2)式对步骤2)中分配不同的权重ω的多个f_fuse进行可信度判断,取最大可信度的融合特征作为当前帧的跟踪特征,并估计出目标的候选位置。若最大可信度高于阈值θ_APCE,则候选位置即为当前帧的目标位置,转至步骤5);若最大可信度不超过阈值θ_APCE,则可能需要对目标的位置进行重新检测,转至步骤4)。

4) 特征点匹配和重检测。对于步骤3)中最大可信度仍较低的情况,根据(15)式和(16)式,使用特征点匹配的方法比较该可信度下t帧中确定的目标区域与t-1帧中确定的目标区域的相似程度,若特征点匹配成功的点对数大于匹配阈值Y_threshold,则转至步骤5);否则对预测区域进行重新检测,选取可信度最大的预测区域作为目标区域。

5) 尺度估计。以当前帧确定的目标位置为中心位置,使用(17)式提取不同的候选样本以构建尺度金字塔,根据(7)式和(8)式计算尺度滤波器的响应值,最大响应尺度即为第t帧目标的最佳尺度。

6) 模型更新。对于步骤 4)中重新检测过程得到的预测区域中最大可信度仍不超过阈值θ_APCE的情况,不进行模型更新,使用(5)式和(6)式更新滤波器,同时根据(13)式与(14)式更新颜色概率模型。

7) 输出跟踪结果。将跟踪窗口进行可视化输出,继续执行步骤2)。

5 实验结果及分析

5.1 实验参数设置及数据

所有实验均在CPU为Intel Core i7-6700,3.4 GHz主频和16 GB内存的计算机上完成,测试开发平台为:MATLAB R2016a。在位置滤波器模型中,初始提取的特征维度d=32,压缩后的特征维度 d~=17,正则化权重参数λ=0.001,学习率η=0.03。在颜色概率模型中,正则化权重参数λ=0.001,学习率η=0.04。在尺度滤波模型中,尺度因子σ=1.02,压缩后的特征维数S=17。学习率η=0.025,在特征点匹配过程中,特征点总数S_point=1000,匹配阈值Y_threshold=500。

为了便于与其他主流算法进行对比,实验选取的标准测试数据集为OTB50^[17]和OTB100^[18]。OTB50数据集包含50组视频序列,涵盖11种不同视觉跟踪挑战的属性,如光照变化(IV)、尺度变换(SV)、运动模糊(MB)等,每段序列可能有多个属性。OTB100是在OTB50的基础上新增了50组测试视频序列,背景属性更加复杂,跟踪挑战性更大。

实验采用一次性通过评估(OPE)评价准则来计算跟踪准确率和成功率,将准确率、成功率以及跟踪速度作为跟踪性能的评价标准。跟踪准确率(DP)为跟踪中心点位置误差小于阈值的帧数占整个序列帧数的比例,跟踪成功率(OP)则表示跟踪重叠率(交并比)大于阈值的帧数占总体序列帧数的比例,跟踪速度(FPS)为跟踪器每秒读取视频序列中图片的个数,其中准确率阈值设定为20 pixel,成功率阈值设定为0.5。

5.2 对比实验分析

为了验证本文跟踪算法的有效性,选取7种近几年出现的跟踪效果较好的跟踪算法进行对比,分别为fDSST^[13],SAMF^[19],SRDCF^[20],BACF^[21],STRCF^[22],STAPLE^[10],ECO^[23]。这些算法涵盖基于相关滤波的算法、相关滤波改进的算法以及深度学习的算法,本节将从跟踪的准确性与时效性两个方面进行跟踪效果的对比。

5.2.1 准确性分析

在OTB50与OTB100数据集的不同属性下测试了8种算法,得到8种算法的距离精确度和跟踪重叠率见表4。8种算法分别在OTB50、OTB100上的跟踪成功率曲线和跟踪精确率曲线如图6和图7所示,横坐标分别表示重叠率阈值和中心误差阈值,纵坐标表示满足阈值条件的帧数占总帧数的比例。

图 6. 8种跟踪算法在OTB50上的精确率和成功率。(a)精确率对比曲线;(b)成功率对比曲线

Fig. 6. Precisions and success rates for 8 tracking algorithms on OTB50. (a) Precision comparison; (b) success rate comparison

下载图片 查看所有图片

图 7. 8种跟踪算法在OTB100上的精确率和成功率。(a)精确率对比曲线;(b)成功率对比曲线

Fig. 7. Precisions and success rates of 8 tracking algorithms on OTB100. (a) Precision comparison; (b) success rate comparison

下载图片 查看所有图片

结合表4中的数据和图6、图7中的曲线可以看出,在OTB50数据集上,本文提出的跟踪算法在跟踪成功率上接近STRCF算法,低于基于深度学习的ECO算法,高于其他的算法,其在跟踪精度上的表现同样如此。在OTB100数据集上,本文算法的跟踪成功率低于ECO算法与STRCF算法,高于其他的算法,跟踪精度也仅次于ECO算法和STRCF算法而高于其他算法。综上所述,本文算法虽然比基于深度学习算法的跟踪准确度低,但是在大多数情况下表现较好,能准确、稳健地跟踪目标。不过与针对遮挡问题的STRCF算法相比,本文算法对于遮挡情况的处理能力欠佳。因此在以后的工作中,将重点对如何提高模型对遮挡的处理能力做进一步研究,以提高跟踪方法的整体准确性和稳健性。同时,虽然本文算法的滤波跟踪器是基于fDSST算法,但是在跟踪的平均准确率和成功率上有明显提高。结合表4数据可知,在OTB50数据集上,相比fDSST算法,本文算法的平均准确率与平均成功率均提升了约7%。为了更加直观地表示不同算法的跟踪效果,将8种跟踪算法在部分序列上的跟踪效果进行对比,结果如图8所示。

图 8. 8种跟踪方法在部分序列上的跟踪结果

Fig. 8. Tracking results of 8 tracking algorithms in partial sequences

下载图片 查看所有图片

BlurOwl序列中目标具有运动模糊以及快速运动的属性,在第10帧到第388帧的跟踪过程中,目标在平面内快速运动,部分跟踪算法逐渐漂移,尤其在第156帧时,只有ECO算法、STRCF算法以及本文算法能精确地跟踪到目标位置,经历运动模糊过程后(第470帧、第631帧),仅有STRCF算法与本文算法在尺度和位置上可精确地定位目标,其中STRCF算法在第470帧时发生了轻度漂移,表明本文算法对于快速运动和运动模糊的情形具有稳健性。

在Couple序列对目标跟踪的过程中(第10帧、第140帧),目标所处的背景比较杂乱且目标的姿态不断变化,导致跟踪器跟丢目标或无法准确跟踪目标。在第47帧和第108帧中,STAPLE、SAMF以及fDSST算法因背景干扰未能正确跟踪目标,ECO算法因为目标尺度的不断变化,不能精确地定位目标的尺度。在第140帧中,STRCF算法被相似目标吸引导致错误地跟踪了目标,只有BACF算法与本文算法成功地跟踪了目标,表明本文算法在背景杂乱与尺度变化时具有稳定性,有效地实现了对目标的跟踪。

Skiing序列中显示的是目标在光照变化和变形的情况下,8种跟踪算法的跟踪效果。从第2帧到第81帧的跟踪过程中,除了ECO算法与本文算法外,其余算法均在第16帧时发生了漂移且无法再次跟踪到目标。在第33帧时,由于目标发生了变形,ECO算法未能精确定位目标的位置,仅本文算法准确地跟踪到目标,表明本文选择特征的方法对光照变化以及变形具有较强的适应能力,跟踪较为稳定。

Bird2序列中的目标存在遮挡与平面外旋转的情况,在第49帧时,只有本文算法准确地跟踪到目标,其他跟踪算法由于部分遮挡发生了不同程度的漂移,除ECO算法外,其他方法由于在漂移过程中学习了大量的背景信息,导致跟丢目标(第61帧、第83帧)。在第98帧时,STRCF、SAMF以及fDSST跟踪算法丢失目标后无法重新检测跟踪到目标,本文算法通过在跟踪过程中采用特征点匹配机制,一定程度上克服了部分遮挡的影响,准确地跟踪到了目标。

Bolt2序列与Football1序列中目标背景比较复杂,同时目标在平面内快速运动并存在大量相似目标的干扰。其中Bolt2序列中,由于在目标的快速运动过程中,SAMF算法与fDSST算法中的跟踪器对于错误的跟踪结果没有可靠性判定,导致目标逐渐跟踪错误(第25帧、第88帧)。STRCF算法由于相似目标的干扰,在第182帧时错误地跟踪了目标。在对Football1序列的跟踪过程中,目标还存在平面内旋转的属性。跟踪过程中目标经过快速运动和旋转后,在第74帧时,只有本文跟踪算法能长期、稳定地跟踪到目标。本文通过在跟踪过程中引入可信度策略,对每帧的跟踪结果进行可靠性判定,增强了跟踪器对于错误跟踪结果的判别能力,从而提高了跟踪的准确性。

5.2.2 时效性分析

8种算法在OTB50和OTB100数据集上的平均运行速度见表5。结合表5数据可以看出,本文提出的算法在运行速度上仅次于fDSST算法,优于其他算法。综合表4和表5的数据可知,虽然基于深度学习的ECO算法与针对遮挡问题的STRCF算法在跟踪效果上略优于本文算法,但是在跟踪速度上,上述两种算法的运行速度较慢,不能满足实时性的要求。相较于ECO算法与STRCF算法,本文算法的优势在于能保证跟踪效果相对准确、稳定的同时,还能基本满足实时性的要求;相较于固定等权重融合特征的STAPLE算法,本文算法除了采用多权重分配方式融合特征之外,在基础特征提取以及尺度估计过程中,采用比STAPLE算法计算量更小的加速算法,因此在跟踪准确率以及跟踪速度上均优于STAPLE算法;相较于运行速度比本文算法较高的fDSST算法,本文算法的跟踪准确率更高,跟踪性能更好。

6 结论

本文算法使用不同的权重分配方式融合两种基础特征,从多样化的融合特征中选择可信度最大的特征,将其作为目标的跟踪特征对目标进行跟踪,同时提出了一个基于GMS特征点匹配的检测器,用于重新检测。通过将多样的特征融合方式与高置信度选择策略相结合,增强了模型对于目标以及背景变化的适应能力;当选择的特征可信度较低时,根据特征点匹配的结果对目标进行重新检测,实现对目标稳定、准确的跟踪。上述实验结果表明,本文跟踪算法的跟踪速度基本满足实时性的要求,有效地提高了目标跟踪的准确性和稳健性,尤其对于快速运动、运动模糊、光照变化等场景具有良好的性能。本文算法没有更多地考虑大面积遮挡对模型的影响,因此下一步的工作重点是将遮挡考虑在内,以进一步提高目标跟踪效果。