1 引言

可视化目标跟踪是计算机视觉中的研究热点之一,在智能交通、机器人、人机交互、无人驾驶等视觉场景中得到了广泛的应用。近年来,目标跟踪领域的研究取得了很大的进步,但光照变化、运动模糊、背景混乱、遮挡、尺度变化等因素的影响使得利用单一跟踪模型很难解决目标跟踪领域存在的问题。因此,研究者们提出了大量的目标跟踪算法,其中平方误差的最小输出和(MOSSE)^[1]第一次展示了相关滤波应用于跟踪算法的巨大潜能,随后核检测跟踪的循环结构(CSK)^[2]、自适应颜色属性跟踪(CN)^[3],核相关滤波(KCF) ^[4]的提出使相关滤波跟踪算法获得了越来越多的关注。

Henriques等^[2]提出CSK来研究一种基于循环结构的稠密采样策略,该策略可采集更多的样本,并且不影响跟踪的速度,取得了很好的效果。Danelljan等^[3]提出CN,使用颜色属性扩展稠密采样相关滤波跟踪器,并采用主成分分析^[5]将原本11维的颜色属性降为2维的颜色特征,并与灰度特征融合成3维特征,改进了目标的表观特征。Henriques等^[4]提出的KCF使用方向梯度直方图(HOG)特征和核机制,对稠密采样相关滤波跟踪器进行改进,得到基于HOG特征的KCF跟踪算法,在跟踪精度和稳健性上有了较大的提高。虽然上述算法实现了精度与稳健性的大幅度提升,但是这些基于相关滤波的跟踪算法采用的是固定大小的模板,仅评估目标的位置,不能处理目标尺度的变化,而能否自适应地处理尺度变化直接关系到跟踪算法的综合性能。

在相关滤波框架下的目标跟踪研究有效解决了目标尺度问题,其中效果最好的是使用尺度金字塔,国内大多数研究也是以KCF为基础添加尺度估计机制,例如高美凤等^[6]提出尺度自适应核相关滤波目标跟踪,王鑫等^[7]提出基于多层卷积特征融合的目标尺度自适应稳健跟踪,沈秋等^[8]提出基于自适应特征选择的多尺度相关滤波跟踪,李聪等^[9]提出特征融合的尺度自适应相关滤波跟踪算法,这些研究都是通过对目标区域进行多尺度采样或者使用不同的特征表征来提高跟踪精度。同样,稳健视觉跟踪的精确尺度估计(DSST)^[10]和特征整合尺度自适应核相关滤波跟踪算法(SAMF)^[11]均采用尺度固定的尺度因子,DSST使用一个独立的尺度滤波器,尺度个数为33,在目标位置确定后,以目标的不同尺度采样作为样本训练尺度滤波器,从而求得最优目标尺度。SAMF采用7个尺度模板,与DSST不同的是,SAMF寻求位置和尺度同时最优。DSST是基于MOSSE进行改进,增加了HOG与原始特征的融合。SAMF基于KCF并在HOG特征提取时增加了颜色特征,提高了外观表征的能力。判别式尺度空间跟踪(fDSST)^[12]是DSST的加速版。利用检测方案实现视觉跟踪中的尺度和纵横比适应性(KCFDPT)^[13],把类不可知的检测建议方法与相关滤波进行整合来解决尺度问题。

上述DSST与SAMF解决尺度变化的方法大同小异,均使用尺度模版,只是使用个数和对尺度设计的方法不同,最终效果类似。虽然上述2种方法效果很好,但是DSST在大部分情况下可以实现实时检测,而SAMF不像DSST一样借助快速傅里叶变换(FFT),每一帧循环7次来求解位置与尺度同时最优,很难实现实时检测。考虑到KCF能够快速地应对各种复杂情况,而DSST与SAMF不管尺度变化与否,对每一帧都重复同样次数的计算,并且为了进一步验证仅利用检测响应图的峰值来应对目标尺度的有效性,以响应图与期望输出图的欧氏距离作为峰值的可靠程度,以两者的乘积作为最终比较结果,先使用3个尺度因子确定目标尺度变化方向,然后在尺度变化方向求解最优尺度,可大幅减少计算量。由于通常情况下,目标尺度变化不大,又考虑到遮挡等复杂情况的影响,因此通过实验可知,迭代次数设置为5是最优的方法。

为了在确定最优位置后独立地评估目标尺度,本文提出一种由粗到细的快速、新颖的快速尺度自适应核相关滤波目标跟踪(FSAKCF)算法。该方法可以嵌入基于相关滤波的跟踪算法中进行快速尺度评估。与其他先进的未处理尺度的CSK、CN、KCF进行比较,以证明本文提出的方法能够处理尺度变化;并与先进的尺度处理算法DSST、SAMF、KCFDPT、fDSST进行比较,考察各算法的中心位置精度和跟踪速度。

2 KCF

KCF跟踪器基于CSK跟踪器进行扩展,以HOG特征代替原先的灰度特征,并把只能使用单通道的灰度特征改进为可以使用多通道的HOG特征或者其他特征。KCF使用目标周围区域的循环矩阵采集正负样本,利用岭回归训练目标检测器,并成功地利用循环矩阵在傅里叶空间可对角化的性质,将矩阵的运算转化为向量的Hadamad积,即元素的点乘,大幅减少了运算量,提高了运算速度,使算法满足实时性要求。并将线性空间的岭回归通过核函数映射到非线性空间,在非线性空间通过求解一个对偶问题和某些常见的约束,同样可以使用循环矩阵傅里叶空间对角化简化计算,给出了一种将多通道数据融入该算法的途径。

KCF是一种判别式追踪方法,一般在追踪过程中训练一个目标检测器,使用目标检测器检测下一帧预测位置是否为目标,然后使用新检测结果更新训练集,进而更新目标检测器。而在训练目标检测器时,一般选取目标区域为正样本,目标的周围区域为负样本,越靠近目标的区域为正样本的可能性越大。KCF跟踪算法主要包括分类器训练、快速检测与模型更新3个部分。

2.1 分类器训练

利用岭回归进行分类器训练,原因是它可以提供一个简单的封闭形式的解决方案,并可以实现接近更复杂方法的性能,比如支持向量机(SVM)。训练的目的是找到一个函数f(z)=ω^Tz(其中z为样本数据,ω为分类器),使样本x_i及其回归目标y_i的平方差最小化,即

minω∑if(xi)-yi2+λ‖ω‖2,(1)

式中:λ为控制过拟合归一化参数(防止ω矩阵过于稀疏);‖·‖为L2范数。最小值有一个闭式^[14],即

ω=(XTX+λI)-1XTy,(2)

式中:X为数据矩阵,X的每行x_i有一个样本;y为高斯标签函数,y的每个元素是一个回归目标y_i;I为单位矩阵。

将线性问题的输出用核机制映射到非线性空间φ(x)(其中x为训练阶段的样本数据),将ω表示为线性样本组合,即

ω=∑iαiφ(xi),(3)

式中:α_i为样本x_i在非线性空间中对应的分量。因此,优化的变量是α而不是ω,(3)式表示ω是相对于原始空间的对偶空间。

点乘形式的算法为φ^T(x)·φ(x')=k(x,x'),其中x'为检测阶段的样本数据,k(x,x')为两个样本的核相关函数。利用核函数计算(比如高斯核函数)所有样本对的点乘通常存储在n×n型核矩阵K中,即

Kij=k(xi,xj),(4)

式中:K_ij为样本i与样本j的核相关矩阵。由文献[ 14]的方法可得

α=(K+λI)-1y,(5)

式中:α为系数α_i的向量,展示了在对偶空间中的解决方案。将(5)式转到傅里叶域进行求解,有

α^=y^k^(x,x')+λ,(6)

式中: α^为当前帧目标位置的分类器参数; y^为y的快速傅里叶变换。 k^(x,x')为k(x,x')的傅里叶变换。由高斯核k(x,x')=exp -1δ2‖x-x'‖2(其中δ为高斯函数的核带宽),得到

kxx'=exp-1δ2x‖2+‖x'‖2-2F-1x^*☉x^',(7)

式中: x^为x的傅里叶变换; x^*为 x^的共轭;F^-1`为傅里叶逆变换;☉为点乘。

2.2 快速检测

采用2.1节中训练的分类器检测下一帧目标的位置,即采集搜索区域内所有测试样本, 获得分类器的响应输出,响应输出值最大的位置为下一帧目标所在的位置。对于给定的单个测试样本z,分类器的响应输出为

f(z)=ωTz=∑inaik(z,xi)。(8)

对所有的候选块计算回归函数。注意到f(z)是一个向量,包含所有z的循环位移输出,即整个检测响应。将其对角化可得

f(z)=F-1k^xz☉α^,(9)

式中: k^xz为样本x与样本z的核相关傅里叶变换。

直观上来看,计算f(z)所有位置上的值可以看作核值k^xz上的空间滤波操作。每个f(z)是一个来自k^xz邻近核值并由学习系数α加权的线性组合。这是一个滤波操作,因此它可以更有效地在傅里叶域用公式表示。

2.3 模型更新

在目标跟踪过程中,目标经常会因环境和自身的变化而受到影响,需要及时更新目标表观模型来应对目标的变化。模型更新主要包括预测位置的目标表观模型 x^和分类器参数 α^2个部分,一般采用线性内插法来更新模型参数,即

x^t=(1-η)x^t-1+ηx^,(10)α^t=(1-η)α^t-1+ηα^,(11)

式中:t为当前帧的序号;η为学习率。当前帧目标位置的分类器参数 α^由(6)式得出。

3 快速尺度自适应

3.1 快速尺度评估

针对现有大多数跟踪算法无法解决尺度变化问题和尺度解决方案存在冗余、固定的问题,提出一种快速尺度评估方法。该方法采用由粗到细的策略,粗略地确定目标尺度变化方向,以在该方向上迭代求解的响应图最大值作为最优尺度,从而实现快速尺度估计。为了进一步验证仅利用检测响应图的峰值应对目标尺度的有效性,以响应图与期望输出图的欧氏距离作为峰值的可靠程度,即

ERts=exp-‖Rst-G‖2,(12)

式中: Rst为t帧尺度因子为s时的响应图;E_Rts为误差权重,表征响应图峰值的可靠程度;G为高斯期望输出标签。最终比较结果为

Tst=ERtsmaxtRst。(13)

快速尺度评估算法步骤如下。

1) 输入图像I_t,新的位置P_t和尺度S_t-1,模型大小model_sz,高斯标签G,模型参数 x^t、 α^t,误差权重与响应图峰值乘积 Ttc。

2) 输出尺度因子S_factor。

①根据P_t和S_t-1,按尺度因子0.985和1.015分别提取尺度样本z_scale并缩放到model_sz大小。

②将z_scale、 x^t和 α^t代入(7)式和(9)式,求得响应图 Rst,将 Rst和G代入(12)式和(13)式,分别求得误差权重与响应图峰值乘积 Ttl和 Ttr。

③比较 Ttl、 Ttc和 Ttr的大小:

a) 如果 Ttc最大,则S_factor=1。

b) 如果 Ttl最大,则梯度n_step+1=n_step-0.015,n_step=0,N_iter=5, Tttmp= Ttl;执行步骤①和步骤②,求得误差权重与响应图峰值乘积并与 Tttmp比较;如果 Tttmp最大,循环终止,则循环执行步骤⑤,S_factor=0.985+n_step+0.015。

c) 如果 Ttr最大,则n_step+1=n_step+0.015,n_step=0,N_iter=5, Tttmp= Ttr;执行步骤①和步骤②,求得误差权重与响应图峰值乘积并与 Tttmp比较;如果 Tttmp最大,循环终止,则循环执行步骤⑥,S_factor=1.015+n_step-0.015。

3.2 快速尺度自适应目标跟踪算法

KCF算法中的目标跟踪框固定不变,当目标逐渐变大时,只能捕捉到目标的某一部分,当目标逐渐变小时,跟踪的目标区域又易于掺杂干扰的背景信息。为了解决这一问题,在原始算法的跟踪过程中加入3.1节中提出的尺度估计的方法。

快速尺度自适应目标跟踪算法步骤如下。

1) 输入图像I_t,位置P_t-1,尺度S_t-1,模型大小model_sz,高斯标签G,模型参数 x^t-1、 α^t-1。

2) 输出位置P_t,尺度S_t,模型参数 x^t、 α^t。

位置评估:

①根据P_t-1和S_t-1,从I_t中提取样本z并缩放到model_sz大小。

②将z、 x^t-1和 α^t-1代入(7)式和(9)式,求得响应图 Rst,将 Rst和G代入(12)式和(13)式,求得误差权重与响应图峰值乘积 Tct。

③P_t为响应图最大值的位置。

尺度评估:

①参照3.1节,获得 Stfactor。

②S_t=S_t-1Stfactor。

模型更新:

①根据P_t和S_t,从I_t中提取样本z_scale并缩放到model_sz大小。

②根据(10)式和(11)式,更新 x^t和 α^t。

4 实验

在KCF跟踪算法中嵌入所提出的快速尺度估计方法,以解决目标尺度问题并极大地提高算法性能,进一步与DSST、SAMF、KCFDPT和fDSST尺度估计算法进行比较,并与其他先进的跟踪算法进行定性与定量比较。

4.1 算法参数和实验配置

本文提出的方法仅使用了HOG特征,特征的单元大小为4×4,方向梯度设置为9。目标填充为1.5,归一化参数为10^-4,期望输出标准差为0.1,高斯函核大小为0.5,学习率设置为0.02。

从评估基准OTB-100^[15]中挑选出26个包含尺度变化属性的基准序列,序列属性如表1所示,其中SV为尺度变化,MB为运动模糊,FM为快速运动,IPR为平面内旋转,OPR为平面外旋转,IV为光照变化,OCC为遮挡,OV视野外,BC为背景混乱,LR为低分辨率,DEF为变形。实验的软件平台为MATLAB R2016b,硬件平台为Intel(R) Core(TM) i7-4790 CPU@3.60 GHz,8 GB内存的台式机。

4.2 评估方法

本文提出方法的性能通过文献[ 16]中的协议进行定量验证。提出方法的性能包括距离精度(DP)、中心位置误差(CLE)和重叠精度(OP)。第一度量CLE是基准和评估的目标位置的平均欧氏距离。第二度量DP是CLE小于某阈值序列中相对数量的帧数,文献[ 16]中选择的阈值为20 pixel。第三度量OP是边框重叠率超过某个t∈ 0,1的阈值,本文中阈值为0.5。

在精度图中根据某范围内的阈值来绘制平均DP,给出每种方法20 pixel上的平均DP分数。在成功率图中绘制平均OP,给出曲线下面积(AUC)。精度图和成功率图提供了26个序列的平均结果。最后,给出本文提出的方法与现有其他先进跟踪算法的定量分析。

4.3 与其他先进跟踪算法的比较

为了评估本文提出的快速尺度估计方法的性能增益,在26个序列上运行9种跟踪算法:CSK、CN、KCF、DSST、SAMF、KCFDPT、fDSST,以及本文提出的方法FSAKCF(仅以响应图的最大值作为比较标准)与FSAKCF1(以误差权重与响应图峰值乘积作为比较标准)。所有方法都基于相关滤波框架。表2所示为这9种跟踪算法的特点。由表2可知,虽然这些跟踪算法是基于同一框架,但跟踪性能非常不同。图1所示为一次通过的评估(OPE)、空间稳健性评估(SRE)和时间稳健性评估(TRE),其中每种方法在20 pixel上的平均DP分数在精度图中给出,成功率图中给出了每种算法的AUC分数。由图1可知,与KCF相比,精度图中的OPE、SRE和TRE分别提高了18.8%、16.9%和17.3%,成功率图中的OPE、SRE和TRE分别提高了19.6%、18.6%和19.1%,所提出的基于KCF尺度估计方法有效地解决了KCF未处理尺度的问题。TRE的精度均超过DSST、KCFDPT、fDSST。图2所示为FSAKCF与KCF部分跟踪效果。由图2可知,与DSST与SAMF一样每帧计算同样的尺度模板不同,本文所提出的算法对于尺度不变化和变化幅度不大的模板,其速度接近KCF的速度,而对于采用固定尺度的KCF,当目标变大时,不能很好地表征实际目标;当目标变小时,固定尺度的KCF会学习到更多的背景信息,很容易造成漂移。而本文提出的基于KCF的尺度估计方法可实时更新尺度,因此在精度和重叠率上都超过KCF,并且提出算法的速度达到实时,是DSST的2.5倍,是SAMF的6倍。

图 1. 26个序列的精度和成功率。(a) OPE的精度;(b) SRE的精度;(c) TRE的精度;(d) OPE的成功率;(e) SRE的成功率;(f) TRE的成功率

Fig. 1. Precision and success rate of 26 sequences. (a) Precision of OPE; (b) precision of SRE; (c) precision of TRE; (d) success rate of OPE; (e) success rate of SRE; (f) success rate of TRE

下载图片 查看所有图片

图 2. KCF与FSAKCF在David、CarScale、Dog1序列上的跟踪效果。(a) David,跟踪帧数为11;(b) David,跟踪帧数为149;(c) David,跟踪帧数为462;(d) CarScale,跟踪帧数为11;(e) CarScale,跟踪帧数为167;(f) CarScale,跟踪帧数为242;(g) Dog1,跟踪帧数为11;(h) Dog1,跟踪帧数为733;(i) Dog1,跟踪帧数为1290

Fig. 2. Tracking effect of KCF and FSAKCF on sequences of David, CarScale, and Dog1. (a) David, tracking frame number of 11; (b) David, tracking frame number of 149; (c) David, tracking frame number of 462; (d) CarScale, tracking frame number of 11; (e) CarScale, tracking frame number of 167; (f) CarScale, tracking frame number of 242; (g) Dog1, tracking frame number of 11; (h) Dog1, tracking frame number of 733; (i) Dog1, tracking frame number of 1290

下载图片 查看所有图片

5 结论

提出了一种由粗到细快速解决目标尺度变化的方法。提出的尺度估计方法可以嵌入其他基于相关滤波框架的跟踪算法。与现有其他先进的DSST和SAMF这2种代表性尺度处理算法相比,本文提出的方法不仅解决了目标尺度变化问题,从而提高了跟踪性能,而且实时跟踪速度是DSST的2.5倍,是SAMF的6倍,解决了添加尺度处理机制导致跟踪不实时的问题。实验结果表明,提出的方法成功处理了目标尺度的变化,与KCF相比,平均位置误差和重叠率大幅提升。TRE的精度均超过DSST、KCFDPT、fDSST。

本文主要研究目标跟踪过程中目标尺度对跟踪性能的影响,虽然本文提出的方法能够有效应对部分遮挡和短时间遮挡,但对于全部遮挡和长时间遮挡情况下没有进行处理。在未来的研究中将更多地研究目标严重遮挡的情况。