基于方向可靠性的互补跟踪算法

宋日成; 何小海; 王正勇

doi:doi:10.3788/AOS201838.1015001

光学学报, 2018, 38 (10): 1015001, 网络出版: 2019-05-09

基于方向可靠性的互补跟踪算法下载： 1012次

Complementary Object Tracking Based on Directional Reliability

论文大纲

宋日成 ^*何小海 ^*王正勇

作者单位

四川大学电子信息学院, 四川成都 610025

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

基于相关滤波的目标跟踪已成为当前的研究热点。传统相关滤波框架中经循环位移训练的跟踪模板对目标的像素排列较为敏感,难以适应目标形变,但其对光照变化和相似颜色干扰等颜色变化稳健性较好;基于空间可靠性的跟踪模板建立空间置信图作为相关滤波的随机场约束项,以适应形变问题,但其对颜色变化稳健性较差。为了充分发挥两种跟踪模板的优势,提出方向可靠性的概念,并制定了一套最优的判别方法,实现了两个模板在x轴和y轴两个方向的最优位移估计。实验结果表明,与当前优秀算法在OTB2013和OTB2015标准测试集上的对比实验验证了本文算法的有效性并能实时跟踪,且具有良好的准确性和稳健性。

Abstract

Object

tracking based on correlation filter has become a research hotspot currently. The traditional tracking model trained from circular correlation is sensitive to the pixel arrangement of the target and is difficult to adapt object deformation, but it has good robustness of variety in color of illumination and similar color interference. However, the model based on spatial reliability can adapt to the deformation by establishing the spatial confidence map as the random field constraint of the correlation filter, but it has less robustness for the color change. In order to exert the superiorities of the two tracking methods, the concept of directional reliability is innovative presented and a set of the optimization strategies is proposed to achieve optimal translation estimation of the two tracking models in both the x-axis and y-axis. Comparative results on OTB2013 and OTB2015 show that the method performs favorable against the other state-of-the-art algorithms and can achieve real-time tracking. It has good accuracy and robustness.

1 引言

目标跟踪是计算机视觉中的一个基础性问题,在机器人、智能监控和自动化等领域有着重要的意义和广泛的应用。目标跟踪的基本问题是:在一个视频或图像序列中选择感兴趣的目标作为跟踪对象,并如何使计算机在后续的图像帧中,准确而持续地跟踪到该目标的位置。近年来这个问题引起了人们广泛的兴趣,相关的跟踪算法^[1-20]发展速度很快,同时形成了一套标准的评价体系,主要分为目标跟踪基准数据集(OTB)^[21-22]和视觉目标跟踪数据集(VOT)^[23]。当前跟踪算法按照模型产生方式的不同主要分为生成式方法^[15-20]和判别式方法^[1-14]。生成式方法首先生成目标表观模型,然后在后续帧中搜索与目标模型最相似的区域。判别式方法以目标为正样本、以背景为负样本来训练分类器,并生成具有判别力的跟踪模板以在后续中查找最优区域。

近年,基于判别相关滤波器(DCF)的判别式方法逐渐发展成熟,并以其优异的表现成为当前的主流方法^[1-12]。Bolme等^[1]提出误差最小平方和滤波器并将相关滤波引入目标跟踪;在此基础上,Henriques等^[2]引入循环移位和岭回归的模板训练方法,提出了含核的跟踪检测循环结构(CSK),奠定了当前相关滤波跟踪的主要框架,之后为了增强模型的判别力,引入了核函数,提出著名的核化相关滤波器(KCF)^[3]。CSK和KCF算法极大地提升了原始算法的效率和准确性,使得基于相关滤波的目标跟踪方法在理论和实践中赶超传统的生成式和判别式方法,并成为当前研究的热点和主流。但是由于目标的形变、光照变化、运动模糊、相近背景干扰、尺度变化以及遮挡等问题,如何实现稳健的跟踪仍然富有挑战性。在此基础上,越来越多的学者开展了更加深入的研究。

针对目标尺寸在运动中发生变化的情形, Li等^[4]在KCF的基础上,将相关滤波器与缩放的图像进行相关检测,由最大响应值同时得到目标的位置和大小,提出了基于特征融合的尺度自适应核相关滤波器跟踪器(SAMF);Danelljan等^[5-6]则分别对位置和大小进行检测,先用传统方法找到目标的位置,再用所提出的多尺度相关滤波器检测目标的大小,提出了判别规模空间追踪器(DSST)算法^[5];之后又加入主成分分析(PCA)算法对目标特征进行降维,实现了fDSST(fast-DSST,即DSST加速实现算法)^[6]。为了解决循环移位存在的边界效应以及更好地突出目标,Galoogahi等^[7]提出用零填充滤波器来进行学习;Possegger等^[8]通过直方图统计建立前景和背景的颜色概率模型,用贝叶斯公式和阈值处理得到目标的颜色概率区域,提出了基于统计颜色特征的跟踪(DAT)算法。Danelljan等^[9]引入空间正则化以惩罚目标边界外的滤波器值;Lukeži $\begin{matrix} \overset{ˇ}{c} \end{matrix}$ 等^[10]引入空间可靠性和通道可靠性的概念并加入二值掩模矩阵。其意义在于可以扩大搜索区域,能检测到快速移动的目标。考虑到各算法之间的互补性,Bertinetto 等^[11]提出了互补算法,即实时互补跟踪(Staple)算法,将DSST算法^[5]与DAT算法^[8]得到的响应函数线性叠加,由叠加响应峰值判断目标的位置。

上述方法多采用单一的跟踪模板进行目标跟踪,未考虑不同跟踪模板之间的互补性。Lukeži $\begin{matrix} \overset{ˇ}{c} \end{matrix}$ 等^[10]考虑到滤波模板为矩形,对于形状不规则的目标,其受到背景的干扰较大。另外,传统的由循环矩阵进行相关滤波的方法对于目标的形变问题不具有稳健性,同时文献[ 10]还提出了空间可靠性方法 (CSR-DCF),有效解决了目标的形变和不规则问题。然而,当存在颜色相似的目标干扰或光照变化时,CSR-DCF方法容易发生漂移。研究过程中还发现,传统的跟踪模板仅需提取方向梯度直方图(HOG)特征,其对目标的光照变化以及目标与周围环境颜色相近的情况都具有较好的稳健性,但当物体发生形变以及运动较剧烈时,极易丢失目标。因此这两种跟踪模板之间存在着较好的互补性,因此本文将其结合起来进行应用。

为了实现最优的结合算法,自然存在如何充分发挥两个跟踪模板的互补优势的问题。Staple算法^[11]将两种跟踪器的响应直接乘以常系数进行线性叠加,但是在实际跟踪过程中,由于两种跟踪器之间也存在一定的互补性,例如某些情况下,一个跟踪器的响应有偏差,另一个相对准确,而在其他某些情况下却相反。在缺少反馈信息的情况下,直接将两者叠加,则其中任何一个模板出现错误或偏差都会影响整体跟踪结果,无法充分发挥两种模板的互补优势。文献[ 13]中提出一种跟踪置信度指标平均峰值相关能量(APEC) ,当跟踪置信度较高时才进行模板的更新。受此启发,将x和y方向的峰值均值比单独提取出来,设置了一种新的置信度指标,并在此基础上提出了一套判优机制,以实现两种算法的最优结合。在OTB^[21-22]多个测试序列上的定性分析结果表明,该算法可以降低失败率,同时提高准确性。在OTB2013^[21]和OTB2015^[22]标准测试集上的定量分析结果进一步验证了本文算法的有效性。

2 相关滤波跟踪算法

主要介绍基于判别相关滤波器进行跟踪模板训练的基本方法及引入空间置信图作为约束而得到的基于空间可靠性的相关滤波跟踪的理论。

2.1 判别相关滤波器

判别DCF基本思想是:以当前帧的样本训练一个分类器,计算其与下一帧的样本卷积,以响应最大值点作为目标的跟踪位置。DCF的核心思想在于引入循环矩阵,可以获取到密集的训练样本,保证了分类器的可靠性;同时又使分类器求解过程中的空间卷积操作转换为频域点积,降低了算法的时间复杂度。分类器即跟踪模板h采用岭回归模型进行训练,最小化h与样本f的卷积与目标函数g的距离,训练过程可描述为

\begin{matrix} \min \overset{N_{d}}{\sum_{d = 1}} {(f_{d} * h_{d} - g)}^{2} + λ \overset{N_{d}}{\sum_{d = 1}} {(h_{d})}^{2}, (1) \end{matrix}

式中:λ为常数防止过拟合因子;样本f为f_d构成的N_d通道特征向量,即f={f_d $\begin{matrix} }_{d = 1 ∶ N_{d}} \end{matrix}$ ;跟踪模板h为h_d构成的向量,即h={h_d $\begin{matrix} }_{d = 1 ∶ N_{d}} \end{matrix}$ ;目标函数g为二维的窄而尖的高斯函数。

由文献[ 2]求(1)式的岭回归解,即可得到当前训练的跟踪模板h为

\begin{matrix} h = \frac{\hat{f} ☉ \bar{\hat{g}}}{\hat{f} ☉ \bar{\hat{f}} + λ}, (2) \end{matrix}

式中: $\begin{matrix} \hat{f} \end{matrix}$ 为f的离散傅里叶变换; $\begin{matrix} \bar{\hat{f}} \end{matrix}$ 为 $\begin{matrix} \hat{f} \end{matrix}$ 的复共轭,其他相关符号同理。

计算h与下一帧的响应,即F=h*f,以F的峰值点作为目标跟踪位置。传统基于特征的相关滤波器在实验中对于运动模糊和光照变换均具有较好的稳健性。

2.2 基于空间可靠性的相关滤波跟踪

当目标发生形变、旋转时,传统的基于特征的相关滤波由于采用循环矩阵进行密集采样,所得到的跟踪模板对于像素的排序犹为敏感,且易受背景的干扰,当目标发生形变时很容易丢失目标。借鉴图像分割的方法,将前景与背景区分开,可以在突出目标的同时减小背景的影响。考虑到跟踪实时性的需要,Lukeži $\begin{matrix} \overset{ˇ}{c} \end{matrix}$ 等^[10]采用直方图的反向投影计算似然和后验概率的方法,指定像素x在表观模型y上是前景的概率为

\begin{matrix} p (m = 1 |y, x) \propto p (y| m = 1, x) p (x | m = 1) p (m = 1) 。 (3) \end{matrix}

对跟踪区域内的像素计算上述概率可得空间置信图m∈[0,1 $\begin{matrix} ]^{d_{w} \times d_{h}} \end{matrix}$ ,将m应用于模板更新,引入一个对偶变量h_c以添加约束条件h_c-h_m≡0,其中h_m=m☉h。可得增广拉格朗日方法为

\begin{matrix} \begin{matrix} L ({\hat{h}}_{c}, h, \hat{I} |m) = {({\hat{h}}_{c}^{H} diag (\hat{f}) - \hat{g})}^{2} + \frac{λ}{2} {(h_{m})}^{2} + \\ [{\hat{I}}^{H} ({\hat{h}}_{c} - {\hat{h}}_{m}) + \overset{(}{{\hat{I}}^{H}}] + \\ μ {({\hat{h}}_{c} - {\hat{h}}_{m})}^{2}, (4) \end{matrix} \end{matrix}

式中:μ>0,为常数; $\begin{matrix} \hat{I} \end{matrix}$ 为复拉普拉斯乘子,由(4)式表示为

\begin{matrix} {\hat{I}}^{i + 1} = {\hat{I}}^{i} + μ ({\hat{h}}_{c}^{i + 1} - {\hat{h}}_{sr}^{i + 1}) 。 (5) \end{matrix}

由文献[ 24]中的交替方向乘子法最小化(4)式,得h_c的解为

\begin{matrix} {\hat{h}}_{c}^{i + 1} = \frac{\hat{f} ☉ \bar{\hat{g}} + (μ {\hat{h}}_{m}^{i} - {\hat{I}}^{i})}{\hat{f} ☉ \bar{\hat{f}} + μ^{i}} 。 (6) \end{matrix}

由 $\begin{matrix} {\hat{h}}_{c}^{i + 1} \end{matrix}$ 可以求得 $\begin{matrix} {h^{i + 1}}_{sr} \end{matrix}$ 为

\begin{matrix} h_{sr}^{i + 1} = m ☉ \frac{F^{- 1} [{\hat{I}}^{i} + μ^{i} {\hat{h}}_{c}^{i + 1}]}{\frac{λ}{2 D} + μ^{i}} 。 (7) \end{matrix}

由此可以基于空间可靠性,即利用空间置信图进行约束,由第i帧训练得到待跟踪的第i+1帧的基于空间可靠性的跟踪模板 $\begin{matrix} h_{sr}^{i + 1} \end{matrix}$ 。

3 基于方向可靠性的互补跟踪算法

3.1 互补跟踪模板

在多个跟踪测试序列上进行测试,实验结果验证了基于空间可靠性的相关滤波跟踪方法在目标发生形变、旋转时确实具有较好的稳健性,但当目标与环境的颜色相近或有颜色相近的物体干扰时,基于空间可靠性的跟踪方法中使用颜色统计的方法难以正确地将目标与背景区分开来,有时还会将背景中的相似物体错误地当成目标区域而将正确的目标排除在外,造成目标的漂移和丢失。而此时使用HOG特征的传统相关滤波跟踪具有相对较好的稳健性,且复杂度较低。利用(5)~(7)式训练得到基于空间可靠性的跟踪模板h_sr,再参考文献[ 6]中的方法,同时提取降维的HOG特征f_PCA,只需要代入(2)式,由此得到另一种跟踪滤波模板h_temp为

\begin{matrix} h_{temp} = \frac{{\hat{f}}_{PCA} ☉ \bar{\hat{g}}}{{\hat{f}}_{PCA} ☉ {\bar{\hat{f}}}_{PCA} + λ} 。 (8) \end{matrix}

3.2 基于方向可靠性的最优判别方法

既然有两种互补性较好的跟踪模板,为了尽可能地提高跟踪的稳健性和准确性,需要在每一帧以跟踪模板的最优位移结果进行跟踪,以实现两种跟踪模板的“强强结合”。然而事实上很难区分跟踪模板的优劣,此时对跟踪模板做出评价和判别的参考性指标至关重要。Bertinetto等^[11]提出Staple,将模板特征方法^[5]和统计特征方法^[8]得到的跟踪模板直接以常系数线性相加得到互补的模板来进行跟踪,对两种模板缺乏判别及优先机制,当某一模板出现偏差或错误时,势必影响到整个算法。文献[ 13]中提出相关滤波响应置信度指标,用于对单一跟踪模板置信度的评价,当响应置信度较高时才进行模板更新,然而该指标对于本文两种跟踪模板的评价并不具有良好的参考性。进一步来说,传统的单个相关滤波的位移跟踪是在跟踪模板与图像进行卷积之后,通过最大响应峰值点的偏移量分别定位横、纵方向,即x轴和y轴方向上的位移,而在两种相关滤波跟踪模板相结合的情况下,情况更加复杂,具体分为3类:1)两个跟踪模板的跟踪结果都是正确的,但是其中一个跟踪模板在x轴或y轴方向定位更准确;2)其中一个跟踪模板的跟踪结果是正确的,而另一个跟踪模板的跟踪结果是错误的;3)两种跟踪模板的跟踪结果都是错误的。本文引入方向响应可靠性的概念并通过方向响应可靠性对这3类问题进行判别并做出最优的选择。

3.2.1 方向可靠性的提出

相关滤波跟踪中,由于岭回归的目标函数为高斯函数,因此理想的跟踪响应图是只有一个尖锐单峰且周围平滑的类高斯函数。实际情况下,由于环境中存在相似目标干扰,以及目标本身的形变、色变和遮挡等都会对响应图造成或小或大的波动,且干扰物的位置与响应图上的位置对应。对于目标跟踪来说,在目标跟踪未出现丢失的情况下,最需要关注的是横、纵方向上的响应波动,可以在一定程度上体现两个坐标定位的可靠性。因此,将响应峰值点(W,H)作为原点,分别提取该点位置沿x轴和y轴方向的响应曲线,以两者的峰值均值比R_DPAR_x以及R_DPAR_y作为方向可靠性度量,以及联合峰值均值比R_JPAR作为总体可靠性的度量。其计算公式为

\begin{matrix} \{\begin{matrix} R_{DPARx} = \frac{{|F_{W, H}|}^{2}}{mean [\sum_{w} (F_{w, H})^{2}]} \\ R_{DPARy} = \frac{{|F_{W, H}|}^{2}}{mean [\sum_{h} (F_{W, h})^{2}]} \\ R_{JPAR} = R_{DPARx} \cdot R_{DPARy} \end{matrix}, (9) \end{matrix}

式中:F_W_,_H为响应图F上响应峰值,其中W为横坐标,对应跟踪目标中心位置的x轴位移Δx;H为纵坐标对应跟踪目标中心位置的y轴位移Δy;mean( )为对括号内所有累加的数求均值。

图1为(9)式在OTB2015的Girl2序列上进行测试的实例。若两跟踪模板的跟踪结果都是正确的,两模板的R_DPAR_x和R_DPAR_y的值均较大,因此R_JPAR的值较大,两跟踪模板均有较高的可靠性,如图1(a)~(c)所示,此时h_sr与h_temp的R_JPAR均约为285,可据此判别为第一种情况;此时,模板在x或y方向上对目标和背景的区分度越大,则响应方向上的干扰值越小,该方向的二维响应曲线越接近于一个尖锐的单峰函数,对应R_DPAR_x和R_DPAR_y的值越大,可以在一定程度上表征跟踪结果在x或y方向的精确性,而由图1(a)可以看到, h_sr相比于h_temp在横向即x方向上跟踪女孩的结果较为准确,运用(9)式计算得前者的R_DPAR_x=19.57,高于后者(15.45),可以发现方向可靠性度量与实际跟踪结果呼应,证明了前面的讨论,因此选择方向可靠性度量值较大的模板进行对应方向的最优估计,如此处x轴方向的位移Δx应以前者即h_sr响应峰值的W为准,同理y轴方向的位移Δy应以后者为准,如图1(a)中蓝色框所示。若x或y方向上出现干扰目标或发生遮挡,则二维响应曲线出现较大波动,出现跟踪漂移的现象,此时R_DPAR_x和R_DPAR_y的值变小,R_JPAR也会相应减小,一般<60,如图1(d)~(f)所示,可判别为第三种情况。在跟踪过程中,由于环境中一系列复杂的变化,任何一种跟踪模板都有可能受到干扰,如图1(g)~(i)所示,模板h_temp的响应图受到目标周围相似物体干扰较大,R_JPAR下降到52.40,其位移估计也出现了较大的误差,此时另一模板h_sr受干扰较小,R_JPAR=75.27,位移相对准确,因此x、y轴方向的位移估计均应以后者为准。以上为所提出的方向可靠性之理论和实验基础,并在此基础上提出最优模板判别和更新方法。

3.2.2 最优模板判别和更新方法

为了判别上述3种情况,由(9)式及其在多个图像序列上进行实验论证的基础上,提出一套基于方向可靠性的最优判别的方法。通过两个跟踪模板的R_JPAR是否同时低于最低阈值θ_thres(设为60),来判断是否发生干扰或遮挡。若是,则判断为第三种情况,此时位移估计失去意义,仍然保持上一帧的位置,同时停止模板的更新,即更新速率η设为0;若只有一个模板的R_JPAR低于θ_thres,则为第二种情况,此时用另一个模板作位移估计,同时以较小的更新速率η_s(设为0.015)更新两种跟踪模板,降低模板发生漂移的风险;若两个跟踪模板的R_JPAR>θ_thres,则可判别为第一种情况,此时为了防止引入其中一个模板的较差的结果,判断它们的比值R_DSR是否在区间[σ,1/σ]内,其中0<σ<1。设σ=0.85。

\begin{matrix} R_{DSR} = R_{JPARsr} / R_{JPARtemp} 。 (10) \end{matrix}

若是,则认为两种模板跟踪的可靠性相近,一般情况下均跟踪到了目标,此时分别比较R_DPARXsr与R_DPARXtemp以及R_DPARYsr与R_DPARYtemp的大小,对x轴和y轴方向分别选取方向响应值较大的模板确定该方向的位移,同时以较大的更新速率η_p(设为0.03)更新两种跟踪模板,可以提高可靠性较高的样本在跟踪模板中所占的比例;若R_DSR不在该区间内,

图 1. OTB测试集中Girl2序列的跟踪结果的典例示意图。(a)、(d)、(g)蓝色框为本文判优后的跟踪结果,绿色框为模板hsr的跟踪结果,红色框为模板htemp的跟踪结果; (b)、(e)、(h)模板hsr的响应图; (c)、(f)、(i)模板htemp的响应图

Fig. 1. Tracking results of sequence Girl2 from OTB test set. (a), (d), (g) Blue bounding boxes indicate the tracking results of proposed method with the optimization strategies, the green bounding boxes indicate the tracking results of hsr, and the red ones belong to the htemp; (b), (e), (h) corresponding to hsr; (c), (f), (i) corresponding to htemp

下载图片查看所有图片

则认为其中一个模板相对于R_JPAR值较大的模板发生了偏差,此时选取R_JPAR置信度较大的模板进行位移跟踪,以中等更新速率η_m更新两种跟踪模板(设为0.02)。实验中应用这一判别和更新方法,跟踪的精度和成功率均取得了一定的提升。

3.3 互补跟踪算法的实现

所提出的互补跟踪算法基于相关滤波跟踪框架,主要分为位移估计和跟踪模板更新。本文算法的核心在于,在有机地结合两个跟踪模板的基础上实现最优的互补。框架中的算法采用文献[ 6]中的尺度估计方法,在位移估计之后进行,具有灵活性。为了使本文算法表达的更加清晰和完整,将各个步骤列出并归纳为算法1。

算法1 互补跟踪算法流程

输入:

图像帧I_t,前一帧目标位置p_t-₁位置、目标尺寸S_t-₁以及颜色直方图c_t-₁,前一帧训练得到的跟踪模板 $\begin{matrix} h_{t - 1}^{temp} \end{matrix}$ 、 $\begin{matrix} h_{t - 1}^{cr} \end{matrix}$ 。

输出:

当前帧目标位置p_t,目标尺寸S_t,当前帧训练得到的跟踪模板 $\begin{matrix} h_{t}^{temp} \end{matrix}$ 、 $\begin{matrix} h_{t}^{cr} \end{matrix}$ 。

位移及尺寸估计:

1) 采用(9)式计算R_JPAR(F_temp)、R_JPAR(F_sr),采用(10)式计算R_DSR。

2) 采用3.2.2节方法分别估计x和y轴方向的位移大小Δx及Δy,得到位移量Δp_t=(Δx,Δy),可确定当前目标位置p_t=p_t-₁+Δp_t。

3) 以文献[ 6]方法在当前位置p_t估计当前目标的尺寸S_t。

跟踪模板更新:

4) 由3.2.2节中的方法判断两种模板更新情况,确定其更新速率η。

5) if η>0

采用(5)~(7)式计算new_ $\begin{matrix} h_{t}^{sr} \end{matrix}$ ,采用(2)、(8)式计算new_ $\begin{matrix} h_{t}^{temp} \end{matrix}$ 和颜色直方图new_c_t。

以速率η更新 $\begin{matrix} h_{t}^{temp} \end{matrix}$ 、 $\begin{matrix} h_{t}^{cr} \end{matrix}$ 、c_t-₁。其计算公式为(其中f代表待更新的矢量)

f_t=(1-η)f_t-₁+ηnew_f_t。

else end

循环进行以上步骤。

相关滤波的框架较为灵活且易于拓展,对于位移估计具有较高的效率和准确性。本文在传统的相关滤波跟踪的框架下加入了方向可靠性对两种跟踪模板进行综合分析,实现两种跟踪模板的最优互补。同时由方向可靠性来决定模板是否更新及更新的速率,在一定程度上抑制模型的漂移,特别是在目标发生遮挡时可以提高跟踪算法的稳健性。这对于其他相关滤波跟踪算法也有借鉴意义。

4 实验结果及分析

选取标准测试集OTB,主要考虑其具有客观性和权威性,以便与其他优秀的算法进行定性分析和定量对比。对OTB2013的50个跟踪图像序列以及OTB2015拓展后的100个跟踪图像序列全部进行测试,选取fDSST^[6]、CSR-DCF^[10]、空间正则化相关滤波跟踪(SRDCF)^[9]、Staple^[11]、自适应样本优化的判别跟踪(SRDCFdecon)^[18]的公开结果进行对比和分析。所有的实验都是基于CPU为Intel Core i5-4590,3.3GH主频和12GB内存的台式机上进行的,测试开发平台为MATLAB 2016b。在所有的100个测试序列上运行的平均帧率为13.78 frame/s,与本文基准算法CSR-DCF^[10]基本持平,在可接受范围内。

4.1 定性分析

图 2. 本文算法(绿色框)与fDSST算法(蓝色框)、CSR-DCF算法(红色框)的定性跟踪结果对比。(a) Soccer序列;(b) Basketball序列;(c) Shaking序列;(d) Human5序列;(e) Girl2序列

Fig. 2. Qualitative tracking results comparison for proposed method (green), fDSST method (blue) and CSR-DCF method (red). (a) Sequence soccer; (b) sequence basketball; (c) sequence shaking; (d) sequence human5; (e) sequence girl2

下载图片查看所有图片

从OTB的100个测试序列中^[21-22]选取了几组典型的图像序列,与本文互补算法中的两种基准算法进行对比分析,如图2所示。图2(a)的Soccer序列图出现了剧烈抖动、运动模糊、光照变化、旋转和遮挡等复杂变化,图2(b)的Basketball序列图出现了遮挡旋转、形变和相似目标干扰等场景变化,图2(c)的Shaking序列图出现了光照变化、抖动和自遮挡等较复杂变化,CSR-DCF^[10]与fDSST^[6]算法都无法同时稳健地应对这些复杂场景变换,但表现出了很强的互补性,通常当一种算法出现偏差时,另一种算法则较为准确。可以看到在图2(a)的Soccer视频序列中,红色框的CSR-DCF算法在目标剧烈抖动和颜色干扰下出现了偏移,而基于一般HOG特征模型的fDSST算法则较为准确。在图2(c)的Shaking序列中出现了同样的情况,而在图2(d)的Human5序列中情况却恰好相反。本文在两种跟踪模板进行有机结合的基础上通过方向响应可靠性对每一帧进行判优,实现了两种算法的互补,本文算法在CSR-DCF或fDSST算法出现偏差时能很好地跟踪到目标,且跟踪结果更加准确,这说明本文算法在实现互补的基础上,实现了跟踪精度和稳定性的提升。图2(d)的Human5序列中,第175帧由于目标较小、特征不明显且发生抖动,fDSST算法丢失了目标,而CSR-DCF算法的跟踪结果依然比较准确,本文算法在此处发挥了后者的优势,且在后续帧中较好地适应了目标的尺度变化。图2(e)的Girl2序列中,共发生了两次遮挡,由于采用自适应模型更新的方法,当目标发生遮挡时,跟踪模板的R_JPAR迅速减小,此时降低或者停止目标更新。因此本文算法不像其他两种算法,在遮挡后发生漂移甚至丢失目标,而是当目标重新出现时能重新检测到目标,继续准确地跟踪目标。

4.2 定量分析

为了更加客观精确地分析本文算法的准确性和稳健性,选用近年来较为流行和权威的曲线评价方法OPE(One-Pass Evaluation)。OTB测试集^[21-22]为此提供了客观性指标:1) 精确度指标图,给定的阈值精度距离之内的帧数占总帧数的百分比,表征跟踪算法的准确性;2)成功率指标图,度量不同边框重叠率阈值下的跟踪成功率,表征跟踪算法的稳健性。选取近年来表现优秀的SRDCF^[9]、Staple^[11]、SRDCFdecon^[18],fDSST^[6]、CSR-DCF^[10]算法与本文算法进行分析比较。

4.2.1 OTB2013

OTB2013标准测试集中包括50组经过标定的跟踪序列,在该测试集上进行测试后分别与SRDCF^[9]、SRDCFdecon^[18]、Staple^[11]、fDSST^[6]、CSR-DCF^[10]算法的公开结果进行对比,得到如图3所示的曲线评价对比图。由图3可以看出,本文算法在两项指标上均优于其他算法。

图 3. OTB2013测试集上,不同算法的精确度和成功率对比。(a)精确度;(b)成功率

Fig. 3. Comparison of precision and success rate of different methods on OTB2013 test set. (a) Precision; (b) success rate

下载图片查看所有图片

本文算法相比基准算法fDSST与CSR-DC在跟踪精度上分别提升了14.8% 和9.0%,在跟踪成功率上分别提升了11.1%和7.2%;与次优的SRDCFdecon跟踪算法相比,本文算法的跟踪精度高出3.4%,跟踪成功率高出1.2%。因此在测试集上的对比结果表明,本文算法相比于其他5种算法,在跟踪精度和稳健性上都具有一定的优势。

4.2.2 OTB2015

OTB2015在OTB2013的基础上将跟踪序列拓展到100组,更加具有权威性和说服力。由标准测试集进行评价的结果可以看出,同样本文算法在两个指标上均优于其他5种算法,如图4所示。本文算法相比基准算法fDSST、CSR-DCF在跟踪精度上分别提升了14.8% 和4.8%,在跟踪成功率上分别提升了11.3%和4.4%;与次优的SRDCFdecon跟踪算法相比,本文算法的跟踪精度和跟踪成功率分别高出2.9%和0.4%。进一步印证了4.2.1节的结论。但SRDCFdecon算法的平均速度为2.0 frame/s,另外SRDCF算法的平均速度也仅为3.6 frame/s,而本文算法在当前开发平台的平均速度为13.8 frame/s,明显快于这两种算法。本文算法与基准算法CSR-DCF(13.0 frame/s)的跟踪速度基本相当。因此,实验结果进一步表明,本文算法在保证较高精度和稳健性的情况下,仍能保持一定的跟踪速度,具有良好的应用价值。

图 4. OTB2015测试集上,不同算法的精确度和成功率对比。(a) 精确度;(b) 成功率

Fig. 4. Comparison of precision and success rate of different methods on OTB2015 test set. (a) Precision; (b) success rate

下载图片查看所有图片

5 结论

在充分分析传统相关滤波跟踪模板与基于空间可靠性的跟踪模板的互补性的基础上,提出了一种稳健的基于方向可靠性的互补跟踪算法。引入了方向可靠性的概念,提出了最优判别方法,实现了两个模板在x轴和y轴方向上的最优位移估计,充分利用了传统的跟踪模板和基于空间可靠性的跟踪模板的稳健性优势,在不增加基准算法时间复杂度的同时提高了跟踪的准确性。此外,采用自适应模板更新策略,对一般的遮挡情况具有良好的适应性。本文算法与当前几个具有代表性的跟踪算法在OTB2013和OTB2015测试集上的对比实验结果,证明了其在准确性和稳健性上的优势。

参考文献

[1] Bolme DS, Beveridge JR, Draper BA, et al. Visual object tracking using adaptive correlation filters[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2544- 2550.

[2] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]∥European Conference on Computer Vision, 2012: 702- 715.

[3] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[4] LiY, Zhu JK. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision, 2014: 254- 265.

[5] DanelljanM, HägerG, Khan FS, et al. Accurate scale estimation for robust visual tracking[C]∥British Machine Vision Conference, 2014.

[6] Danelljan M, Häger G, Khan F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561-1575.

[7] Galoogahi HK, SimT, LuceyS. Correlation filters with limited boundaries[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2015: 4630- 4638.

[8] PosseggerH, MauthnerT, BischofH. In defense of color-based model-free tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2113- 2120.

[9] DanelljanM, HägerG, Khan FS, et al. Learning spatially regularized correlation filters for visual tracking[C]∥IEEE International Conference on Computer Vision, 2015: 4310- 4318.

[10] Lukeži cˇ A , VojírT, Zajc LC, et al. Discriminative correlation filter with channel and spatial reliability[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017, 4847- 4856.

[11] BertinettoL, ValmadreJ, GolodetzS, et al. Staple: Complementary learners for real-time tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1401- 1409.

[12] 赵高鹏, 沈玉鹏, 王建宇. 基于核循环结构的自适应特征融合目标跟踪[J]. 光学学报, 2017, 37(8): 0815001.

Zhao G P, Shen Y P, Wang J N. Adaptive feature fusion object tracking based on circulant structure with kernel[J]. Acta Optica Sinica, 2017, 37(8): 0815001.

[13] Wang MM, LiuY, Huang ZY. Large margin object tracking with circulant feature maps[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4800- 4808.

[14] Hare S, Golodetz S, Saffari A, et al. Struck: structured output tracking with kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2096-2109.

[15] He SF, Yang QX, Lau R W H, et al. Visual tracking via locality sensitive histograms[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2427- 2434.

[16] JiaX, Lu HC, Yang MH. Visual tracking via adaptive structural local sparse appearance model[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2012: 1822- 1829.

[17] Yang F, Lu H C, Yang M H. Robust superpixel tracking[J]. IEEE Transactions on Image Processing, 2014, 23(4): 1639-1651.

[18] DanelljanM, HägerG, Khan FS, et al. Adaptive decontamination of the training set: a unified formulation for discriminative visual tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1430- 1438.

[19] 金泽芬芬, 侯志强, 余旺盛, 等. 基于协方差矩阵的多特征融合跟踪算法[J]. 光学学报, 2017, 37(9): 0915005.

Jin Z F F, Hou Z Q, Yu W S, et al. . Multiple feature fusion based on covariance matrix for visual tracking[J]. Acta Optica Sinica, 2017, 37(9): 0915005.

[20] 杨福才, 杨德东, 毛宁, 等. 基于稀疏编码直方图的稳健红外目标跟踪[J]. 光学学报, 2017, 37(11): 1115002.

Yang F C, Yang D D, Mao N, et al. Robust infrared target tracking based on histograms of sparse coding[J]. Acta Optica Sinica, 2017, 37(11): 1115002.

[21] WuY, LimJ, Yang MH. Online object tracking: a benchmark[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2411- 2418.

[22] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[23] KristanM, MatasJ, LeonardisA, et al. The visual object tracking VOT2015 challenge results[C]∥IEEE International Conference on Computer Vision Workshop, 2016: 564- 586.

[24] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1): 1-122.

宋日成, 何小海, 王正勇. 基于方向可靠性的互补跟踪算法[J]. 光学学报, 2018, 38(10): 1015001. Richeng Song, Xiaohai He, Zhengyong Wang. Complementary Object Tracking Based on Directional Reliability[J]. Acta Optica Sinica, 2018, 38(10): 1015001.

基于方向可靠性的互补跟踪算法下载： 1012次

1 引言

2 相关滤波跟踪算法

2.1 判别相关滤波器

2.2 基于空间可靠性的相关滤波跟踪

3 基于方向可靠性的互补跟踪算法

3.1 互补跟踪模板

3.2 基于方向可靠性的最优判别方法

图 1. OTB测试集中Girl2序列的跟踪结果的典例示意图。(a)、(d)、(g)蓝色框为本文判优后的跟踪结果,绿色框为模板hsr的跟踪结果,红色框为模板htemp的跟踪结果; (b)、(e)、(h)模板hsr的响应图; (c)、(f)、(i)模板htemp的响应图

3.3 互补跟踪算法的实现

4 实验结果及分析

4.1 定性分析

图 2. 本文算法(绿色框)与fDSST算法(蓝色框)、CSR-DCF算法(红色框)的定性跟踪结果对比。(a) Soccer序列;(b) Basketball序列;(c) Shaking序列;(d) Human5序列;(e) Girl2序列

Fig. 2. Qualitative tracking results comparison for proposed method (green), fDSST method (blue) and CSR-DCF method (red). (a) Sequence soccer; (b) sequence basketball; (c) sequence shaking; (d) sequence human5; (e) sequence girl2

4.2 定量分析

图 3. OTB2013测试集上,不同算法的精确度和成功率对比。(a)精确度;(b)成功率

Fig. 3. Comparison of precision and success rate of different methods on OTB2013 test set. (a) Precision; (b) success rate

图 4. OTB2015测试集上,不同算法的精确度和成功率对比。(a) 精确度;(b) 成功率

Fig. 4. Comparison of precision and success rate of different methods on OTB2015 test set. (a) Precision; (b) success rate

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于方向可靠性的互补跟踪算法 下载： 1012次

1 引言

2 相关滤波跟踪算法

2.1 判别相关滤波器

2.2 基于空间可靠性的相关滤波跟踪

3 基于方向可靠性的互补跟踪算法

3.1 互补跟踪模板

3.2 基于方向可靠性的最优判别方法

图 1. OTB测试集中Girl2序列的跟踪结果的典例示意图。(a)、(d)、(g)蓝色框为本文判优后的跟踪结果,绿色框为模板hsr的跟踪结果,红色框为模板htemp的跟踪结果; (b)、(e)、(h)模板hsr的响应图; (c)、(f)、(i)模板htemp的响应图

3.3 互补跟踪算法的实现

4 实验结果及分析

4.1 定性分析

图 2. 本文算法(绿色框)与fDSST算法(蓝色框)、CSR-DCF算法(红色框)的定性跟踪结果对比。(a) Soccer序列;(b) Basketball序列;(c) Shaking序列;(d) Human5序列;(e) Girl2序列

Fig. 2. Qualitative tracking results comparison for proposed method (green), fDSST method (blue) and CSR-DCF method (red). (a) Sequence soccer; (b) sequence basketball; (c) sequence shaking; (d) sequence human5; (e) sequence girl2

4.2 定量分析

图 3. OTB2013测试集上,不同算法的精确度和成功率对比。(a)精确度;(b)成功率

Fig. 3. Comparison of precision and success rate of different methods on OTB2013 test set. (a) Precision; (b) success rate

图 4. OTB2015测试集上,不同算法的精确度和成功率对比。(a) 精确度;(b) 成功率

Fig. 4. Comparison of precision and success rate of different methods on OTB2015 test set. (a) Precision; (b) success rate

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于方向可靠性的互补跟踪算法下载： 1012次