基于尺度搜索的车辆跟踪算法

范永昆; 张正道; 彭力

doi:doi:10.3788/LOP56.221501

激光与光电子学进展, 2019, 56 (22): 221501, 网络出版: 2019-11-02

基于尺度搜索的车辆跟踪算法下载： 716次

Vehicle Tracking Algorithm Based on Scale Search

论文大纲

范永昆张正道 ^*彭力

作者单位

江南大学物联网工程学院, 江苏无锡 214122

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为解决视觉车辆跟踪过程中尺度变化导致的模型漂移问题,在核相关滤波算法的基础上,提出一种车辆目标的尺度搜索算法。通过比较目标区域上三个特定尺度相关滤波响应的平均峰值相关能量,推断出目标尺度的变化方向,进而在变化方向上迭代搜索当前目标的最佳尺度。此外,为确保相关滤波模板能够适应运动过程中的车辆外观变化,在最佳尺度估计的情形下,对模板进行自适应加权更新,进一步提高模板准确性。大量的实验表明,本文算法可以有效解决车辆跟踪过程中尺度变化导致的模型漂移问题,且相比于其他相关滤波类算法具有更加优秀的跟踪性能。

Abstract

To solve the problem of model drift caused by scale variation in visual vehicle tracking, this study proposes a scale search method for the vehicle target based on a kernelized correlation filtering algorithm. The change direction of the target scale is deduced by comparing the average peak related energy of correlation filtering responses obtained from object regions with three given scales, followed by an iterative search for the best scale of the current target in the change direction. To ensure that the correlation filtering template can adapt to the change of vehicle appearance in the process of motion, the template is upgraded with adaptive weight under the condition of the best scale estimation. The manner of adaptive weighting further improves the accuracy of the template. Numerous experiments show that the proposed method effectively solves the problem of model drift caused by scale change in vehicle tracking and provides better tracking performance than other correlation filtering algorithms.

1 引言

随着计算机视觉技术的迅猛发展,视觉车辆跟踪作为智能交通管理系统、辅助驾驶系统、无人驾驶等技术的重要组成部分,已经成为当前的研究热点,实现车辆目标的稳定快速跟踪具有极其重要的理论意义及现实价值。

相关滤波跟踪算法是近年来被引入到目标跟踪领域的一类基于在线分类学习的跟踪算法,因其优越的跟踪性能被广泛应用于各类目标的跟踪研究中。对于车辆目标,由于目标的相对速度较大,视频画面中车辆目标的尺度变化更加快速,而传统的相关滤波算法^[1-5]采用固定尺度的目标区域进行模板更新,引入的背景信息过多或目标信息不完整,不但无法适应目标的外观变化,还会在模板更新中引入噪声,降低准确性,且随着噪声的不断累积,最终将导致模板漂移,跟踪失败。稳健而准确的尺度估计对于车辆目标的稳定跟踪至关重要,然而实现兼顾精度与速度的运动车辆尺度估计仍是一项极具挑战性的视觉任务。

为将运动目标的尺度估计纳入到相关滤波的跟踪框架中,Danelljan等^[6-7]将目标跟踪分解为位置跟踪与尺度跟踪两个部分,在假设位置跟踪精度较高的前提下,提取检测区域的多尺度特征以训练尺度滤波器,进而实现目标的尺度估计,但其尺度估计的精度在很大程度上取决于目标位置跟踪的准确性。葛宝义等^[8]通过正交三角分解法(QR分解法)对多尺度特征降维以快速训练尺度滤波器。Li等^[9]采取与文献[ 6]类似的尺度滤波器方法,分别训练四个表征目标边界的一维相关滤波器,通过边界跟踪进行目标尺度的估计。文献[ 10-13]中对目标进行分块跟踪,然后根据各分块的离散程度估计目标整体的尺度大小。边界跟踪与分块跟踪虽能适应目标尺度的变化,但多滤波器的引入增加了计算负担,导致此类算法的实时性较差。文献[ 14-15]中分别利用目标的特征关键点与似物性采样对目标的尺度进行跟踪,但关键点的提取与匹配以及似物性采样同样需要较大的时间开销。Li等^[16]通过尺度池法对检测区域进行多尺度相关响应,取响应值最大时的尺度与位置作为目标的当前状态,该方法是一种尺度与位置同时最优的方法,但其尺度估计精度受限于尺度池范围,算法速度也与尺度个数紧密相关。

针对车辆目标运动过程中的尺度变化问题,结合车辆跟踪任务对算法精度与速度的要求,本文在核相关滤波器^[3](KCF)的基础上,提出一种基于尺度搜索的视频车辆跟踪算法。采用平均峰值相关能量(APCE)作为尺度估计的评价准则,通过三尺度的响应比较推断目标尺度的变化方向,继而在变化方向上迭代搜索当前目标的最佳尺度。此外,为进一步提高相关滤波模板的准确性,在最佳尺度估计的情形下,根据相关响应的最大值对相关滤波模板进行自适应加权更新,以适应车辆目标在运动过程中的外观变化。

2 基于尺度搜索的车辆跟踪算法

基于尺度搜索的车辆跟踪算法由初始化KCF、跟踪检测、模板更新3个部分组成,其基本框架如图1所示。在初始化阶段,通过对初始目标区域循环移位构建密集样本,训练二维的高斯KCF(模板)。在跟踪检测阶段,以上一帧估计的目标位置为中心,在当前帧中截取三个不同尺度大小的检测区域并将其缩放到模板大小,分别提取特征与相关滤波模板响应,比较三个响应矩阵的APCE,推断目标尺度的变化方向,然后在变化方向上对当前目标的最佳尺度进行搜索并确定目标位置。在模板更新阶段,根据最佳尺度估计下相关响应的最大值,对相关滤波模板进行自适应加权更新,以适应车辆目标跟踪过程的外观及环境变化。

图 1. 基于尺度搜索的车辆跟踪算法基本框架

Fig. 1. Overview of vehicle tracking algorithm based on scale search

下载图片查看所有图片

2.1 核相关滤波器

基于尺度搜索的车辆跟踪算法以KCF为基础,通过对初始样本的循环移位,构建样本循环矩阵,提高相关滤波器的在线训练速度及判别能力。为便于表述,以一维信号为例,若一维信号d=[d₁d₂ … d_n]^T,d_n为信号d中的第n个元素,则d经一步循环移位后转换为

\begin{matrix} \{\begin{matrix} Pd = [d_{n} d_{1} \dots d_{n - 1}]^{T}, \\ P = [\begin{matrix} 0 & 0 & 0 & \dots & 0 & 1 \\ 1 & 0 & 0 & \dots & 0 & 0 \\ 0 & 1 & 0 & \dots & 0 & 0 \\ ︙ & ︙ & ︙ & ︙ & ︙ & ︙ \\ 0 & 0 & 0 & \dots & 1 & 0 \end{matrix}] \end{matrix}, (1) \end{matrix}

式中,上标T为转置符号,P为一步循环移位矩阵。信号d所有循环移位情况下的变换信号可表示为

\begin{matrix} {P_{u} d | u = 0,1, \dots, n - 1}, (2) \end{matrix}

式中,P_u为u步循环移位矩阵。将变换信号集合连接为一个数据矩阵,写作D=C(d),因矩阵D完全由d经循环移位得到,被称作循环矩阵,C(d)表示由信号d经循环移位生成对应的循环矩阵。循环矩阵在频域具有一个重要性质,即其可由生成信号的频域对角形式来表示:

\begin{matrix} \hat{D} = Adiag (\hat{d}) A^{H}, (3) \end{matrix}

式中,A为独立于d的矩阵,∧为对应信号的频域形式,H为共轭转置符号。对于多维度的生成信号,其对应的循环矩阵具有相同的性质。

在KCF中,训练的目的是找到一个滤波器(模板)W使得样本与其回归目标的误差平方和最小,即

\begin{matrix} \min_{W} \sum_{i} ‖ W^{T} x_{i} - y_{i} ‖^{2} + λ ‖ W ‖^{2}, (4) \end{matrix}

式中,x_i与y_i分别为第i个样本及其对应的回归目标,λ为防止训练过拟合的正则化参数。该脊回归问题的闭合解为

\begin{matrix} W = (X^{H} {X + λI)}^{- 1} X^{H} y, (5) \end{matrix}

式中:X为样本x_i构成的样本矩阵,在KCF中为初始样本x经循环移位构成的样本循环矩阵;y为对应的回归矩阵;I为单位矩阵。将求解过程转换到频域,并利用循环矩阵的性质简化求解,可得

\begin{matrix} \hat{W} = \frac{\hat{x} ☉ \hat{y}}{{\hat{x}}^{*} ☉ \hat{x} + λE}, (6) \end{matrix}

式中,☉表示矩阵哈达马乘积,*表示复共轭,E为所有元素全为1的矩阵。为增强非线性判别能力,KCF将样本映射到更高维度的高斯空间,相关滤波器模板的训练求解最终转化为

\begin{matrix} \hat{α} = \frac{\hat{y}}{{\hat{k}}^{(xx)} + λE}, (7) \end{matrix}

式中:α为对偶域中的相关滤波模板,将x作为目标外观模板与α一同保存,留待检测与更新; $\begin{matrix} {\hat{k}}^{(xx)} \end{matrix}$ 为KCF算法中定义的样本高斯核映射,可表示为

\begin{matrix} \begin{matrix} k^{(xx')} = & \exp {- \frac{1}{σ^{2}} [(‖x ‖^{2} + ‖ x' ‖^{2}) E - 2 I^{- 1} (\sum_{c} {\hat{x}}_{c}^{*} ☉ \hat{x}'_{c})]}, \end{matrix} (8) \end{matrix}

式中,σ为高斯标准差,I^-1为傅里叶逆变换,x_c为x的第c通道特征。训练时,x与x'均为初始样本;跟踪检测时,x为目标外观模板,x'为检测区域特征。

KCF算法中仅通过目标区域的方向梯度直方图特征(HOG)来训练KCF,忽略了图像丰富的色彩信息。HOG特征虽对光照变化具有较高的稳健性,但对旋转、尺度变化较为敏感。鉴于单图像特征对目标建模的不足,李聪等^[17]将Lab颜色特征与HOG特征相结合,张博等^[18]则融合了四种图像特征。多特征的融合使用显著提升了算法性能,却也额外增加特征提取的时间。考虑到车辆目标对算法实时性的要求,本文将CN颜色特征^[19]与HOG特征相融合,以提高算法对尺度变化、运动模糊等因素的稳健性。将目标区域(以目标位置为中心,包含目标及部分背景的图像区域)的CN特征与HOG特征直接相连,组成特征矩阵,并将其映射到高斯空间,以(7)式训练高斯核相关滤波模板。

循环矩阵的应用不仅简化了训练过程,而且加速了检测跟踪。在跟踪阶段,以上一帧的目标位置为中心,在当前帧中截取检测区域,求其与相关滤波模板的响应为

\begin{matrix} R = I^{- 1} ({\hat{k}}^{(xz)} ☉ \hat{α}), (9) \end{matrix}

式中,R为相关响应矩阵,z为检测区域的特征矩阵。在KCF中,通过相关响应矩阵的最大值来定位当前目标的中心位置。

2.2 尺度搜索

尺度自适应的多特征跟踪算法^[16](SAMF)是与本文算法最为接近的一种目标跟踪算法,其尺度估计策略的本质都是通过多尺度的响应比较来确定当前目标的最佳尺度。不同的是,尺度搜索法首先推断目标尺度的变化方向,然后在变化方向上迭代搜索,以寻求当前目标尺度的最优估计。相对于SAMF的固定尺度池法,尺度搜索法是一种动态的尺度池法,它打破了固定的尺度范围及尺度个数的限制,对于较大的尺度变化具有更为准确的估计能力,对于较小的尺度变化也避免了尺度遍历带来的时间耗费,是一种更为精准高效的尺度估计方法。此外,不同于SAMF的最大响应值准则,尺度搜索法以APCE作为多尺度响应比较的评判准则,在多因素影响的复杂环境中更具稳健性。

相关响应矩阵分布的波动情况和峰值能够反映目标跟踪的置信度。理想情况下,响应矩阵在目标中心对应的真实位置处为一个尖锐的峰值,而在其他区域,随着与目标中心的距离增加响应值平滑下降至零。而当受到遮挡或运动模糊等因素影响时,响应矩阵的波动幅度将大幅增加。APCE由王蒙蒙等^[20]提出,该度量能够较好地刻画相关响应矩阵的波动情况,其定义为

\begin{matrix} E_{APCE} = \frac{{|R_{\max} - R_{\min}|}^{2}}{\frac{1}{MN} \sum_{m, n} (R_{m, n} - R_{\min})^{2}}, (10) \end{matrix}

式中,E_APCE为平均峰值相关能量,M、N为响应矩阵的行列数,R_max、R_min、R_m_,_n分别为响应矩阵的最大值、最小值及第m行n列的值。响应矩阵的波动程度越剧烈,E_APCE值就越小,跟踪的置信度也就越低。

假设上帧中目标的尺度大小为S,在当前帧首先考虑3个不同的尺度情况,即{r_-S,S,r₊S},r_-与r₊为尺度因子,且r_-<1<r₊,r_-S表示缩小的目标尺度,r₊S表示增大的目标尺度。以上帧中目标的位置为中心,在当前帧中分别提取三尺度下的图像检测区域,缩放到模板大小并分别提取特征,以(9)式计算三个不同尺度下检测区域的相关响应矩阵,以(10)式计算各相关响应矩阵的APCE并进行比较。

1)若尺度为r_-S时相关响应矩阵的APCE最大,则表明,相对于上一帧,当前帧中目标的尺度在减小,即目标尺度在向缩小方向变化。以step为尺度步长,不断减小尺度因子r_-,计算并比较相应的APCE,直至相关响应矩阵的APCE不再增大,则此时的尺度因子即为最佳尺度因子,当前目标的最佳尺度即为最佳尺度因子与上帧中目标尺度的乘积。

2)若尺度为r₊S时相关响应矩阵的APCE最大,则表明,相对于上一帧,当前帧中目标的尺度在变大,即目标尺度在向增大方向变化。以step为尺度步长,不断增大尺度因子r₊,计算并比较相应的APCE,直至相关响应矩阵的APCE不再增大,则此时的尺度因子即为最佳尺度因子,当前目标的最佳尺度即为最佳尺度因子与上帧中目标尺度的乘积。

3)若为其他情况,则表明,与上一帧相比,当前帧中目标的尺度并未发生变化,即当前帧中的目标尺度与上一帧相同。

当前帧中目标位置的确定与KCF算法相似,由最佳尺度估计下响应矩阵最大值的坐标偏移量决定。尺度搜索法以APCE作为多尺度响应比较的准则,当尺度变化与其他影响因素并存时,能够进行更为稳健而准确的尺度估计。

2.3 自适应模板更新

为适应运动目标的外观变化及光照等环境变化,提高算法的跟踪精度,需要对相关滤波模板及目标的外观模板进行实时更新,KCF等传统相关滤波算法均采取线性插值的等权更新方式,即

\begin{matrix} \{\begin{matrix} \hat{α} = (1 - η) \hat{α} + η {\hat{α}}_{t} \\ \hat{x} = (1 - η) \hat{x} + η {\hat{x}}_{t} \end{matrix}, (11) \end{matrix}

式中:α_t及x_t分别为根据当前帧中的跟踪结果得到的相关滤波模板及目标外观模板;η为模板更新速率,且η∈(0,1)。更新速率η是一个十分重要却又极其敏感的参数,太小则不能适应目标及环境的变化,太大则容易引入噪声,降低模板准确性。在KCF等传统相关滤波算法中,更新速率为一固定值,每帧中的模板更新相当于等权更新。然而在跟踪过程中,光照变化、运动模糊、遮挡等因素都会对目标外观特征造成不同程度的影响,等权更新极易引入噪声、污染模板,且随着噪声累积,最终将导致模板漂移,跟踪失败。

为提高模板的准确性,本文算法利用最佳尺度下相关响应的最大值对模板进行自适应加权更新,即

\begin{matrix} \{\begin{matrix} \hat{α} = (1 - η R_{\max}) \hat{α} + η R_{\max} {\hat{α}}_{t} \\ \hat{x} = (1 - η R_{\max}) \hat{x} + η R_{\max} {\hat{x}}_{t} \end{matrix}, (12) \end{matrix}

式中,R_max为最佳尺度估计下相关响应的最大值。自适应加权的更新方式相当于为模板更新设置一个动态的更新速率,对于跟踪置信度较高的检测帧以较快的速率更新,对于置信度较低的检测帧则以较低的速率更新,减少了模板更新时的噪声引入,在适应目标外观及环境变化的同时保证模板的准确性,从而提高了算法的跟踪性能。

3 实验

在OTB^[21-22]、UAV^[23]、TempColor^[24]数据集提供的20段车辆运动视频中,对提出的算法(Ours)与7个优秀算法CSK^[1]、KCF、CN^[2]、DSST^[6]、RPT^[10]、SAMF、CT^[25]进行比较。该20段视频包含光照变化、运动模糊、尺度变化、背景混杂等多种影响因素。为保证实验的公正性,所用对比算法的代码均由原论文作者开源提供。实验借助于Matlab R2014b软件在Intel(R) Core(TM) i5-3337U CPU,1.80 GHz,4.00 GB内存的个人计算机上调试运行。

3.1 评价标准与算法参数

对比实验中采用的算法评价标准为OTB数据集使用的OPE标准,以定位精度与成功率来衡量各算法的跟踪性能。定位精度以目标中心的估计位置与标定位置的平均像素距离来度量,距离越小则定位精度越高。在精度图中,横坐标为距离阈值,纵坐标为平均像素距离小于距离阈值的视频帧数占视频帧总数的比例,并用距离阈值为20时的纵坐标值(DP)对各算法进行排序。成功率以目标的估计矩形包围框与标定包围框的重叠率来度量,重叠率越高,跟踪的成功率也就越高,成功率能够反映算法对目标尺度的估计能力。在成功率图中,横坐标为重叠率阈值,纵坐标为重叠率大于重叠率阈值的视频帧数占视频帧总数的比例,并用比例曲线下的面积(AUC)对各算法进行了排序。

提出算法的正则化参数λ为0.0004,高斯核标准差σ为0.5,模板更新速率η为0.01,尺度因子r_-初始化为0.99,r₊初始化为1.01,尺度步长step为0.01,区域扩充系数padding为1.5,其他参数与KCF算法参数相同。

3.2 实验结果与分析

各算法在20段车辆运动视频上的总体跟踪性能如图2所示,DP与AUC指标如表1所示。由图2和表1可知,无论是定位精度还是成功率,本文算法在对比算法中的表现均为最优,DP值相比于第二位的DSST提高了8.76%,AUC值相比于第二位的SAMF提高了4.29%。

图 2. 各算法的总体性能。(a)定位精度;(b)成功率

Fig. 2. Overall performance of each algorithm. (a) Location precision; (b) success rate

下载图片查看所有图片

表 1. 各算法总体性能表

Table 1. Overall performance of each algorithm

Algorithm	CSK	KCF	CN	CT	DSST	RPT	SAMF	Ours
Scale estimation	N	N	N	N	Y	Y	Y	Y
DP	0.636	0.865	0.088	0.398	0.890	0.859	0.888	0.968
AUC	0.477	0.580	0.006	0.231	0.603	0.656	0.746	0.778
FPS	240.69	155.70	99.00	49.69	23.50	2.88	10.15	15.65

查看所有表

车辆目标跟踪算法作为其他技术的基础环节,不仅要求较高的跟踪精度,还要求算法具有较快的处理速度。为更全面地比较各算法的性能优劣,以平均每秒处理的视频帧数(FPS)作为算法速度的评价标准,各算法速度如表1所示。由表1可知,CSK、KCF、CN与CT虽具有较快的处理速度,但由于不具备尺度估计的能力,其定位精度与跟踪成功率都普遍较低。DSST在具备尺度估计能力的同时虽具有较快速度,但其定位精度与成功率却远不及本文算法。相比于DSST,本文算法的AUC指标提高了29%,具有更加稳健而精确的尺度估计能力。相比于RPT、SAMF,本文算法的DP、AUC、FPS指标分别提高了12.69%、18.60%、443.40%和9.00%、4.30%、54.19%,在具有较高跟踪性能的同时保证了算法的实时性。

为体现自适应权值的模板更新方式对算法性能的提升,在具有尺度变化(SV)、光照变化(IV)、背景混杂(BC)、运动模糊(MB)、低分辨率(LR)影响因素的视频序列中,将采用固定权值更新(参数与KCF算法相同)与自适应权值更新的基于尺度搜索的跟踪算法进行比较,各影响因素下的算法性能如表2所示。相比于固定权值更新,在各类影响因素下,采用自适应权值更新的算法性能均有不同程度的提高,DP提高了3.77%~13.67%,AUC提高了8.60%~23.18%,充分说明自适应权值更新的有效性。

表 2. 固定权值更新与自适应权值更新的性能比较表

Table 2. Performance comparison of fixed weight update and adaptive weight update

Impactfactor	Update withfixed weight		Update withadaptive weight
Impactfactor	DP	AUC	DP	AUC
SV	0.929	0.638	0.964	0.731
IV	0.899	0.659	0.972	0.752
BC	0.856	0.604	0.973	0.744
MB	0.879	0.721	0.965	0.783
LR	0.927	0.586	0.976	0.651

查看所有表

尺度搜索法有效解决了车辆目标运动过程中尺度变化造成的模型漂移问题,而自适应加权的模板更新方式在适应车辆外观变化的同时,进一步提高了相关滤波模板的准确性。为综合评估本文算法对车辆跟踪过程中各类影响因素的稳健性,将各算法分别在SV、IV、BC、MB、LR影响因素下的车辆运动视频中进行性能比较,实验结果表3所示。由表3可知,对于跟踪过程中具有SV的车辆目标,本文算法的定位精度与成功率最高,相比于第二位的算法分别提高了8.31%与4.88%。对于IV、BC、MB影响因素下的跟踪过程,本文算法均具有最优的跟踪性能。在LR情况下,本文算法的跟踪成功率虽略低于SAMF,但定位精度却提高了8.81%。

表 3. 各影响因素下的算法性能

Table 3. Performance of each algorithm under different factors

Algorithm	SV		IV		BC		MB		LR
Algorithm	DP	AUC	DP	AUC	DP	AUC	DP	AUC	DP	AUC
Ours	0.964	0.731	0.972	0.752	0.973	0.744	0.965	0.783	0.976	0.651
SAMF	0.883	0.697	0.874	0.688	0.848	0.622	0.854	0.743	0.897	0.683
RPT	0.890	0.618	0.888	0.649	0.837	0.646	0.806	0.651	0.906	0.601
DSST	0.886	0.516	0.870	0.552	0.863	0.578	0.836	0.697	0.876	0.497
CT	0.370	0.234	0.352	0.228	0.265	0.184	0.286	0.248	0.424	0.231
CN	0.052	0.002	0.103	0.002	0.152	0.002	0.033	0.009	0.052	0.002
KCF	0.849	0.504	0.838	0.523	0.820	0.539	0.818	0.688	0.834	0.485
CSK	0.605	0.433	0.639	0.479	0.650	0.533	0.549	0.497	0.607	0.401

查看所有表

图3为部分视频序列的跟踪效果图,为便于观察分析,图中仅显示了跟踪性能较好的4种算法(ours、SAMF、DSST、RPT)的跟踪效果。视频序列BlurCar1-OTB与BlurCar2-OTB为后车跟拍前车的场景,视频采集设备的晃动导致视频画面目标车辆运动模糊。在这种情况下,本文算法的跟踪框仍能紧紧包围目标车辆,而其他算法均有不同程度的定位偏移与尺度估计偏差。视频序列Car1-OTB为灰度序列,在车辆行驶过程中,随着树木投影导致的光照变化及目标车辆分辨率的大幅缩小,RPT与DSST逐渐丢失了尺度估计能力,SAMF的跟踪性能也受到扰动,本文算法仍然能够稳定、准确地跟踪到目标。Car7-UAV为无人机跟拍的场景,目标车辆在视频画面中分辨率较低,且在行进过程中受到树木的短暂遮挡,在短暂遮挡后,其他算法丢失了跟踪目标,跟踪框已偏移到遮挡物体上,而本文算法由于采用自适应权值的模板更新策略,减少了噪声引入,避免了模板的严重污染,依然能够跟踪到目标车辆。Car24-OTB同样为后车跟拍前车的场景,由于前后车距离的变化,目标车辆在视频中的尺度大小也发生改变,同时,行驶过程中的树木、桥梁投影也使得目标车辆的外观特征发生较大变化。SAMF算法估计的跟踪框已逐渐偏移目标车辆,DSST与RPT的尺度估计能力也受到较大影响,而本文算法依然能够准确定位到目标车辆且具有较高的尺度估计精度。CarDark-OTB为夜晚的车辆跟踪场景,各种灯光闪烁变化,且背景与目标颜色较为相似,在这种复杂情况下,其他算法的跟踪框均有不同程度的偏离,而本文算法的跟踪框依然能够紧紧贴合目标车辆,实现准确跟踪。

图 3. 部分视频序列的跟踪效果。(a) BlurCar1-OTB;(b) BlurCar2-OTB;(c) Car1-OTB; (d) Car7-UAV;(e) Car24-OTB;(f) CarDark-OTB

Fig. 3. Tracking renderings of partial video sequences. (a) BlurCar1-OTB; (b) BlurCar2-OTB; (c) Car1-OTB; (d) Car7-UAV; (e) Car24-OTB; (f) CarDark-OTB

下载图片查看所有图片

4 结论

针对视觉车辆跟踪过程中的尺度变化问题,结合核相关滤波器提出一种尺度搜索的车辆目标尺度估计方法。将平均峰值相关能量作为多尺度响应的比较准则,推断目标尺度的变化方向,在变化方向上迭代搜索当前目标的最佳尺度,并在最佳尺度估计的情况下对相关滤波模板进行自适应加权更新。本文算法有效解决了车辆目标尺度变化导致的模型漂移问题,并在适应目标外观及环境变化的同时,进一步提高相关滤波模板的准确性,对于车辆目标运动过程中的光照变化、运动模糊等影响因素具有较高的稳健性。由于缺少目标再检测模块,本文算法尚不能对严重遮挡后的车辆目标进行再跟踪。如何在不影响算法实时性的同时结合车辆再检测模块,实现遮挡后的车辆再跟踪,将作为下一阶段研究的重点内容。

参考文献

[1] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision-ECCV 2012. Lecture notes in computer science. Berlin, Heidelberg: Springer, 2012, 7575: 702- 715.

[2] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 1090- 1097.

[3] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[4] PosseggerH, MauthnerT, BischofH. In defense of color-based model-free tracking[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 2113- 2120.

[5] BertinettoL, ValmadreJ, GolodetzS, et al. Staple: complementary learners for real-time tracking[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 1401- 1409.

[6] DanelljanM, H ger G, Khan F S, et al. Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference 2014, September 1-5, 2014, Nottingham, British: BMVA Press, 2014.

[7] Danelljan M, Hager G, Khan F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561-1575.

[8] 葛宝义, 左宪章, 胡永江. 基于特征融合的长时目标跟踪算法[J]. 光学学报, 2018, 38(11): 1115002.

Ge B Y, Zuo X Z, Hu Y J. Long-term object tracking based on feature fusion[J]. Acta Optica Sinica, 2018, 38(11): 1115002.

[9] LiF, Yao YJ, Li PH, et al. Integrating boundary and center correlation filters for visual tracking with aspect ratio variation[C]∥2017 IEEE International Conference on Computer Vision Workshops (ICCVW), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 2001- 2009.

[10] LiY, Zhu JK, Hoi S C H. Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 353- 361.

[11] Luke i A, Zajc L , Kristan M. Deformable parts correlation filters for robust visual tracking[J]. IEEE Transactions on Cybernetics, 2018, 48(6): 1849-1861.

[12] Yao R, Xia S X, Zhang Z, et al. Real-time correlation filter tracking by efficient dense belief propagation with structure preserving[J]. IEEE Transactions on Multimedia, 2017, 19(4): 772-784.

[13] SunX, Cheung NM, Yao HX, et al. Non-rigid object tracking via deformable patches using shape-preserved KCF and level sets[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 5496- 5504.

[14] Montero AS, LangJ, LaganièreR. Scalable kernel correlation filter with sparse feature integration[C]∥2015 IEEE International Conference on Computer Vision Workshop (ICCVW), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 587- 594.

[15] Huang DF, LuoL, WenM, et al.Enable scale and aspect ratio adaptability in visual tracking with detection proposals[C]∥Procedings of the British Machine Vision Conference 2015, September 7-10, 2015, Swansea, UK.British: BMVA Press, 2015: 185.

[16] LiY, Zhu JK. A scale adaptive kernel correlation filter tracker with feature integration[M] ∥Agapito L, Bronstein M, Rother C. Computer vision-ECCV 2014 Workshops. Lecture notes in computer science. Cham: Springer, 2015, 8926: 254- 265.

[17] 李聪, 鹿存跃, 赵珣, 等. 特征融合的尺度自适应相关滤波跟踪算法[J]. 光学学报, 2018, 38(5): 0515001.

Li C, Lu C Y, Zhao X, et al. Scale adaptive correlation filtering tracing algorithm based on feature fusion[J]. Acta Optica Sinica, 2018, 38(5): 0515001.

[18] 张博, 龙慧. 基于图像签名算法的视觉目标跟踪算法[J]. 激光与光电子学进展, 2017, 54(9): 091504.

Zhang B, Long H. Visual target tracking algorithm based on image signature algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(9): 091504.

[19] Khan F S, van de Weijer J, Vanrell M. Modulating shape features by color attention for object recognition[J]. International Journal of Computer Vision, 2012, 98(1): 49-64.

[20] Wang MM, LiuY, Huang ZY. Large margin object tracking with circulant feature maps[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 4800- 4808.

[21] WuY, LimJ, Yang MH. Online object tracking: a benchmark[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2411- 2418.

[22] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[23] MuellerM, SmithN, GhanemB. A benchmark and simulator for UAV tracking[M] ∥Leibe B, Matas J, Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9905: 445- 461.

[24] Liang P P, Blasch E, Ling H B. Encoding color information for visual tracking: algorithms and benchmark[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5630-5644.

[25] Zhang KH, ZhangL, Yang MH. Real-time compressive tracking[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision-ECCV 2012. Lecture notes in computer science. Berlin, Heidelberg: Springer, 2012, 7574: 864- 877.

范永昆, 张正道, 彭力. 基于尺度搜索的车辆跟踪算法[J]. 激光与光电子学进展, 2019, 56(22): 221501. Yongkun Fan, Zhengdao Zhang, Li Peng. Vehicle Tracking Algorithm Based on Scale Search[J]. Laser & Optoelectronics Progress, 2019, 56(22): 221501.

基于尺度搜索的车辆跟踪算法下载： 716次

1 引言

2 基于尺度搜索的车辆跟踪算法

图 1. 基于尺度搜索的车辆跟踪算法基本框架

Fig. 1. Overview of vehicle tracking algorithm based on scale search

2.1 核相关滤波器

2.2 尺度搜索

2.3 自适应模板更新

3 实验

3.1 评价标准与算法参数

3.2 实验结果与分析

图 2. 各算法的总体性能。(a)定位精度;(b)成功率

Fig. 2. Overall performance of each algorithm. (a) Location precision; (b) success rate

表 1. 各算法总体性能表

Table 1. Overall performance of each algorithm

表 2. 固定权值更新与自适应权值更新的性能比较表

Table 2. Performance comparison of fixed weight update and adaptive weight update

表 3. 各影响因素下的算法性能

Table 3. Performance of each algorithm under different factors

图 3. 部分视频序列的跟踪效果。(a) BlurCar1-OTB;(b) BlurCar2-OTB;(c) Car1-OTB; (d) Car7-UAV;(e) Car24-OTB;(f) CarDark-OTB

Fig. 3. Tracking renderings of partial video sequences. (a) BlurCar1-OTB; (b) BlurCar2-OTB; (c) Car1-OTB; (d) Car7-UAV; (e) Car24-OTB; (f) CarDark-OTB

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于尺度搜索的车辆跟踪算法 下载： 716次

1 引言

2 基于尺度搜索的车辆跟踪算法

图 1. 基于尺度搜索的车辆跟踪算法基本框架

Fig. 1. Overview of vehicle tracking algorithm based on scale search

2.1 核相关滤波器

2.2 尺度搜索

2.3 自适应模板更新

3 实验

3.1 评价标准与算法参数

3.2 实验结果与分析

图 2. 各算法的总体性能。(a)定位精度;(b)成功率

Fig. 2. Overall performance of each algorithm. (a) Location precision; (b) success rate

表 1. 各算法总体性能表

Table 1. Overall performance of each algorithm

表 2. 固定权值更新与自适应权值更新的性能比较表

Table 2. Performance comparison of fixed weight update and adaptive weight update

表 3. 各影响因素下的算法性能

Table 3. Performance of each algorithm under different factors

图 3. 部分视频序列的跟踪效果。(a) BlurCar1-OTB;(b) BlurCar2-OTB;(c) Car1-OTB; (d) Car7-UAV;(e) Car24-OTB;(f) CarDark-OTB

Fig. 3. Tracking renderings of partial video sequences. (a) BlurCar1-OTB; (b) BlurCar2-OTB; (c) Car1-OTB; (d) Car7-UAV; (e) Car24-OTB; (f) CarDark-OTB

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于尺度搜索的车辆跟踪算法下载： 716次