基于特征融合的长时目标跟踪算法

葛宝义; 左宪章; 胡永江

doi:doi:10.3788/AOS201838.1115002

光学学报, 2018, 38 (11): 1115002, 网络出版: 2019-05-09

基于特征融合的长时目标跟踪算法下载： 1151次

Long-Term Object Tracking Based On Feature Fusion

论文大纲

葛宝义 ^*左宪章 ^**胡永江

作者单位

陆军工程大学无人机工程系, 河北石家庄 050003

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对长时目标跟踪中目标遮挡、目标出视野等因素导致的目标失跟问题,提出一种基于特征融合的长时目标跟踪算法,提高目标跟踪的速度和稳健性。首先,融合目标方向梯度直方图特征、颜色空间特征和局部敏感直方图特征,来增强算法在复杂情况下的特征判别力,提高目标跟踪的稳健性,并对融合特征进行降维来提高目标跟踪的速度;然后,通过额外的一维尺度相关滤波器来获得目标最优的尺度估计,并通过正交三角分解来无损降低计算复杂度;最后,自适应确定目标检测阈值,在目标遮挡或出视野导致目标失跟时,通过EdgeBoxes方法提取目标候选区域,利用结构化支持向量机重新检测目标位置达到长时跟踪的目的。在标准跟踪数据集OTB2015和UAV123上进行实验。结果表明,本文算法较对比算法中最优算法目标跟踪平均精度提升5.0%,目标跟踪平均成功率提升2.6%,目标跟踪平均速度为28.2 frame/s,可满足跟踪的实时性要求。在目标受到遮挡、出视野等情况下,该算法仍能够对目标进行持续准确的跟踪。

Abstract

Aim

ing at the problems of object tracking failure caused by occlusion and out of view in long-term tracking, we propose a long-term object tracking algorithm based on feature fusion to improve the speed and robustness of object tracking. First, the features of histogram of oriented gradient, color space and local sensitive histogram are fused to enhance the robustness of the algorithm in complex cases, and the fusion feature dimension reduction is carried out to improve the object tracking speed. Then, an additional one-dimensional scale correlation filter is used to obtain the optimal scale estimation of the object, and the computational complexity is reduced by quadrature rectangle-factorization. Finally, the object detection threshold is adaptively determined. When the object occlusion or out-of-view causes the failure of object tracking, the object region proposals can be extracted by EdgeBoxes, and object position is re-directed by using structured support vector machine to complete the long-term tracking of object. Experiments are conducted on standard tracking datasets OTB2015 and UAV123. Experimental results show that the average accuracy of the proposed algorithm is 5.0% higher than that of other optimal algorithms, the average success rate is increased by 2.6%, and the average object tracking speed is 28.2 frame/s, which meets the real-time requirements for tracking. In the case of object occlusion and out of view, the proposed algorithm can track the object continuously and accurately.

1 引言

随着计算机视觉技术的发展,视觉目标跟踪技术在视频监控、目标检测、视觉导航等领域的应用越来越广泛。但由于目标跟踪中存在目标形变、目标尺度变化、环境背景干扰、目标被遮挡等跟踪难点因素,目标跟踪容易发生漂移,导致不能对目标进行长时间跟踪。

相关滤波目标跟踪算法由于具有超高的跟踪速度和较高的跟踪稳健性,近几年得到了广泛的研究和应用。Henriques等^[1]提出核相关滤波目标跟踪算法,基于循环矩阵性质将相关滤波模板训练阶段的采样问题等价于特征矩阵循环移位操作,来完成训练样本密集采样,大大减少了训练过程的样本采样次数,提高了跟踪速度。Li等^[2]提出多尺度核相关滤波跟踪方法,通过构造目标不同尺度特征池,估计目标特征变化,一定程度上解决了目标尺度变化估计问题,但受制于跟踪速度,对尺度的数目设置有限,因此对目标的尺度变化不敏感。Danelljan等^[3]提出空间判别尺度估计目标跟踪算法,通过额外的一维尺度相关滤波器,在目标位置确定后估计尺度变化,该方法可设置大量特征尺度池,对目标尺度变化估计精准快速。在目标受到遮挡情况下,以上方法容易发生失跟现象。利用卷积神经网络低层的目标细节表征和高层目标语义信息表征对目标进行特征提取^[4-7],可获得目标较为全面的表征,结合相关滤波目标跟踪方法可以较好地解决目标旋转与目标遮挡等问题,但卷积特征提取计算量较大,导致目标跟踪速度达不到实时性要求。基于检测的目标跟踪方法在目标长时跟踪问题上具有较好的跟踪效果。Zhu等^[8]利用EdgeBoxes方法提取候选目标区域,然后确定目标位置。该方法可对目标进行全局搜索,对不规则运动目标和大位移情况跟踪效果较好,但目标跟踪精度不高。Ma等^[9]在相关滤波目标跟踪基础上,对跟踪过程中的目标遮挡进行判断,当目标发生遮挡时,引入基于支持向量机(SVM)的目标检测算法来重新确定目标位置,但跟踪速度慢。

上述算法对相关滤波目标跟踪算法进行了改进,但还存在以下问题:1)目标跟踪的精度和稳健性有待提升;2)目标跟踪速度有待优化;3)在长时目标跟踪中对目标被遮挡、目标出视野等问题处理不好,容易导致目标跟踪失败。

针对以上问题,本文提出基于特征融合的长时目标跟踪算法。首先,针对目标单一特征判别力不强的问题,融合目标方向梯度直方图特征、颜色空间特征和局部敏感直方图特征来提高复杂情况下的跟踪稳健性,并采用特征降维方法在最大化保留目标信息的同时加快跟踪速度;然后,在确定跟踪目标的位置后,通过额外的一维尺度相关滤波器来估计目标的最优尺度,同时采用正交三角(QR)分解无损降低特征维数,进一步加速目标尺度估计过程;最后,通过自适应策略确定目标检测的阈值,在目标出现遮挡或出视野等情况时,通过EdgeBoxes方法提取目标候选区域来避免暴力搜索目标,加快搜索速度,并利用结构化支持向量机(SSVM)来重新检测目标位置以达到目标长时跟踪的目的。在OTB100和UAV123标准跟踪数据集上进行实验,验证本文算法的有效性。

2 背景感知相关滤波

相关滤波目标跟踪算法通过目标特征与模板矩阵相关来构造目标函数,使得目标响应与目标函数风险最小化来训练目标跟踪滤波器模板^[10],达到目标跟踪的目的。

\begin{matrix} ε = \underset{h}{ar g_{} \min} \frac{1}{2} {(y - \overset{d}{\sum_{l = 1}} h_{l} * x_{l})}_{2}^{2} + \frac{λ}{2} \overset{d}{\sum_{l = 1}} {(h_{l})}_{2}^{2}, (1) \end{matrix}

式中:h∈R^T表示滤波器模板;T为滤波器模板维数;x∈R^T表示目标特征;y∈R^T表示目标期望响应;*表示循环卷积操作;d表示目标特征通道数;λ表示正则化系数。

滤波器模板训练时将(1)式时域的卷积运算转换到频域中的点积来降低算法复杂度,但时域的循环卷积导致相关滤波目标跟踪存在边界效应问题。通常,通过对目标特征加窗可减小边界效应,但会导致计算量增加,同时搜索区域受到限制。过大的搜索区域由于引入过多背景因素,导致训练的滤波器分辨力不够;但不足的搜索区域会导致训练的滤波器对目标的运动适应性不强,同时滤波器模板训练不足。背景感知相关滤波器(BACF)算法^[11]在相关滤波算法的基础上对目标特征x进行裁剪操作,即 $\begin{matrix} \tilde{x} \end{matrix}$ =Px_l,通过裁剪搜索区域图像特征获得多个完整真实的训练样本,并通过扩大搜索区域降低滤波器模板的过拟合程度,得到稳健性较好的滤波器模板,同时避免了循环移位样本导致的边界效应问题。BACF通过最小化分险损失函数来获得滤波器模板:

\begin{matrix} ε = \underset{h}{ar g_{} \min} \frac{1}{2} \overset{S}{\sum_{i = 1}} {(y_{i} - \overset{d}{\sum_{l = 1}} {h^{H}}_{l} P x_{l})}_{2}^{2} + \frac{λ}{2} \overset{d}{\sum_{l = 1}} {(h_{l})}_{2}^{2}, (2) \end{matrix}

式中:P∈R^D×T表示裁剪矩阵,用来裁剪出多个包含D个元素的完整训练样本;H表示矩阵共轭转置;S表示训练样本数。

将(2)式变换到频域,得:

\begin{matrix} \begin{matrix} ε = \underset{h, \hat{g}}{ar g_{} \min} \frac{1}{2} {(\hat{y} - \hat{X} ☉ \hat{g})}_{2}^{2} + \frac{λ}{2} {(h)}_{2}^{2}, (3) \\ s . t . \hat{g} = \sqrt[]{T} (F P^{H} \otimes I_{d}) h, (4) \end{matrix} \end{matrix}

式中: $\begin{matrix} \hat{X} \end{matrix}$ =[diag( $\begin{matrix} {\hat{x}}_{1} \end{matrix}$ )^H,…,diag( $\begin{matrix} {\hat{x}}_{d} \end{matrix}$ )^H],矩阵维数为R^T×dT;h= $\begin{matrix} [{h^{H}}_{1}, \dots, {h^{H}}_{d}]^{H} \end{matrix}$ ,矩阵维数为R^dD×¹; $\begin{matrix} \hat{g} \end{matrix}$ = $\begin{matrix} [{\hat{g}}^{H}_{1}, \dots, {\hat{g}}^{H}_{d}]^{H} \end{matrix}$ ,矩阵维数为R^dT×¹;☉表示对应元素相乘;I_d∈R^d×d;⊗表示Kronecker积操作; $\begin{matrix} \hat{\cdot} \end{matrix}$ = $\begin{matrix} \sqrt[]{T} \end{matrix}$ F(·)表示离散傅里叶变换(DFT);F∈R^T×T为傅里叶矩阵,用于将随机矩阵映射到频域。

要求解(3)~(4)式,通过构造增广拉格朗日函数可得:

\begin{matrix} \begin{matrix} L (h, \hat{g}, \hat{ζ}) = \frac{1}{2} {(\hat{y} - \hat{X} \hat{g})}_{2}^{2} + \frac{λ}{2} {(h)}_{2}^{2} + \\ {\hat{ζ}}^{H} (\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h) + \\ \frac{μ}{2} {(\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h)}_{2}^{2}, (5) \end{matrix} \end{matrix}

式中μ为惩罚因子, $\begin{matrix} \hat{ζ} \end{matrix}$ = $\begin{matrix} [{\hat{ζ}}^{H}_{1}, \dots, {\hat{ζ}}^{H}_{d}]^{H} \end{matrix}$ ∈R^dT×¹为频域拉格朗日系数矩阵。

由于(5)式无封闭解,通过交替方向乘子法(ADMM)^[12]优化求解可得两个优化子问题:

\begin{matrix} \begin{matrix} h^{*} = \underset{h}{ar g_{} \min} \frac{λ}{2} {(h)}_{2}^{2} + \\ {\hat{ζ}}^{H} (\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h) + \\ \frac{μ}{2} {(\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h)}_{2}^{2}, (6) \\ {\hat{g}}^{*} = \underset{\hat{g}}{ar g_{} \min} \frac{1}{2} {(\hat{y} - \hat{X} \hat{g})}_{2}^{2} + \\ {\hat{ζ}}^{H} (\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h) + \\ \frac{μ}{2} {(\hat{g} - \sqrt[]{T} (F P^{H} \otimes I_{d}) h)}_{2}^{2} 。 (7) \end{matrix} \end{matrix}

通过求解(6)~(7)式优化问题可得:

\begin{matrix} h = {(μ + \frac{λ}{T})}^{- 1} (μg + ζ), (8) \end{matrix}

式中g= $\begin{matrix} \frac{1}{\sqrt[]{T}} \end{matrix}$ (PF^H⊗I_d) $\begin{matrix} \hat{g} \end{matrix}$ ,ζ= $\begin{matrix} \frac{1}{\sqrt[]{T}} \end{matrix}$ (PF^H⊗I_d) $\begin{matrix} \hat{ζ} \end{matrix}$ ,

\begin{matrix} {\hat{g}}^{*} = \frac{1}{μ} (T \hat{y} \hat{x} - \hat{ζ} + μ \hat{h}) - \frac{{\hat{x}}_{t}}{μp} (T \hat{y} {\hat{s}}^{x} - {\hat{s}}^{ζ} + μ {\hat{s}}^{h}), (9) \end{matrix}

式中s^x= $\begin{matrix} {\hat{x}}^{H} \end{matrix} \begin{matrix} \hat{x} \end{matrix}$ ,s^ζ= $\begin{matrix} {\hat{x}}^{ζ} \end{matrix}$ ζ,s^h= $\begin{matrix} {\hat{x}}^{H} \end{matrix} \begin{matrix} \hat{h} \end{matrix}$ ,p=s^x+Tμ为标量。

更新拉格朗日系数:

\begin{matrix} {\hat{ζ}}^{i + 1} = {\hat{ζ}}^{i} + μ ({\hat{g}}^{i + 1} - {\hat{h}}^{i + 1}) 。 (10) \end{matrix}

通过训练滤波器模板,在目标跟踪阶段求取搜索区域特征与模板的目标响应,响应最大值处即为目标预测位置。通过下式更新模型:

\begin{matrix} {\hat{x}}_{m}^{i + 1} = (1 - ϑ) {\hat{x}}_{m}^{i} + ϑ {\hat{x}}^{i}, (11) \end{matrix}

式中ϑ表示目标模型更新率。

BACF利用裁切矩阵实现高稳健性的模板训练,避免了相关滤波的边界效应问题,但仍存在以下问题:1)算法仅采用方向梯度直方图(HOG)作为目标提取特征,在目标模糊等纹理信息判别力不强时易导致跟踪失败;2)目标模板采用固定更新率更新,在目标受到遮挡或出视野等情况下模板易受到背景污染,无法满足目标长时跟踪要求;3)目标尺度估计采用构造金字塔方式,由于跟踪速度要求尺度池设置有限,对目标尺度估计不敏感。

3 本文算法

本文算法以BACF作为基准目标跟踪算法,基于特征融合方法来提高目标跟踪的稳健性;当发生由目标被遮挡等因素导致的失跟时,结合目标检测算法重新定位目标位置,同时通过额外的一维尺度滤波器获得目标更为精准的尺度估计。算法框架如图1所示。

图 1. 本文算法框架

Fig. 1. Framework of proposed tracking algorithm

下载图片查看所有图片

3.1 特征提取

BACF采用HOG特征作为目标判别特征。HOG特征通过计算和统计图像归一化的局部区域梯度方向直方图来构成特征x_h,图2(b)所示为目标图像HOG特征提取可视化图^[13]。目标局部外表和形状可以被局部梯度或边缘方向的分布很好地描述,同时通过归一化操作使其对光照等因素不敏感,对目标具有较高的判别力和稳健性,在行人检测、目标跟踪等领域得到了广泛应用。

文献[ 14]将局部敏感直方图特征(LSH)应用到目标跟踪中,LSH对图像中一个像素周围的区域进行统计,计算每个点的直方图,然后将每个像素点的直方图的所有区间值经过加权计算作为相应位置的像素值,如图2(c)所示。

\begin{matrix} \begin{matrix} x_{b} = \overset{M}{\sum_{m = 1}} \overset{N}{\sum_{n = 1}} [α_{(m, n)} \cdot Q (I_{(m, n)}, b)], (12) \\ Q [I_{(m, n)}, b] = \{\begin{matrix} 1, & if I_{(m, n)} \in f (b) \\ 0, & ot h erwise \end{matrix}, (13) \\ b = 1,2, 3, \dots, B, (14) \end{matrix} \end{matrix}

式中:x_b表示计算局部敏感直方图b层上的特征;I₍_m_,_n₎表示目标图像在位置点(m,n)处的像素值;α表示图像像素权值矩阵;B=15表示图像像素直方图分类区间数;f(b)表示图像像素直方图分类值区间。通过归一化特征来增加LSH特征的光照不变性:

\begin{matrix} x_{l} (p) = \overset{B}{\sum_{b = 1}} \exp \{\frac{- [b - b {(p)]}^{2}}{ma x^{2} [κ, I (p)]}\} \cdot x_{b} (p), (15) \end{matrix}

式中b(p)表示像素点所属的直方图层p,κ为防止分母为零项。

局部敏感度直方图特征考虑了周围像素对中心像素的影响,并且对光照变化和姿态变化等问题具有较好的适应性,在目标跟踪中具有较强的判别力与背景感知力。

颜色空间特征(CN)^[15]将图像RGB颜色特征映射为11维颜色概率图,用概率分布来代替原始的像素值,对光照变化具有较好的适应性。

\begin{matrix} x_{c} = U \cdot x_{R}, (16) \end{matrix}

式中U∈R^11×3为颜色映射矩阵。

CN颜色特征将RGB图像的3维颜色特征映射为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄的11维颜色空间特征,如图2(d)~(f)所示。在复杂背景下,颜色空间特征具有较强的目标分辨力,有利于复杂环境下的目标跟踪。

图 2. 目标特征可视化。(a)原始图像;(b) HOG;(c) LSH;(d)~(f) CN

Fig. 2. Object feature visualization. (a) Image; (b) HOG; (c) LSH; (d)-(f) CN

下载图片查看所有图片

本文通过融合目标HOG、LSH和CN特征来获得目标更全面的特征表征,以此增强目标复杂情况下的特征辨别力,但融合的高维特征将增加算法的计算复杂度,特别是快速傅里叶变换增加了操作时间耗费。因此,在融合三种目标特征的基础上,为加快目标跟踪的速度,通过对融合特征进行降维来实现快速稳健的目标跟踪。为保证最大化保留目标特征的有用信息,同时实现融合特征的降维,通过最小化特征重建损失来获取降维矩阵Q:

\begin{matrix} ε = \underset{Q_{p}}{ar g_{} \min} \frac{1}{MN} \overset{M, N}{\sum_{m, n}} {(x (m, n) - {Q^{T}}_{p} Q_{p} x (m, n))}^{2}, (17) \end{matrix}

式中M、N表示提取特征的空间维数, $\begin{matrix} {Q^{T}}_{p} \end{matrix}$ Q_p=I,Q∈ $\begin{matrix} R^{\tilde{d} \times d} \end{matrix}$ , $\begin{matrix} \tilde{d} \end{matrix}$ 表示压缩后的特征维数,d表示目标融合特征通道数。

由(17)式可得降维压缩后的目标特征为

\begin{matrix} \tilde{X} = J \{Q [\begin{matrix} x_{h} \\ x_{l} \\ x_{c} \end{matrix}]\} 。 (18) \end{matrix}

由于傅里叶变换的线性性质,可以得到压缩后的特征模型训练过程为

\begin{matrix} \begin{matrix} \begin{matrix} {\tilde{G}}_{t}^{*} = \frac{1}{μ} (TY \tilde{X} - \hat{ζ} + μ \tilde{H}) - \\ \frac{\tilde{X}}{μp} (TY {\tilde{S}}^{x} - {\tilde{S}}^{ζ} + μ {\tilde{S}}^{h}), \end{matrix} (19) \\ \tilde{h} = {(μ + \frac{λ}{T})}^{- 1} (μ \tilde{G} + \tilde{ζ}) 。 (20) \end{matrix} \end{matrix}

目标跟踪滤波器模板更新过程为

\begin{matrix} {\tilde{X}}_{m}^{i + 1} = (1 - ϑ) {\tilde{X}}_{m}^{i} + ϑ {\tilde{X}}^{i} 。 (21) \end{matrix}

目标滤波器响应为

\begin{matrix} \tilde{Y} = \tilde{G} \cdot \tilde{X} 。 (22) \end{matrix}

由(19)~(22)式可得到特征融合降维后的滤波模板训练与目标响应,完成目标跟踪过程。

3.2 尺度估计

背景感知相关滤波目标跟踪在确定目标位置时,通过提取不同尺度目标特征,根据目标响应值同时确定目标位置和尺度,但尺度设置受到跟踪速度限制,因此对目标尺度变化不敏感。

文献[ 3]提出在位置相关滤波器的基础上额外增加一个尺度相关滤波器来估计目标尺度变化。由于目标跟踪过程中位置变化通常大于目标尺度变化,因此在确定目标位置后,通过额外一维尺度相关滤波器构建目标尺度池可以对目标尺度进行较为准确的估计,并且计算量较小,跟踪速度快。尺度池设置如下:

\begin{matrix} \begin{matrix} SW \times SH, (23) \\ \begin{matrix} S = {s | s = a^{n}, n = [(- \frac{N - 1}{2}), \\ (- \frac{N - 3}{2}), \dots, (\frac{N - 1}{2})]}, (24) \end{matrix} \end{matrix} \end{matrix}

式中:W、H表示目标特征的宽和高;N=33表示目标尺度数;a=1.02表示尺度步长。

通过上述方法构造一维尺度相关滤波器,通过提取目标HOG特征确定尺度变化,但通常目标特征维数d>500,导致计算量较大,而目标尺度池维数为N=33,因此目标特征矩阵的秩小于或等于目标尺度数,即rank(x)≤N,可通过QR分解将尺度特征降维到与尺度池数目相等来实现目标特征降维。目标特征为

\begin{matrix} {\hat{F}}_{x} = J_{} {Q_{x} x}, (25) \end{matrix}

对于训练样本x和预测样本z可同样求取映射矩阵实现特征降维,同时可通过下式来求解原始目标尺度特征,因此可实现目标特征无损降维,提高尺度估计速度。

\begin{matrix} \begin{matrix} \tilde{x} = {Q^{T}}_{x} x, (26) \\ \tilde{z} = {Q^{T}}_{z} z 。 (27) \end{matrix} \end{matrix}

为实现较为精准的尺度估计,进一步提高目标跟踪的速度,通过设置尺度池为N_r=17来计算目标尺度响应,然后通过插值将目标尺度数插值为N=33,在保证高尺度估计精度的同时,降低计算量,提高目标跟踪的速度。

3.3 目标检测

3.3.1 目标检测

相关滤波目标跟踪算法是一种基于模板类的跟踪方法,在一定搜索范围内,通过训练滤波器模板与提取的目标特征的相关性来预测目标位置。为适应在跟踪过程中目标的变化特性,采用一定更新率实时更新模板策略,但当目标受到遮挡或出视野等因素影响时,滤波器模板由于学习到背景信息而导致模型漂移致使跟踪失败,在长时跟踪中不能满足对目标进行持续跟踪的任务。

通过对目标跟踪状态进行判断,在目标受到遮挡时结合目标检测方法重新确定目标位置是一种较好的解决目标跟踪过程中由于目标遮挡、出视野等因素造成目标失跟的方法。

支持向量机具有小样本、易训练且分类性能良好的特性。将目标跟踪作为分类任务,基于支持向量机进行跟踪已经取得了比较好的效果。传统支持向量机将目标跟踪作为二分类问题,在选择训练样本时仅利用二进制样本,而没有考虑空间结构信息,因此在跟踪过程中的样本不准确会降低分类器的准确度。文献[ 16]将结构化支持向量机运用到目标跟踪中,结构化输出向量机直接使用样本位置作为结构化标签,将目标位置信息引入训练过程,并通过预测函数来直接输出连续值确定目标,提高了SVM跟踪的准确性。

\begin{matrix} y^{*} = f (x) = \underset{y \in ψ}{ar g_{} \max} g (x, y, w), (28) \end{matrix}

式中:g(x,y,w)为评价函数;y为跟踪输出框;ψ表示搜索空间;x为目标特征;w为支持向量。

目标检测过程中,通常采用滑动窗方法暴力搜索目标,但基于滑动窗方式的计算量较大,降低了目标跟踪的实时性。文献[ 17]提出通过EdgeBoxes提取候选区域方式实现目标跟踪的方法,通过图像边缘特性提取目标候选区域,然后确定真实目标。该方法可实现全局目标搜索,速度快,但对背景干扰判别力不强,跟踪精度不高。本文将背景感知相关滤波跟踪与EdgeBoxes提取候选框方法相结合,通过相关滤波跟踪方法精确预测目标位置,当目标被遮挡或因快速移动而丢失时进行判断,当目标丢失时,通过采用目标检测方法重新确定目标位置来完成长时目标跟踪任务。图3所示为EdgeBoxes提取候选区域,为提高计算速度,降低背景等复杂情况的干扰,同时考虑到目标移动应具有连续性,因此采用在一定搜索区域进行目标重新检测的方法。

图 3. 候选区域提取

Fig. 3. Region proposal

下载图片查看所有图片

3.3.2 自适应阈值

相关滤波目标跟踪算法通过目标响应来确定目标坐标位置,因此通过目标响应值可对目标跟踪中是否发生目标失跟等问题进行判断。文献[ 18]通过固定峰值旁瓣比阈值方法来判断是否发生目标遮挡、出视野等跟踪情况,但不同跟踪环境与跟踪目标对阈值设定的要求有差异,因此采用固定阈值方法判断目标跟踪效果的广适性受到限制。通过历史响应信息与当前帧响应信息来自适应判断目标遮挡、出视野等跟踪困难情况可提高阈值设定的广适性,目标阈值设置如下:

\begin{matrix} T_{s} = (1 - δ) \cdot T_{s} + δ \cdot G_{\max}, (29) \end{matrix}

式中:T_s表示置信度阈值;δ表示阈值更新率;G_max表示目标最大响应值。

通过历史帧跟踪响应信息与当前帧目标响应信息即可判断是否发生目标遮挡、出视野等情况,采用目标检测机制来重新定位目标位置。

\begin{matrix} R_{e} = \{\begin{matrix} 1, & if G_{\max} > T_{0} \\ 0, & ot h erwise \end{matrix}, (30) \end{matrix}

式中T₀表示目标检测阈值,由自适应阈值计算得到。

当目标响应值小于一定的历史加权值则进行目标检测,由于目标跟踪在帧间目标位移变化具有连续性,因此通过最大化检测器输出与最小化空间位置变化来重新确定目标位置。

\begin{matrix} \begin{matrix} \underset{i}{ar g_{} \max} f (x) + α \cdot \exp (- \frac{1}{2 σ^{2}}) {((x_{t}^{i}, y_{t}^{i}) - (x_{t - 1}^{i}, y_{t - 1}^{i}))}^{2}, (31) \\ s . t . f (x) > T_{p}, (32) \end{matrix} \end{matrix}

式中:f(x)表示检测器输出;(x,y)为目标在相关帧的坐标位置;α用来调节检测置信度与目标位置置信度;T_p表示检测器输出阈值,用来矫正检测器的输出,如果小于阈值,则输出为0。

4 算法流程

本文提出基于特征融合的目标跟踪算法,其具体算法流程如图4所示,具体步骤如下。

图 4. 算法步骤

Fig. 4. Flow chart of proposed algorithm

下载图片查看所有图片

1) 输入目标跟踪图像序列。输入已知目标图像序列,获取目标在首帧的中心位置与尺度大小。

2) 训练滤波器模板。提取目标融合特征,将融合特征压缩为 $\begin{matrix} \tilde{d} \end{matrix}$ 维,按照(19)~(20)式方法训练目标融合特征的滤波器模板。

3) 训练SSVM。根据目标图像位置、尺度大小训练结构化支持向量机。

4) 确定目标位置。根据步骤2)训练的目标滤波器模板,由(22)式计算目标响应,响应最大值处即为目标预测位置。

5) 目标位置重确定。判断步骤4)中目标响应最大值是否满足目标检测阈值条件T₀,如果大于阈值则继续步骤6),如果小于阈值则按照(31)~(32)式进行目标检测,重新确定目标位置。

6) 目标尺度估计。在预测的目标位置处,提取目标尺度池HOG特征,利用一维尺度相关滤波器,按照(23)~(25)式获得目标17个尺度池特征,然后插值为33个尺度数进行尺度估计,精确确定目标尺度大小。

7) 更新检测。由于目标在图像序列中的变化在连续帧中较小,为提高目标跟踪的速度,降低滤波器模板训练的过拟合程度,本文采用隔3帧更新模板的方式,即当图像序列为3的整数倍时对滤波器模板进行更新,否则不更新。

8) 模型更新。在目标预测位置,以目标尺度估计大小提取目标融合特征,按照(21)式更新目标特征,按照(19)~(20)式方法训练目标滤波器模板。判断目标响应最大值是否大于分类器更新阈值T_r,如果大于则更新SSVM。

9) 阈值更新。按照(29)式更新置信度阈值。

10) 继续步骤4)~步骤9),直至目标跟踪结束。

5 实验

5.1 实验平台

实验算法均在戴尔工作站(Dell Precision 7810)计算机上进行,操作系统为64位Windows 7旗舰版,编程环境为Matlab 2017a和OpenCV3.1,处理器为 Intel Xeon E5-2620 v3,主频为2.40 GHz,内存为16 GB。

5.2 实验设置

实验参数设置:目标压缩维数 $\begin{matrix} \tilde{d} \end{matrix}$ =32,阈值更新率δ=0.1,目标模型更新率ϑ=0.26,α设置为0.1,检测器输出阈值T_p=0.2,目标检测阈值T₀=0.6T_s,分类器更新阈值为T_r=0.85T_s,其余参数同文献[ 8]。

5.3 对比实验

除本文算法外,其他对比目标跟踪方法如下:核相关滤波跟踪(KCF)^[1]、尺度空间判别跟踪(DSST)^[3]、长时目标跟踪(LCT)^[9]、BACF^[10]、空间正则化相关滤波跟踪(SRDCF)^[19]和多模版存储跟踪(MUSTER)^[20]。对比算法均为近几年热门跟踪算法,且跟踪性能良好。

5.4 实验数据

为保证实验结果的客观性,对跟踪算法进行全面的评估,实验采用OTB100^[21]和UAV123^[22]标准跟踪数据集作为跟踪实验数据。OTB100包含100个跟踪目标图像序列,含有目标尺度变化、目标遮挡、目标出视野等11种跟踪难点因素,可对跟踪算法各种情况的跟踪效果作评价。UAV123包含123个无人机拍摄目标跟踪图像序列,目标形变更大,目标视野变化也更剧烈,同时包含目标跟踪的12种跟踪难点因素,利于评测算法针对各种情况下的性能。两个数据集均对目标背景框进行标注,便于实验算法跟踪结果的比较。实验在标准数据集上对所有跟踪图像序列进行目标跟踪,统计跟踪结果的平均值作为最终结果。

5.5 评估准则

为评估实验算法的跟踪性能,采用一次跟踪评估(OPE)中的跟踪成功率、跟踪精度和算法时间复杂度作为跟踪算法的评价指标。

1) 跟踪成功率。通过计算目标跟踪的结果、目标边界框与真实标注目标边界框的重叠率(IOU)来评估跟踪成功率。跟踪图像中大于一定阈值的重叠率的平均值作为每个视频的跟踪成功率,

\begin{matrix} S = \frac{|R_{t} ⋂ R_{a}|}{|R_{t} ⋃ R_{a}|}, (33) \end{matrix}

式中:R_t表示算法跟踪结果目标边界框;R_a表示真实标注目标边界框;S越大表示算法跟踪的成功率越高。通过成功率图中曲线的线下面积(AUC)表示跟踪成功率。

2) 跟踪精度。通过计算算法跟踪结果目标的中心位置与真实标注目标的中心位置的欧氏距离来衡量目标跟踪的精度。跟踪精度的平均值作为算法跟踪的精度,

\begin{matrix} ε = \sqrt[]{(x_{t} - x_{b})^{2} + (y_{t} - y_{b})^{2}}, (34) \end{matrix}

式中(x_t,y_t)和(x_b,y_b)分别表示算法跟踪结果目标和真实标注目标的中心位置,两者欧氏距离越小表示跟踪精度越高。

3) 算法时间复杂度。通过计算跟踪算法每秒处理的图像帧数(FPS)来评价。

\begin{matrix} V_{FPS} = \frac{F_{ra}}{T}, (35) \end{matrix}

式中F_ra表示目标跟踪的图像总帧数,T表示跟踪算法的总耗时。每秒处理的图像帧数越多,说明算法的时间复杂度越低。

5.6 实验结果与分析

5.6.1 OTB100实验

本文算法及对比算法均在OTB100标准数据集上进行实验,通过对100个视频跟踪结果进行统计,得到总体跟踪结果曲线和分类因素结果曲线,说明算法针对各种因素的跟踪有效性。

图5为本文算法在不同目标检测阈值影响下,对目标遮挡情况的跟踪结果统计平均曲线。其中T5、T6、T7、T8分别表示目标检测阈值设置为0.5T_s,0.6T_s,0.7T_s,0.8T_s时对于目标遮挡情况的处理结果。由图中数据可以看出,本文算法在阈值

图 5. 不同目标检测阈值跟踪结果

Fig. 5. Tracking results of different target detection threshold

下载图片查看所有图片

设置为0.5~0.7区间时,目标跟踪的成功率相差最大为0.3%,且均保持较高的成功率,因此本文阈值自适应确定方法可以有效确定目标跟踪检测阈值,并且在一定范围内参数对目标跟踪效果的影响较小,该阈值确定方法广适性较强。

图6(a)~(b)为实验算法与对比跟踪方法在OTB100跟踪数据集上对所有图像序列跟踪结果的综合统计平均曲线图。可以看出,本文算法跟踪成功率为0.778(IOU大于0.5),较对比算法中最优算法提高2.6%,跟踪精度为0.846,较对比算法中最优算法提高5.0%,因此本文融合目标HOG、CN、LSH三种特征可以有效提高目标多种情况下的判别力,提高目标跟踪的精度和成功率。

跟踪综合指标统计如表1所示,本文算法跟踪速度为28.2 frame/s,较基准算法BACF提高33%,满足目标跟踪实时性要求,说明本文特征降维策略和模板更新策略可在保证跟踪精度和稳健性的同时有效提高跟踪速度,基于EdgeBoxes提取候选框方法降低了目标检测过程中的搜索复杂度。

图 6. OTB100跟踪结果评估曲线

Fig. 6. Tracking results evaluation plots on OTB100

下载图片查看所有图片

表 1. 目标跟踪成功率

Table 1. Success rate of object tracking

Algorithm	Success rate	Tracking speed /(frame·s^-1)
Proposed	0.778	28.2
BACF	0.758	21.2
SRDCF	0.717	4.2
LCT	0.621	19.7
MUSTER	0.676	2.2
DSST	0.548	18.6
KCF	0.536	124.1

查看所有表

图6(c)为跟踪算法在OTB100上的跟踪结果关于目标尺度变化的统计平均曲线。可以看出,本文算法较其他算法尺度估计更好,较对比算法中最优算法尺度估计准确性提高6.6%,说明本文尺度估计算法可以在跟踪过程中较好地对目标尺度变化进行估计。

图6(d)~(f)为跟踪算法对目标含有遮挡、出视野、旋转情况的分类统计结果。可以看出,本文算法在三种情况下的跟踪平均效果均为最优,在目标受到遮挡、出视野、旋转情况下跟踪成功率较对比算法中最优算法分别提高5.9%、1.6%、4.5%,说明本文目标检测阈值自适应确定方法可较好地克服目标遮挡与出视野问题,在目标出现失跟情况下,基于检测的方法可以快速准确地重新定位目标位置,有效提高目标跟踪在该情况下的跟踪精度和成功率,完成对目标的长时跟踪。

图7为实验选取OTB2015数据集中4组具有代表性的跟踪数据。表2所示为4组图像序列的特点,其中,IV为光照变化,SV为尺度变化,OCC为目标遮挡,DEF为目标形变,MB为运动模糊,FM为快速运动,IPR为平面内旋转,OPR为平面外旋转,OV为目标出视野,LR为低分辨率,表中为图像序列含有上述因素的特点,在跟踪过程中图像所含的序列特点可以用来评价目标跟踪算法的精确性和稳健性。

表 2. 实验图像序列特点

Table 2. Characteristics of image sequences in experiment

Sequence	Characteristic	Frame number
Panda	SV,OCC,DEF,IPR,OPR,OV,LR	1000
Lemming	IV,SV,OCC,FM,OPR,OV	1336
Blur Owl	SV,MB,FM,IPR	631
Human5	SV,OCC,DEF	713
Jogging-2	OCC,DEF,OPR	307
Soccer	IV,SV,OCC,MB,FM,IPR,OPR,BC	392
Wake board1	SV,IPR,DEF,FM	141

查看所有表

图 7. OTB100部分目标跟踪结果与重叠率。(a) Panda; (b) Lemming; (c) Blur Owl; (d) Human5; (e) Soccer; (f) Wake board1; (g) Jogging-2

Fig. 7. Partial object tracking results and overlap rates on OTB100. (a) Panda; (b) Lemming; (c) Blur Owl; (d) Human5; (e) Soccer; (f) Wake board1; (g) Jogging-2

下载图片查看所有图片

如图7(a)中Panda跟踪结果所示,在第173帧由于目标旋转、形变的因素特点,MUSTER不能继续对目标进行跟踪,跟踪失败,在第380和431帧由于目标旋转与背景干扰的因素,LCT与SRDCF跟踪算法对目标跟踪失败,本文算法与BACF模板具有较高的稳健性,因此可对目标进行持续跟踪,同时本文算法在目标尺度估计、目标跟踪准确性上总体较BACF更为准确。

如图7(b)中Lemming跟踪结果所示,在第331帧时目标由于完全遮挡而超出视野,在374帧目标重新出现时,由于学习到背景信息导致模型漂移,MUSTER和SRDCF不能够对目标继续进行跟踪,本文算法与LCT可重新检测目标位置继续进行跟踪,BACF由于模型更新率较低,同样可继续进行跟踪。在第1028帧和1283帧由于模型的漂移和目标旋转,导致LCT与BACF算法跟踪失败,本文算法可较高精度地对目标进行持续跟踪。

如图7(c)中Blur Owl跟踪结果所示,目标快速移动、图像运动模糊与平面内旋转因素,导致BACF、LCT、MUSTER分别在第48、117、155帧对目标跟踪失败,本文算法与SRDCF可以对目标进行持续跟踪。本文算法采用特征融合方法,在图像模糊情况下拥有更强的特征判别力,跟踪目标重叠率总体较SRDCF更为准确。

如图7(d)中Human5跟踪结果所示,在第177帧由于目标遮挡与形变, LCT跟踪失败,其余算法均能对目标进行持续跟踪,但MUSTER对目标尺度变化估计明显失准,本文算法较其他算法对目标尺度估计更为准确。本文尺度估计算法可准确估计目标跟踪中的变化,基于检测的跟踪方法对目标遮挡、出视野问题可重新检测目标位置,继续目标跟踪,有利于目标长时跟踪。

如图7(e)中Soccer跟踪结果所示,在68帧目标的形变和旋转导致LCT模版不能继续对目标进行跟踪,在121帧目标发生尺度变化、遮挡和背景干扰,导致不能够搜索到目标位置,在132帧目标重新出现,MUSTER和BACF由于特征判别力不够,模型发生漂移导致跟踪失败,SRDCF与本文算法可持续对目标进行跟踪,但SRDCF模型发生漂移,跟踪精度不够,本文算法可持续准确地对目标进行跟踪。

如图7(f)中Wake board1跟踪结果所示,由于目标发生旋转、变形,SRDCF、BACF、MUSTER分别在26帧、68帧和91帧跟踪失败,在121帧由于目标尺度变化,发生形变,LCT模型发生漂移而不能够继续对目标进行跟踪,本文算法可持续对目标进行跟踪,但尺度滤波器模型发生漂移,目标尺度估计不够准确。

如图7(g)中Jogging-2跟踪结果所示,在45帧时,目标发生遮挡,超出目标搜索范围,在65帧时目标重新出现在视野内,BACF由于模型漂移,导致跟踪失败,其他算法可对目标进行跟踪。从图中可以看出,本文算法对目标尺度估计更为准确,目标跟踪精度更高。

5.6.2 UAV123实验

图8为本文跟踪算法与对比实验在UAV123跟踪数据集上的实验统计数据。可以看出,本文算法在数据集上的跟踪平均成功率(IOU>0.5)为0.537,较最优算法提高5.1%,跟踪平均精度为0.598,较最优算法提高4.2%,说明本文基于特征融合方法可有效提高目标跟踪的精度和成功率。

图 8. UAV123跟踪OPE评估曲线。(a)精度;(b)成功率

Fig. 8. OPE evaluation on UAV123. (a) Precision; (b) success rate

下载图片查看所有图片

表3为目标跟踪UAV123统计结果,本文算法跟踪速度为29.8 frame/s,较基准BACF提高33.6%,满足跟踪的实时性要求,并且平均目标跟踪成功率为最优,说明本文特征降维和模型更新策略可以在保证跟踪精度与成功率的同时,提高跟踪速度。

表 3. 目标跟踪成功率

Table 3. Success rate of object tracking

Algorithm	Success rate	Tracking speed /(frame·s^-1)
Proposed	0.537	29.8
BACF	0.506	22.3
SRDCF	0.511	5.6
LCT	0.329	23.9
MUSTER	0.436	0.9
DSST	0.311	44.7
KCF	0.294	307.6

查看所有表

5.6.3 实际系统应用实验

图9为本文算法在实际系统应用中的跟踪结果图。图9(a)为非机动车目标跟踪,包含目标形变、目标遮挡、背景干扰等因素影响;图9(b)为行人跟踪,包含尺度变化、目标遮挡、旋转、背景干扰、目标较小等因素;图9(c)为行人跟踪,包含尺度变化、目标遮挡、目标形变、旋转等因素。由图中跟踪结果可以看出,本文算法可以对上述情况进行有效跟踪,说明本文算法可以有效解决目标跟踪情况中目标遮挡与目标尺度变化问题,对目标进行准确的长时跟踪。上述情况的算法时间复杂度分别为21.0,36.2,19.3 frame/s,平均跟踪速度为25.5 frame/s,在实际跟踪中可以达到跟踪的实时性要求。

图 9. 实际应用中的跟踪结果。(a)自行车;(b)行人小孩;(c)行人女孩

Fig. 9. Tracking results in practical applications. (a) Bicycle; (b) child; (c) girl

下载图片查看所有图片

6 结论

对背景感知相关滤波目标跟踪算法进行研究,提出基于特征融合的长时目标跟踪算法,并通过实验验证本文方法提高了目标跟踪的精度和稳健性,可有效解决目标长时跟踪中的目标遮挡、出视野等跟踪失败问题。主要结论如下:1)本文提出特征融合方法,并推导给出基于特征融合与特征降维的目标滤波器模板训练更新方法,提高了目标跟踪的稳健性和精度,同时提高了目标跟踪的速度。2)通过额外的一维尺度相关滤波器对目标尺度变化进行估计,并通过QR分解与插值算法在对目标进行准确尺度估计的同时,提高目标跟踪的速度。3)通过自适应目标检测阈值策略,对目标遮挡、出视野问题进行有效判断,利用目标检测算法,结合候选区域提取策略,快速确定目标位置,有效解决目标遮挡和目标出视野等造成的目标失跟问题。4)利用特征降维策略、候选区域提取策略和模型更新策略有效提高了目标跟踪的速度,在OTB2015和UAV123数据集上的平均跟踪速度均满足实时性要求。

由于相关滤波是基于模板的目标跟踪算法,因此对于目标快速形变、旋转等因素的跟踪情况效果不好,将来可利用目标深度特征解决目标形变与旋转问题。

参考文献

[1] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[2] LiY, ZhuJ. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision, 2014: 254- 265.

[3] Danelljan M, Hager G, Khan F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561-1575.

[4] Ma C, Xu Y, Ni B B, et al. When correlation filters meet convolutional neural networks for visual tracking[J]. IEEE Signal Processing Letters, 2016, 23(10): 1454-1458.

[5] DanelljanM, HagerG, Khan FS, et al. Convolutional features for correlation filter based visual tracking[C]∥Proceedings of the IEEE International Conference on Computer Vision Workshops, 2015: 621- 629.

[6] HeZ, FanY, ZhuangJ, et al. Correlation filters with weighted convolution responses[C]∥Proceedings of the IEEE Conference on Computer Vision Workshops, 2017: 1992- 2000.

[7] 蔡玉柱, 杨德东, 毛宁, 等. 基于自适应卷积特征的目标跟踪算法[J]. 光学学报, 2017, 37(3): 0315002.

Cai Y Z, Yang D D, Mao N, et al. Visual tracking algorithm based on adaptive convolutional features[J]. Acta Optica Sinica, 2017, 37(3): 0315002.

[8] ZhuG, PorikliF, LiH. Beyond local search: Tracking objects everywhere with instance-specific proposals[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 943- 951.

[9] Ma C, Huang J B, Yang X K, et al. Adaptive correlation filters with long-term and short-term memory for object tracking[J]. International Journal of Computer Vision, 2018, 126(8): 771-796.

[10] Bolme DS, Beveridge JR, Draper BA, et al. Visual object tracking using adaptive correlation filters[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2010: 2544- 2550.

[11] Galoogahi HK, FaggA, LuceyS. Learning background-aware correlation filters for visual tracking[C]∥Proceedings of the IEEE Conference on Computer Vision, 2017: 1144- 1152.

[12] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations & Trends in Machine Learning, 2011, 3(1): 1-122.

[13] Vondrick C, Khosla A, Pirsiavash H, et al. Visualizing object detection features[J]. International Journal of Computer Vision, 2016, 119(2): 145-158.

[14] He S F. Lau R W H, Yang Q X, et al. Robust object tracking via locality sensitive histograms[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1006-1017.

[15] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1090- 1097.

[16] NingJ, YangJ, JiangS, et al. Object tracking via dual linear structured SVM and explicit feature map[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 4266- 4274.

[17] HuaY, AlahariK, SchmidC. Online object tracking with proposal selection[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2015: 3092- 3100.

[18] 刘威, 赵文杰, 李成. 时空上下文学习长时目标跟踪[J]. 光学学报, 2016, 36(1): 0115001.

Liu W, Zhao W J, Li C. Long-term visual tracking based on spatio-temporal context[J]. Acta Optica Sinica, 2016, 36(1): 0115001.

[19] DanelljanM, HagerG, Khan FS, et al. Learning spatially regularized correlation filters for visual tracking[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2015: 4310- 4318.

[20] Hong ZB, ChenZ, Wang CH, et al. Multi-store tracker (muster): a cognitive psychology inspired approach to object tracking[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 749- 758.

[21] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[22] MuellerM, SmithN, GhanemB. A benchmark and simulator for UAV tracking[C]∥European Conference on Computer Vision, 2016: 445- 461.

葛宝义, 左宪章, 胡永江. 基于特征融合的长时目标跟踪算法[J]. 光学学报, 2018, 38(11): 1115002. Baoyi Ge, Xianzhang Zuo, Yongjiang Hu. Long-Term Object Tracking Based On Feature Fusion[J]. Acta Optica Sinica, 2018, 38(11): 1115002.

基于特征融合的长时目标跟踪算法 下载： 1151次

1 引言

2 背景感知相关滤波

3 本文算法

图 1. 本文算法框架

Fig. 1. Framework of proposed tracking algorithm

3.1 特征提取

图 2. 目标特征可视化。(a)原始图像;(b) HOG;(c) LSH;(d)~(f) CN

Fig. 2. Object feature visualization. (a) Image; (b) HOG; (c) LSH; (d)-(f) CN

3.2 尺度估计

3.3 目标检测

图 3. 候选区域提取

Fig. 3. Region proposal

4 算法流程

图 4. 算法步骤

Fig. 4. Flow chart of proposed algorithm

5 实验

5.1 实验平台

5.2 实验设置

5.3 对比实验

5.4 实验数据

5.5 评估准则

5.6 实验结果与分析

图 5. 不同目标检测阈值跟踪结果

Fig. 5. Tracking results of different target detection threshold

图 6. OTB100跟踪结果评估曲线

Fig. 6. Tracking results evaluation plots on OTB100

表 1. 目标跟踪成功率

Table 1. Success rate of object tracking

表 2. 实验图像序列特点

Table 2. Characteristics of image sequences in experiment

图 7. OTB100部分目标跟踪结果与重叠率。(a) Panda; (b) Lemming; (c) Blur Owl; (d) Human5; (e) Soccer; (f) Wake board1; (g) Jogging-2

Fig. 7. Partial object tracking results and overlap rates on OTB100. (a) Panda; (b) Lemming; (c) Blur Owl; (d) Human5; (e) Soccer; (f) Wake board1; (g) Jogging-2

图 8. UAV123跟踪OPE评估曲线。(a)精度;(b)成功率

Fig. 8. OPE evaluation on UAV123. (a) Precision; (b) success rate

表 3. 目标跟踪成功率

Table 3. Success rate of object tracking

图 9. 实际应用中的跟踪结果。(a)自行车;(b)行人小孩;(c)行人女孩

Fig. 9. Tracking results in practical applications. (a) Bicycle; (b) child; (c) girl

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于特征融合的长时目标跟踪算法下载： 1151次