基于时间正则化及背景感知的滤波器跟踪

刘明明; 裴东; 刘举; 祝东辉; 孙浩翔

doi:doi:10.3788/LOP56.231503

激光与光电子学进展, 2019, 56 (23): 231503, 网络出版: 2019-11-27

基于时间正则化及背景感知的滤波器跟踪下载： 874次

Filter Tracking Based on Time Regularization and Background-Aware

论文大纲

刘明明 ^1,*裴东 ^1,2,**刘举 ¹祝东辉 ¹孙浩翔 ¹

作者单位

¹ 西北师范大学物理与电子工程学院, 甘肃兰州 730030

² 甘肃省智能信息技术与应用工程研究中心, 甘肃兰州 730030

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对相关滤波器(CF)的目标背景因没有根据时间建模而导致的性能不佳的问题,在方向梯度直方图(HOG)的基础上,提出一种基于时间正则化及背景感知的滤波器跟踪算法。从真实的背景中提取训练样本,通过增加训练样本来增强滤波器的分类能力;引入时间正则化,构建遮挡情况下目标重定位模块;采用交替方向乘子法(ADMM)优化求解目标,降低计算复杂度;采用线性插值策略来更新目标的位置和尺度。采用目标跟踪基准(OTB-2015)数据集中的100个视频序列与评价标准对本文所提出的算法进行性能测试。实验结果表明,基于时间正则化及背景感知的滤波器跟踪算法的精确度得分达到0.801,成功率得分为0.762,相比核相关滤波器(KCF)算法分别提高了20%和46.8%。本文算法能很好解决目标发生平面外旋转、目标被遮挡、背景嘈杂等情况下的视觉跟踪问题,具有良好的应用前景和较大的使用价值。

Abstract

This study proposes a filter tracking algorithm based on the direction gradient histogram using time regularization and background-aware to overcome the problem of target background of the correlation filter (CF) having no optimal performance without time modeling. The training samples are firstly extracted from the real background, and classification ability of the filter is enhanced by adding the training samples. Subsequently, time regularization is introduced to construct the target relocation module under occlusion. In addition, the alternating direction multiplier method is used to optimize the solution target and reduce the computational complexity. Finally, a linear interpolation strategy is used to update the target location and scale. The proposed algorithm uses 100 video sequences and evaluation criteria in object tracking benchmark (OTB-2015) dataset for performance testing. Experimental results show that the accuracy score of filter tracking algorithm using time regularization and background-aware reaches 0.801 and success rate score is 0.762, which are 20% and 46.8% higher, respectively, compared to those of the kernelized correlation filter (KCF) algorithm. The proposed algorithm can solve the visual-tracking problem of off-plane rotation, occlusion, and background ambiguity, which has wide application prospects and use value.

1 引言

相关滤波器(CF)具有优越的计算能力,且在光照和几何形变的情况下仍然具有良好的稳健性,已被广泛应用于视觉跟踪领域^[1-4]。CF在频域中的学习和检测速度快,其中速度最快的是MOSSE跟踪器,跟踪速度为700 frame/s^[5]。该跟踪器采用图像的灰度特征,并用峰值旁瓣比来判别目标是否被遮挡或有无跟踪失败的情况,在运动模糊、缩放和光照变化的情况下仍然能够稳健地跟踪目标。然而,大多数CF学习所需的样本是从循环位移中得到的。从循环位移得到的图像容易受边界效应的影响,使目标响应区域变大且响应不能集中在目标中心区域,从而影响跟踪的准确度与成功率^[6]。另外,从有限的循环位移中学习可能会导致滤波器在训练的过程中出现过度拟合的现象,进而导致滤波器泛化性能变差。最后,真实负样本学习的缺乏会极大地降低此类跟踪器对杂乱背景的辨别能力,当目标及其周围背景具有相似视觉信息时,此类跟踪器的虚假检测风险就会升高。

最近的相关滤波器跟踪算法通过在大空间中训练样本、提取深度特征来学习滤波器。空间正则化的CF(SRDCF)^[2]可从大空间训练样本中学习。该方法的主要缺点是:即使在傅里叶频域中,正则化目标的优化成本也很高,故SRDCF方法不适用于实时跟踪。此外,为了形成正则化权重,必须仔细调整一组超参数,如果不正确执行则会导致跟踪性能较差。深度卷积神经网络(CNN)提取的特征^[7-8]在CF上有着出色的性能表现,但这种方法也有着自身的缺点。与采用梯度直方图(HOG)^[9]等手工提取特征的CF相比,具有CNN功能的CF在光照和几何变化情况下具有显著的跟踪性能。这主要是因为CNN在大规模数据上进行了训练,CNN所提取的特征具有高度辨别能力。但是,若从每帧图像中提取CNN特征并在高维深度特征上训练/更新CF,将会导致计算复杂度非常高,处理速度仅能达到0.2 frame/s^[8,10],最终导致实时性能较差。类似地,纯粹的深度滤波器也存在同样的缺点^[11-12],一些方法的处理速度只有1 frame/s。

为此,本文提出了一种基于时间正则化及背景感知的滤波器跟踪(TBACF)算法。该方法能从目标场景中提取真实的负样本来学习/更新滤波器,同时结合时间正则提高了其跟踪遮挡目标的稳健性。本文的主要贡献如下:1)提出了一种用于实时视觉跟踪的相关滤波器。传统CF的负样本仅限于从循环位移产生,而本文设计的滤波器所需的训练样本是从真实的背景中提取所得,这些样本包含了更大的搜索区域和更真实的背景。本文算法采用交替方向乘子法(ADMM)来学习多通道特征(例如HOG),计算成本为O(LKN·lb N),其中N是样本的尺寸,K是特征通道数,L是ADMM的迭代次数。2)结合时间正则化^[13-15],即使目标在有遮挡的情况下,本文方法仍能保持稳健的跟踪。3)使用Sherman-Morrison模型更新滤波器来应对目标的尺度变化,提高算法的实时性能。利用OTB-2015数据集来评估本文所提滤波器的性能。实验结果表明,与KCF滤波器相比,本文所提的方法具有更高的精度,且在中央处理机(CPU)上具有高达29.37 frame/s的实时跟踪速度。

2 相关滤波器

相关滤波器可通过最小均方误差函数来求解,其目标函数多通道一般可表示为^[16]

\begin{matrix} E (c) = \frac{1}{2} ‖ b - \overset{K}{\sum_{k = 1}} c_{k} * a_{k} ‖_{2}^{2} + \frac{λ}{2} \overset{K}{\sum_{k = 1}} ‖ c_{k} ‖_{2}^{2}, (1) \end{matrix}

式中:a_k∈R^D,表示循环位移样本的第k个通道,其中R^D表示输入图片集,D为样本的大小;c_k∈R^D,表示滤波器的第k个通道;K表示特征通道数;b∈R^D,是期望的相关响应;λ是正则化参数防止过拟合;*是空间域循环卷积运算符号。(1)式可以在空间域中表示为岭回归目标,其形式为

\begin{matrix} E (c) = \frac{1}{2} \overset{D}{\sum_{j = 1}} ‖ b - \overset{K}{\sum_{k = 1}} {c^{T}}_{k} a_{k} [Δ γ_{j}] ‖_{2}^{2} + \frac{λ}{2} \overset{K}{\sum_{k = 1}} ‖ c_{k} ‖_{2}^{2}, (2) \end{matrix}

式中:[Δγ_j]是循环位移运算;a_k[Δγ_j]表示a_k在j时刻的离散循环位移。(2)式的主要缺点是:学习相关滤波器是通过(D-1)个循环偏移生成样本[Δγ_j]来完成的,训练一个滤波器c,需要分离前景样本和背景样本。这会增加过度拟合的风险,同时降低滤波器将目标从负样本区分出来的可能性。对于目标检测任务(如行人检测^[17]),通常利用大量的正样本(行人)和负样本(非行人)来训练一个广泛的滤波器,经过训练后的滤波器可以有效地解决这个缺点。然而,在视觉跟踪中预先收集针对每个目标的正样本和负样本是不可行的。庆幸的是,目标周围具有大量的背景,可以在训练阶段用作负样本。为此,本文提出了基于时间正则化及背景感知相关滤波器的方法,可以在真实的背景样本中学习更好的滤波器,如图1(b)所示,曲线上方表示负样本,曲线下方表示正样本。

图 1. 样本提取对比结果。(a)传统CFS样本提取结果;(b) TBACF样本提取结果

Fig. 1. Comparison results of sample extraction. (a) Traditional CFS sample extraction results; (b) Results of TBACF sample extraction

下载图片查看所有图片

3 时间背景感知相关滤波器

本文所提出的TBACF跟踪算法,主要分为两个部分:时间正则化及感知跟踪模块和更新模块。图2为TBACF算法的跟踪流程图。

3.1 时间正则化及背景感知跟踪

为了更好地解决目标精确定位和目标遮挡问题,采用真实的负样本来增强滤波器的分类能力,并利用相邻滤波器的时间信息来更新当前帧的滤波器。TBACF滤波器的岭回归计算方法为

\begin{matrix} E (h) = \frac{1}{2} \overset{N}{\sum_{j = 1}} ‖ y - \overset{K}{\sum_{k = 1}} {h^{T}}_{k} P x_{k} [Δ τ_{j}] ‖_{2}^{2} + \frac{λ}{2} \overset{K}{\sum_{k = 1}} ‖ h_{k} ‖_{2}^{2} + \frac{υ}{2} \overset{K}{\sum_{k = 1}} ‖ P^{T} h_{k} - P^{T} h_{k}^{t - 1} ‖_{2}^{2}, (3) \end{matrix}

图 2. TBACF算法的跟踪流程图

Fig. 2. Tracking flow chart of TBACF algorithm

下载图片查看所有图片

式中:x是空间的训练样本,y是以目标为中心的峰值相关输出响应,h是循环样本远小于训练样本的相关滤波器,其中x_k∈R^N,y∈R^N和h_k∈R^N,R^N表示输入图片集,N≫D,N表示样本x的尺寸;P是D×T的二值矩阵,其中的元素为0或1,用于裁剪信号x_k的中间D个元素; $\begin{matrix} h_{k}^{t - 1} \end{matrix}$ 表示在t-1时刻的滤波器;υ为时间正则化权重; $\begin{matrix} ‖ P^{T} h_{k} - P^{T} h_{k}^{t - 1} ‖_{2}^{2} \end{matrix}$ 为时间正则;[Δτ_j]是循环位移产生的训练样本,Px_k[Δτ_j]为裁剪操作,裁剪样本的大小与样本D的大小相同,如图2中的background-aware模块所示,相关响应峰值输出的裁剪样本表示正样本,相关响应零值输出的裁剪样本表示负样本。在目标被遮挡时,计算机将缺失目标信息。结合相邻滤波器的时间信息,构建时间正则化相关滤波器,以保证与上一时刻的滤波器尽可能相似,提高滤波器在目标被遮挡情况下的稳健性。(3)式中等号右边第一项可以看成最小二乘,第二项是正则项。

(2)式和(3)式的计算成本O(D³K³)大致相同,P可以提前计算出来,是一个常数矩阵。

在频域中,学习相关滤波器的计算效率可表示为

\begin{matrix} \begin{matrix} E (h, \hat{g}) = \frac{1}{2} ‖ \hat{y} - \hat{x} \hat{g} ‖_{2}^{2} + \frac{λ}{2} ‖h ‖_{2}^{2} + \frac{υ}{2} ‖ \hat{g} - {\hat{g}}_{t - 1} ‖, \\ s.t. \hat{g} = \sqrt[]{N} (F P^{T} \otimes I_{K}) h, (4) \end{matrix} \end{matrix}

式中:对 $\begin{matrix} \hat{h} \end{matrix}$ =[ $\begin{matrix} diag ({\hat{h}}_{1})^{T} \end{matrix}$ , $\begin{matrix} diag ({\hat{h}}_{2})^{T} \end{matrix}$ ,…, $\begin{matrix} diag ({\hat{h}}_{K})^{T} \end{matrix}$ ]进行对角化处理,降低计算复杂度,其大小为N×KN; $\begin{matrix} \hat{g} \end{matrix}$ 是一个辅助变量,将滤波器h和矩阵结合新的滤波器g_k=P^Th_k来代替(3)式中的h,去掉多通道数K变为 $\begin{matrix} \hat{h} \end{matrix} \begin{matrix} \hat{g} \end{matrix}$ , $\begin{matrix} \hat{g} \end{matrix}$ = $\begin{matrix} \sqrt[]{N} \end{matrix}$ (FP^T⊗I_K)h中的I_K为K×K单位矩阵;F为N×N大小的正交傅里叶变换矩阵;⊗表示克罗内克积(Kronecker)运算。

3.2 更新滤波器

3.2.1 优化求解目标

在求解目标约束问题时,一般是通过设置惩罚权重来近似求解约束目标。这种方法计算复杂度大,求解目标收敛速度慢,且近似求解的目标函数很不稳定。为了解决这个问题,本文采用增广拉格朗日乘子法(ALM)^[18],将约束项放到优化函数里来求解(4)式。

\begin{matrix} \begin{matrix} L (\hat{g}, h, \hat{ζ}) = \frac{1}{2} ‖ \hat{y} - \hat{x} \hat{g} ‖_{2}^{2} + \frac{λ}{2} ‖h ‖_{2}^{2} + {\hat{ζ}}^{T} [\hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h] + \\ \frac{μ}{2} ‖ \hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h ‖_{2}^{2} + \frac{υ}{2} ‖ \hat{g} - {\hat{g}}_{t - 1} ‖, (5) \end{matrix} \end{matrix}

式中:L( $\begin{matrix} \hat{g} \end{matrix}$ ,h, $\begin{matrix} \hat{ζ} \end{matrix}$ )是通过ADMM迭代求解 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ 和h^*;μ是惩罚因子; $\begin{matrix} \hat{ζ} \end{matrix}$ = $\begin{matrix} [{\hat{ζ}}_{1}^{T}, \dots, {\hat{ζ}}_{K}^{T}]^{T} \end{matrix}$ 是傅里叶域中的拉格朗日向量。ADMM迭代将目标函数转化为两个容易求解的子问题。因为 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ 和h^*是凸函数,所以二者都有闭式解且该解为全局最优解。

1)求解h^*。

\begin{matrix} \begin{matrix} h^{*} = \arg \min_{h} {\frac{1}{2} ‖h ‖_{2}^{2} + {\hat{ζ}}^{T} [\hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h] + \\ \frac{μ}{2} ‖ \hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h ‖_{2}^{2}} = {(μ + \frac{λ}{\sqrt[]{N}})}^{- 1} (μg + ζ), (6) \end{matrix} \end{matrix}

式中:g= $\begin{matrix} \frac{1}{\sqrt[]{N}} \end{matrix}$ (PF^T⊗I_K) $\begin{matrix} \hat{g} \end{matrix}$ 且ζ= $\begin{matrix} \frac{1}{\sqrt[]{N}} \end{matrix}$ ×(PF^T⊗I_K) $\begin{matrix} \hat{ζ} \end{matrix}$ 。具有单位矩阵的克罗内克积可以分解为K个独立的快速傅里叶逆变换(IFFT)计算g_K= $\begin{matrix} \frac{1}{\sqrt[]{N}} \end{matrix}$ ×PF^T $\begin{matrix} {\hat{g}}_{K} \end{matrix}$ 和ζ_K= $\begin{matrix} \frac{1}{\sqrt[]{N}} \end{matrix}$ PF^T $\begin{matrix} {\hat{ζ}}_{K} \end{matrix}$ 。对g_K和ζ_K进行IFFT,然后利用P矩阵形成查找表(Lookup Table),这样就可以有效地估计 $\begin{matrix} {\hat{g}}_{K} \end{matrix}$ 和 $\begin{matrix} {\hat{ζ}}_{K} \end{matrix}$ 。向量g和ζ可以分别通过计算 $\begin{matrix} {g_{K}}_{K = 1}^{K} \end{matrix}$ 和 $\begin{matrix} {\{ζ\}}_{K = 1}^{K} \end{matrix}$ 来获得。(6)式的计算成本为O(KN·lb N)。

2)求解 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ 。

\begin{matrix} \begin{matrix} {\hat{g}}^{*} = \arg \min_{g} \{\frac{1}{2} ‖ \hat{y} - \hat{x} \hat{g} ‖_{2}^{2} + {\hat{ζ}}^{T} [\hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h] + \\ \frac{μ}{2} ‖ \hat{g} - \sqrt[]{N} (F P^{T} \otimes I_{K}) h ‖_{2}^{2} + \frac{υ}{2} ‖ \hat{g} - {\hat{g}}_{t - 1} ‖_{2}^{2}\} 。 (7) \end{matrix} \end{matrix}

直接求解(7)式的成本是O(N³K³)。此时需要在ADMM迭代中求解 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ ,这种计算对于实时跟踪是很困难的。但是, $\begin{matrix} \hat{x} \end{matrix}$ 是稀疏带状的, $\begin{matrix} \hat{y} \end{matrix} \begin{matrix} [\hat{y} (t), t = 1,2, \dots, N] \end{matrix}$ 中的每个元素只依赖于 $\begin{matrix} \hat{x} (t) = {[{\hat{x}}_{1} (t), {\hat{x}}_{2} (t), \dots, {\hat{x}}_{K} (t)]}^{T} \end{matrix}$ 和 $\begin{matrix} \hat{g} \end{matrix}$ (t)= $\begin{matrix} {\{conj [{\hat{g}}_{1} (t)], conj [{\hat{g}}_{2} (t)], \dots, conj [{\hat{g}}_{K} (t)]\}}^{T} \end{matrix}$ 的K值,其中conj(·)为复共轭运算。(7)式中 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ 可以进一步优化求解,

\begin{matrix} \begin{matrix} \hat{g} {(t)}^{*} = \arg \min_{\hat{g} (t)} \{\frac{1}{2} ‖ \hat{y} (t) - \hat{x} {(t)}^{T} \hat{g} (t) ‖_{2}^{2} + \hat{ζ} {(t)}^{T} [\hat{g} (t) - \hat{h} (t)] + \\ \frac{μ}{2} ‖ \hat{g} (t) - \hat{h} (t) ‖_{2}^{2} + \frac{υ}{2} ‖ \hat{g} - {\hat{g}}_{t - 1} ‖\}, (8) \end{matrix} \end{matrix}

式中: $\begin{matrix} \hat{h} \end{matrix}$ (t)= $\begin{matrix} [{\hat{h}}_{1} (t), {\hat{h}}_{2} (t), \dots, {\hat{h}}_{K} (t)] \end{matrix}$ 且 $\begin{matrix} {\hat{h}}_{K} \end{matrix}$ = $\begin{matrix} \sqrt[]{D} \end{matrix}$ FP^Th_K。对每个用零填充的 $\begin{matrix} {\hat{h}}_{K} \end{matrix}$ 进行快速傅里叶变换(FFT),可有效地估计每个h_K。每个 $\begin{matrix} \hat{g} \end{matrix}$ (t)^*都可以通过

\begin{matrix} \hat{g} {(t)}^{*} = {[\hat{x} (t) \hat{x} {(t)}^{T} + N (μ + υ) I_{K}]}^{- 1} \cdot [\hat{y} (t) \hat{x} (t) - N \hat{ζ} (t) + Nμ \hat{h} (t) + Nυ {\hat{g}}_{t - 1}] (9) \end{matrix}

进行求解。(9)式的计算成本O(NK³)仍然很高,需要解决N个独立的K×K线性系统,即使这个计算成本比直接求解的计算成本O(N³K³)小得多,但是在实际跟踪中这种方法仍难以实现。因此,本文用Sherman-Morrison^[19]公式快速计算 $\begin{matrix} {[\hat{x} (t) \hat{x} {(t)}^{T} + Nμ I_{K}]}^{- 1} \end{matrix}$ 。(9)式可以进一步表示为

\begin{matrix} \begin{matrix} \hat{g} {(t)}^{*} = \frac{1}{μ + υ} [N \hat{y} (t) \hat{x} (t) - \hat{ζ} (t) + μ \hat{h} (t)] - \frac{\hat{x} (t)}{(μ + υ) b} [N \hat{y} (t) {\hat{s}}_{x} (t) - {\hat{s}}_{ζ} (t) + \\ μ {\hat{s}}_{h} (t) + υ {\hat{s}}_{g} (t)], (10) \end{matrix} \end{matrix}

式中: $\begin{matrix} {\hat{s}}_{x} \end{matrix}$ (t)= $\begin{matrix} \hat{x} \end{matrix}$ (t)^T $\begin{matrix} \hat{h} \end{matrix}$ , $\begin{matrix} {\hat{s}}_{ζ} \end{matrix}$ (t)= $\begin{matrix} \hat{x} \end{matrix}$ (t)^T $\begin{matrix} \hat{ζ} \end{matrix}$ , $\begin{matrix} {\hat{s}}_{h} \end{matrix}$ (t)= $\begin{matrix} \hat{x} \end{matrix}$ (t)^T $\begin{matrix} \hat{x} \end{matrix}$ , $\begin{matrix} {\hat{s}}_{g} \end{matrix}$ (t)= $\begin{matrix} \hat{x} \end{matrix}$ (t)^T $\begin{matrix} {\hat{g}}_{t - 1} \end{matrix}$ 。(10)式的成本是O(NK),比(9)式的O(NK³)小很多。

拉格朗日更新公式为

\begin{matrix} {\hat{ζ}}^{i + 1} \leftarrow {\hat{ζ}}^{(i)} + μ [{\hat{g}}^{(i + 1)} - {\hat{h}}^{(i + 1)}], (11) \end{matrix}

式中: $\begin{matrix} {\hat{g}}^{(i + 1)} \end{matrix}$ 和 $\begin{matrix} {\hat{h}}^{(i + 1)} \end{matrix}$ 是ADMM中迭代i+1次时上述 $\begin{matrix} {\hat{g}}^{*} \end{matrix}$ 和h^*的当前解,并且 $\begin{matrix} {\hat{h}}^{(i + 1)} \end{matrix}$ =(FP^T⊗I_K)h⁽ⁱ⁺¹⁾。μ采用μ⁽ⁱ⁺¹⁾=min[μ_max,βμ⁽ⁱ⁾]进行更新。

3.2.2 在线更新与检测

1)在线更新。与其他CF跟踪器类似^[1,5,18],本研究采用在线自适应的方法来提高算法对尺度变换和光照强度的稳健性。在t帧,在线自适应表示为 $\begin{matrix} {\hat{x}}_{model}^{(t)} \end{matrix}$ =(1-η) $\begin{matrix} {\hat{x}}_{model}^{(t - 1)} \end{matrix}$ +η $\begin{matrix} {\hat{x}}^{t} \end{matrix}$ ,其中η是在线自适应率。采用 $\begin{matrix} {\hat{x}}_{model}^{(t)} \end{matrix}$ 模型代替(10)式中的 $\begin{matrix} {\hat{x}}^{t} \end{matrix}$ 来计算 $\begin{matrix} \hat{g} \end{matrix}$ (t)^*、 $\begin{matrix} {\hat{s}}_{x} \end{matrix}$ (t)、 $\begin{matrix} {\hat{s}}_{ζ} \end{matrix}$ (t)、 $\begin{matrix} {\hat{s}}_{h} \end{matrix}$ (t)和 $\begin{matrix} {\hat{s}}_{g} \end{matrix}$ (t)。

2)检测。通过滤波器 $\begin{matrix} {\hat{g}}_{t - 1} \end{matrix}$ 和 $\begin{matrix} \hat{g} \end{matrix}$ 更新当前时刻的滤波器,并用该滤波器检测当前帧图像中目标的空间位置,如图2中的time regular模块所示。采用搜索区域的多个分辨率来估计尺度变化,搜索区域具有与滤波器 $\begin{matrix} \hat{g} \end{matrix}$ 相同的空间大小。采用线性插值策略得到最大的相关输出响应,并将其用于更新目标位置和尺度。

4 实验与分析

4.1 实验环境与参数设置

实验在内存为16 G,处理器为I5-7500(主频为3.4 Hz)的计算机上进行,软件编程环境为 MATLAB 2014a。在TBACF中,采用31通道HOG特征,使用4×4个单元乘以汉宁窗口(Hann)^[5]。设定正则化因子λ和υ分别为0.001和1,尺度数为5,尺度步长为1.01。采用具有一定带宽的二维高斯函数 $\begin{matrix} \sqrt[]{wh} \end{matrix}$ /16来定义大小为[h,w]的相关输出。在ADMM优化过程中,迭代次数和惩罚因子分别设置为2和1。迭代i+1处的惩罚因子通过μ⁽ⁱ⁺¹⁾=min[μ_max,βμ⁽ⁱ⁾]来更新,其中β=10和μ_max=10³。所有实验的TBACF学习率η均为0.013。

4.2 评估方法

OTB-2015^[1]是一个常用的跟踪数据集,由100个完全注释的视频序列组成,具有11种不同的属性,如遮挡、平面外旋转和背景嘈杂。本文基于一次性通过评价(OPE)来分析和评价不同算法的性能。同时,为更好地分析本文所提算法,即TBACF算法的性能,将其与其他5种算法(KCF^[20],Staple^[21],DSST^[22],SRDCF^[2]和BACF^[23])进行比较分析。

4.3 TBACF跟踪定量分析

4.3.1 整体性能分析

图3展示了6种跟踪算法在OTB-2015数据集上获得的精确度得分和成功率得分,可以看出,TBACF算法的精确度得分和成功率得分分别为0.801和0.762,在6种跟踪算法中排名第一。相比于KCF算法,TBACF算法的精确度得分和成功率得分分别提升了20%和46.8%,与排名第二的BACF算法相比,TBACF算法的精确度得分和成功率得分分别提升了0.4%和2.1%。实验结果表明,相比于KCF算法,TBACF算法具有更高的跟踪精度和成功率。

图 3. 6种算法在OTB-2015数据集上的精确度得分和成功率得分。(a)精确度得分;(b)成功率得分

Fig. 3. Precision and success rate scores of six algorithms on OTB-2015 dataset. (a) Precision score; (b) success rate score

下载图片查看所有图片

4.3.2 基于视频属性的性能分析

为了更好地分析TBACF算法在不同视频属性上的表现性能,分别记录6种算法在11种视频属性上的精确度得分和成功率得分^[13],结果如图4和图5所示。

图4展示了6种跟踪算法在11种不同属性的视频序列中的跟踪精确度得分,可以看出,TBACF算法的跟踪精确度得分在其中的6种属性视频上排名第一,且在其他5种属性视频上排名前三。TBACF算法在遮挡、平面外旋转和背景嘈杂的情况上的跟踪精度得分为0.728、0.760和0.805,相比于KCF算法分别提高了17.0%(0.622)、16.9%(0.650)和20.7%(0.667),相比于BACF算法分别提高了0.4%(0.725)、0.4%(0.757)和4.4%(0.761)。

图 4. 6种算法在11种属性序列上的跟踪精度图。(a)低分辨率精度图;(b)出视野精度图;(c)运动模糊精度图;(d)背景嘈杂精度图;(e)光照变化精度图;(f)快速运动精度图;(g)形变精度图;(h)遮挡精度图;(i)平面内旋转精度图;(j)平面外旋转精度图;(k)尺度变化精度图

Fig. 4. Tracking precision scores of six algorithms on eleven attribute sequences. (a) Precision plots of low resolution; (b) precision plots of out-of-view; (c) precision plots of motion blur; (d) precision plots of background clutter; (e) precision plots of illumination variation; (f) precision plots of fast motion; (g) precision plots of deformation; (h) precision plots of occlusion; (i) precision plots of in-plane rotation; (j) precision plots of out-plane rotation; (k) precision plots of scale vari

下载图片查看所有图片

6种算法在11种属性序列上的跟踪成功率得分。(a)低分辨率成功率得分;(b)出视野成功率得分;(c)运动模糊成功率得分;(d)背景嘈杂成功率得分;(e)光照变化成功率得分;(f)快速运动成功率得分;(g)形变成功率得分;(h)遮挡成功率得分;(i)平面内旋转成功率得分;(j)平面外旋转成功率得分;(k)尺度变化成功率得分

图 5. 6种算法在11种属性序列上的跟踪成功率得分。(a)低分辨率成功率得分;(b)出视野成功率得分;(c)运动模糊成功率得分;(d)背景嘈杂成功率得分;(e)光照变化成功率得分;(f)快速运动成功率得分;(g)形变成功率得分;(h)遮挡成功率得分;(i)平面内旋转成功率得分;(j)平面外旋转成功率得分;(k)尺度变化成功率得分

Fig. 5. Tracking success rate scores of six algorithms on eleven attribute sequences. (a) Success rate scores of low resolution; (b) success rate scores of out-of-view; (c) success rate scores of motion blur; (d) success rate scores of background clutter; (e) success rate scores of illumination variation; (f) success rate scores of fast motion; (g) success rate scores of deformation; (h) success rate scores of occlusion; (i) success rate scores of in-plane rotation; (j) success rate scores of out-of-pla

下载图片查看所有图片

图 6. 6种跟踪算法在目标被遮挡、目标发生平面外旋转和背景嘈杂三种情况下跟踪结果

Fig. 6. Tracking results of six algorithms in three cases as occlusion of target, off-plane rotation of target, and background ambiguity

下载图片查看所有图片

图5展示了6种算法在11种不同属性视频序列上的跟踪成功率,可以看出,TBACF算法在其中的8种属性视频上成功率得分排名第一,在其他3种属性视频上成功率得分排名前二。TBACF算法在遮挡、平面外旋转和背景嘈杂情况上的跟踪成功率得分分别为0.700、0.711和0.783,相比于KCF算法分别提高了44.0%(0.486)、41.6%(0.502)和38.6%(0.565),相比于BACF算法分别提高了4.2%(0.672)、3.3%(0.688)和8.4%(0.722)。

从OTB-2015的11种属性视频序列的实验结果可以推测,TBACF算法采用真实的背景样本和目标样本对滤波器进行训练,故其分类性能更高。在目标被遮挡时,在TBACF算法中引入时间正则,利用相邻滤波器的时间信息,解决了目标被遮挡时的重定位问题,故TBACF算法具有更高的跟踪精度。采用线性插值策略来应对目标的响应位置和尺度变换,提高了TBACF算法的稳健性。

4.4 定性分析

图6为6种算法在遮挡、平面外旋转和背景嘈杂情况下实际跟踪结果。在Human3视频序列中,在第50帧时目标被遮挡物完全遮挡,在第64帧时KCF、SRDCF、Staple、DSST、BACF跟踪失败,而TBACF因为采用时间正则,结合相邻的滤波器信息有效地解决了目标遮挡问题。在Panda视频序列中,跟踪目标是熊猫,从视频序列可以看出熊猫在平面外发生了旋转。在第370帧时KCF、SRDCF、DSST跟踪失败,在第619帧时KCF、SRDCF、Staple、DSST跟踪失败,在第982帧时TBACF的跟踪效果优于BACF。这主要是因为TBACF采用了时间正则来解决平面外旋转中的遮挡问题,采用了真实背景样本和多尺度分辨率来应对目标漂移和尺度变换。在Football视频序列中,跟踪目标是运动员的头部。运动员之间存在相似的运动信息,在跟踪过程中易受到相似目标干扰。在第334帧时KCF、DSST、Staple跟踪失败,TBACF采用真实背景样本来训练滤波器,提高了滤波器的分类能力,使其能将目标从嘈杂的背景中区分出来。实验结果表明,TBACF算法在目标被遮挡、目标发生平面外旋转和背景嘈杂三种情况下均具有良好的跟踪性能。

4.5 数据分析

为了直观表现TBACF算法的性能,表1给出了TBACF算法与其他5种算法的平均跟踪速率(AFPS)和OPE的精确度得分(POPE)。

从表1可知,TBACF算法的跟踪速率达到29.37 frame/s,相对于SRDCF算法的跟踪速率和精确度,分别提高了345%和4%。这主要是因为SRDCF算法在大空间训练样本集中采用高斯-赛德尔迭代优化进行求解,计算成本昂贵,而TBACF算法采用ADMM优化求解,计算成本较低。因此,TBACF算法在实时性和精确度方面优于SRDCF算法。

表 1. 6种算法在OTB-2015数据集上的测试结果

Table 1. Testing results of six algorithms on OTB-2015 dataset

Algorithm	POPE	AFPS
ABCF	0.798	29.56
SRDCF	0.770	6.60
Staple	0.751	67.88
DSST	0.661	46.39
KCF	0.667	322.86
TBACF	0.801	29.37

查看所有表

5 结论

相关滤波器的目标背景因未根据时间建模而导致其性能无法达到最优。为解决该问题,提出基于时间正则化及背景感知的相关滤波器跟踪算法。该算法利用真实的背景样本和目标样本学习跟踪器来提高跟踪精确度,结合时间正则来应对目标遮挡问题,利用在线自适应策略来更新跟踪器模型,旨在解决目标遮挡和背景嘈杂的问题。在OTB-2015数据集上进行实验,实验结果表明TBACF算法的精确度得分和成功率得分为别为0.801和0.762,在6种算法中排名第一。相比于KCF算法,TBACF算法的精确度得分和成功率得分分别提高了20%和46.8%;相比排名第二的BACF算法,TBACF算法的精确度得分和成功率得分分别提升了0.4%和2.1%。TBACF算法能有效地解决目标被遮挡、目标发生平面外旋转和背景嘈杂情况下的目标跟踪任务。

参考文献

[1] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[2] DanelljanM, HägerG, Khan FS, et al. Learning spatially regularized correlation filters for visual tracking[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 4310- 4318.

[3] 董秋杰, 何雪东, 葛海燕, 等. 基于概率模型的自适应融合互补学习跟踪算法[J]. 激光与光电子学进展, 2019, 56(16): 161505.

Dong Q J, He X D, Ge H Y, et al. Adaptive merging complementary learners for visual tracking based on probabilistic model[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161505.

[4] 何雪东, 周盛宗. 快速尺度自适应核相关滤波目标跟踪算法[J]. 激光与光电子学进展, 2018, 55(12): 121501.

He X D, Zhou S Z. Fast scale adaptive kernel correlation filtering algorithm for target tracking[J]. Laser & Optoelectronics Progress, 2018, 55(12): 121501.

[5] BolmeD, Beveridge JR, Draper BA, et al. Visual object tracking using adaptive correlation filters[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE, 2010: 2544- 2550.

[6] 张宇阳. 基于相似背景与HSV空间颜色直方图的目标跟踪[J]. 电光与控制, 2019, 26(4): 100-105.

Zhang Y Y. Object tracking based on similar background and color histogram in HSV color space[J]. Electronics Optics & Control, 2019, 26(4): 100-105.

[7] MaC, Huang JB, Yang XK, et al. Hierarchical convolutional features for visual tracking[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 3074- 3082.

[8] DanelljanM, RobinsonA, Khan FS, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[M] ∥Leibe B, Matas J, Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9909: 472- 488.

[9] DalalN, TriggsB. Histograms of oriented gradients for human detection[C]∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), June 20-25, 2005, San Diego, CA, USA. New York: IEEE, 2005: 8588935.

[10] DanelljanM, HagerG, Khan FS, et al. Convolutional features for correlation filter based visual tracking[C]∥2015 IEEE International Conference on Computer Vision Workshop (ICCVW), December 7-13, 2015, Santiago, Chile. New York: IEEE, 2015: 621- 629.

[11] BertinettoL, ValmadreJ, Henriques JF, et al. Fully-convolutional Siamese networks for object tracking[M] ∥Hua G, Jégou H. Computer vision-ECCV 2016 Workshops. Lecture notes in computer science. Cham: Springer, 2016, 9914: 850- 865.

[12] PosseggerH, MauthnerT, BischofH. In defense of color-based model-free tracking[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 2113- 2120.

[13] 毛宁, 杨德东, 李勇, 等. 基于形变多样相似性的空间正则化相关滤波跟踪[J]. 光学学报, 2019, 39(4): 0415002.

Mao N, Yang D D, Li Y, et al. Spatial regularization correlation filtering tracking via deformable diversity similarity[J]. Acta Optica Sinica, 2019, 39(4): 0415002.

[14] 杨德东, 毛宁, 杨福才, 等. 利用最佳伙伴相似性的改进空间正则化判别相关滤波目标跟踪[J]. 光学精密工程, 2018, 26(2): 492-502.

Yang D D, Mao N, Yang F C, et al. Improved SRDCF object tracking via the best-buddies similarity[J]. Optics and Precision Engineering, 2018, 26(2): 492-502.

[15] LiF, TianC, Zuo WM, et al. Learning spatial-temporal regularized correlation filters for visual tracking[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. New York: IEEE, 2018: 4904- 4913.

[16] Galoogahi HK, SimT, LuceyS. Multi-channel correlation filters[C]∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE, 2013: 3072- 3079.

[17] 张汇, 杜煜, 宁淑荣, 等. 基于Faster RCNN的行人检测方法[J]. 传感器与微系统, 2019, 38(2): 147-149, 153.

Zhang H, Du Y, Ning S R, et al. Pedestrian detection method based on Faster RCNN[J]. Sensors and Microsystems, 2019, 38(2): 147-149, 153.

[18] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends ^®in Machine Learning, 2010, 3(1): 1-122.

[19] Sherman J, Morrison W J. Adjustment of an inverse matrix corresponding to a change in one element of a given matrix[J]. The Annals of Mathematical Statistics, 1950, 21(1): 124-127.

[20] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[21] BertinettoL, ValmadreJ, GolodetzS, et al. Staple: complementary learners for real-time tracking[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 1401- 1409.

[22] DanelljanM, HägerG, Khan FS, et al.Accurate scale estimation for robust visual tracking[M] ∥Valstar M, French A, Pridmore T. Proceedings of the British machine vision conference. UK: BMVA Press, 2014.

[23] Galoogahi HK, FaggA, LuceyS. Learning background-aware correlation filters for visual tracking[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 1144- 1152.

刘明明, 裴东, 刘举, 祝东辉, 孙浩翔. 基于时间正则化及背景感知的滤波器跟踪[J]. 激光与光电子学进展, 2019, 56(23): 231503. Mingming Liu, Dong Pei, Jü Liu, Donghui Zhu, Haoxiang Sun. Filter Tracking Based on Time Regularization and Background-Aware[J]. Laser & Optoelectronics Progress, 2019, 56(23): 231503.

基于时间正则化及背景感知的滤波器跟踪下载： 874次

1 引言

2 相关滤波器

图 1. 样本提取对比结果。(a)传统CFS样本提取结果;(b) TBACF样本提取结果

Fig. 1. Comparison results of sample extraction. (a) Traditional CFS sample extraction results; (b) Results of TBACF sample extraction

3 时间背景感知相关滤波器

3.1 时间正则化及背景感知跟踪

图 2. TBACF算法的跟踪流程图

Fig. 2. Tracking flow chart of TBACF algorithm

3.2 更新滤波器

4 实验与分析

4.1 实验环境与参数设置

4.2 评估方法

4.3 TBACF跟踪定量分析

图 3. 6种算法在OTB-2015数据集上的精确度得分和成功率得分。(a)精确度得分;(b)成功率得分

Fig. 3. Precision and success rate scores of six algorithms on OTB-2015 dataset. (a) Precision score; (b) success rate score

图 6. 6种跟踪算法在目标被遮挡、目标发生平面外旋转和背景嘈杂三种情况下跟踪结果

Fig. 6. Tracking results of six algorithms in three cases as occlusion of target, off-plane rotation of target, and background ambiguity

4.4 定性分析

4.5 数据分析

表 1. 6种算法在OTB-2015数据集上的测试结果

Table 1. Testing results of six algorithms on OTB-2015 dataset

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于时间正则化及背景感知的滤波器跟踪 下载： 874次

1 引言

2 相关滤波器

图 1. 样本提取对比结果。(a)传统CFS样本提取结果;(b) TBACF样本提取结果

Fig. 1. Comparison results of sample extraction. (a) Traditional CFS sample extraction results; (b) Results of TBACF sample extraction

3 时间背景感知相关滤波器

3.1 时间正则化及背景感知跟踪

图 2. TBACF算法的跟踪流程图

Fig. 2. Tracking flow chart of TBACF algorithm

3.2 更新滤波器

4 实验与分析

4.1 实验环境与参数设置

4.2 评估方法

4.3 TBACF跟踪定量分析

图 3. 6种算法在OTB-2015数据集上的精确度得分和成功率得分。(a)精确度得分;(b)成功率得分

Fig. 3. Precision and success rate scores of six algorithms on OTB-2015 dataset. (a) Precision score; (b) success rate score

图 6. 6种跟踪算法在目标被遮挡、目标发生平面外旋转和背景嘈杂三种情况下跟踪结果

Fig. 6. Tracking results of six algorithms in three cases as occlusion of target, off-plane rotation of target, and background ambiguity

4.4 定性分析

4.5 数据分析

表 1. 6种算法在OTB-2015数据集上的测试结果

Table 1. Testing results of six algorithms on OTB-2015 dataset

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于时间正则化及背景感知的滤波器跟踪下载： 874次