1 引言

近年来,随着对大数据领域研究的深入,机器视觉在智能交通、刑侦、**等领域得到了广泛应用。目标跟踪作为机器视觉的一部分,对其研究的程度直接影响到机器视觉的发展。目标跟踪主要分为短时跟踪和长时跟踪^[1-2]两大类,其区别在于被跟踪的目标从视野中消失后,当再次出现在视野中时,短时跟踪无法实现继续跟踪,而长时跟踪能够做到。这也是长时跟踪受到广大学者推崇的原因之一,但是长时跟踪在跟踪过程中容易受到外界和内部的干扰^[3],因此,长时跟踪是一个极具难度与深度的研究热点。

长时跟踪算法中最具代表性的是由Kalal等学者提出的跟踪学习检测(TLD)算法,由跟踪、学习和检测三个部分组成^[4-5]。由于在线学习模块的存在,使得TLD算法能够在目标从视野中消失、重新进入视野时不会因为发生漂移而丢失目标。另外,三个模块的相互配合使得算法表现出很好的稳健性,能够适应复杂的外界环境的变化,但是,其在算法的稳健性、准确性和运行效率方面仍然有很大的提升空间,因此,许多学者对该算法进行了广泛研究,以期能够使算法性能得到更好的提升。焦蓬斐等^[6]在传统TLD算法的基础上,综合上一帧的跟踪结果与多新息卡尔曼滤波器的预估值,生成目标的当前位置,使得算法的跟踪误差减小;肖庆国等^[7]使用Mean-Shift算法替换传统TLD算法中跟踪器部分的光流跟踪算法,使运算效率平均提升约13.9%;孙保基等^[8]考虑到传统TLD算法中使用的普通像素点不能很好地描述目标特征,采用角点增强的方法来进行改进,在跟踪器中引入了Shi-Tomas角点作为跟踪特征点,解决了目标在抖动或形变情况下跟踪失败的问题;然而,这些改进大部分都是针对TLD算法三个模块中的其中一个进行的,如果能够针对三个模块或者其中两个进行同时改进,那么算法的跟踪精度和运行效率会得到进一步的改善。

本文将从跟踪器和检测器两方面来改进TLD算法。首先,在跟踪器部分引入二进制稳健不变可扩展关键点(BRISK)特征点,根据检测得到的BRISK特征点的数量来动态调整均匀像素点的数量,两种点组合为跟踪点集,用于跟踪器对目标的跟踪,这种改进方法能够解决传统算法计算量大的问题,同时提高了跟踪的稳健性;其次,在检测器部分引入卡尔曼滤波器与马尔可夫模型方向预测器,使得最终送入检测器的子图像块的数量减少,既解决了传统TLD算法中检测整幅图像带来的运行时间长的问题,也增强了对相似目标的辨识能力。

2 改进TLD算法框架

改进后的TLD算法架构如图1所示,首先,检测器通过许多图像框生成不同的样本,将这些样本送入级联分类器,并输出正样本作为样本集;然后使用跟踪器估计出目标的位置;在学习器部分,P专家使用跟踪器获得的目标位置再次生成正样本,而N专家从这一系列正样本中筛选出一个最可信的,并把剩余的正样本标记为负样本;最后使用这个正样本来更新检测器中分类器的参数,如此循环往复进行下去即可实现目标跟踪。该改进方法是针对图1中蓝色框所指区域进行的。

图 1. TLD目标跟踪流程图

Fig. 1. Flow chart of TLD target tracking

下载图片 查看所有图片

3 TLD跟踪器部分

3.1 传统TLD跟踪模块

传统TLD跟踪算法的跟踪器部分使用的是改进后的中值流跟踪方法,在其中引入了失效检测算法^[9],其原理为:在前一刻的目标框中均匀选取10×10个普通像素点作为跟踪的特征点,在当前时刻的图像中寻找这些像素点的相对位置,并对其相对位置变化大小进行排序,从而获取位置变化的中值,将位置变化小于这个中值的点保留,用于对下一时刻目标的跟踪,如此反复,将跟踪一直进行下去。

3.2 BRISK特征点检测

目标跟踪的关键是用于跟踪的点能否被正确高效地提取。BRISK特征点检测算法通过图像金字塔解决了尺度不变性的问题,其检测过程可以概括为三部分:首先,在尺度空间中,采用加速分割测试特征(FAST)算子获取稳定的极值点;其次,对其进行特征点描述;最后,通过汉明距离计算公式,实现特征点的匹配;之所以采用BRISK特征点,而没有采用尺度不变特征变换(SIFT)或者加速健壮特征(SURF),这是因为BRISK特征点的检测和匹配速度相对后两种而言快很多倍^[10]。

3.3 对TLD跟踪器部分的改进

如图2(a)所示,传统TLD算法中用于跟踪的点使用的是普通像素点,所以不能很好地反映被跟踪目标的特征,且容易受到尺度变换和视角的影响,为了提升算法的稳健性,研究在跟踪器中引入BRISK特征点来取代原有算法中的部分用于跟踪的像素点,组合策略示意图如图2(b)~(d)所示。在引入BRISK特征点后,分别取用于跟踪的普通像素点和BRISK特征点的总和为20,30,40,50,60,70,80,90,100进行了实验,统计发现:在引入BRISK特征点后,用于跟踪的所有点的数量仅需50个即可达到精确跟踪的效果,如果数量大于50,跟踪精度会得到提升,但是运行时间也相对延长,反之亦然。综合考虑精度和时间两方面,最终选择用于跟踪的点的总数为50,其中BRISK特征点的数量需要动态调整,调整策略如下式所示:

B=0,N<10B=N,10≤N≤50B=50,N>50A=50-B,(1)

式中N表示获取到的BRISK特征点数目,B表示最终使用的特征点数目,A表示最终使用的均匀点数目。当B<10时,认为目标特征不明显,全部使用均匀像素点来进行跟踪;当10≤B≤50时,均匀像素点数量A=50-B;当B≥50时,认为目标特征非常明显,根据汉明距离选择最短的50个特征点来进行跟踪。之所以使用这种动态组合的方式,是因为可以根据被跟踪目标的特征点的显著程度来动态调整组合比例,使得算法跟踪器部分的稳健性得到增强,应用范围更广。

图 2. 用于跟踪的点的布局策略。(a)传统TLD算法的跟踪点;(b)~(d)均匀点与BRISK特征点的结合

Fig. 2. Layout strategy of tracking points. (a) Tracking points used by traditional TLD algorithms; (b)-(d) combination of uniform points and BRISK feature points

下载图片 查看所有图片

4 TLD检测器部分

4.1 传统TLD检测模块

传统的TLD检测器部分是通过设置一个扫描窗口来不断地扫描输入图像,判断每个图像块中是否有目标出现,假设扫描窗口的参数设置为:缩放百分比的步进长度系数为1.2,水平方向和垂直方向步进长度分别是图片长和宽的10%,最小检测窗口大小为20 pixel,如果输入图像尺寸为320 pixel×240 pixel,检测器会产生约5万个图像块用于检测是否有目标存在,这必然会导致其运行效率低下;因此,在其中引入了分类器,分别为:方差分类器、集合分类器和最邻近分类器^[11-14],这样就在一定程度上使得运行速度得到提升,但是,其检测速度总体表现仍然较慢。

4.2 卡尔曼滤波预估目标检测区域

卡尔曼滤波利用线性系统状态方程,通过系统的输入来获取观测数据,能够对系统状态进行最优估计,表现出无偏、稳定、最优的特点^[6,13]。研究采用卡尔曼滤波来预估当前帧中被跟踪目标的中心位置,进而计算出算法需要检测的目标区域。卡尔曼滤波的数学模型为:

xk=Axk-1+wk-1,(2)zk=Hzk+vk,(3)

式中x_k和z_k分别代表系统k时刻的状态向量和观测向量,A和H分别代表状态转移矩阵和观测矩阵,w_k-1和v_k分别代表状态转移噪声和观测噪声,这两种噪声相互独立且均值为零,其概率分布分别为p(w)~N(0,Q)、p(v)~N(0,R),其中Q和R分别表示对应噪声的协方差矩阵,设Q=10^-5I₄,R=10^-1I₂,I表示对应角标的单位矩阵。(2)式为状态方程,(3)式为观测方程。

采用视频序列中被跟踪目标的中心位置来生成系统的状态量以及观测值,公式如下:

xk=pxpyvxvyT,(4)zk=pxpyT,(5)

式中p和v分别代表被跟踪目标在下标所示方向的坐标和移动速度的分量,因为视频帧速率较高,所以将被跟踪目标在相邻两幅图像间的移动近似为匀速,系统可以看作线性模型,t代表相邻两幅图像的时间差,系统状态转移矩阵和观测矩阵如(6)式所示:

A=10t0010t00100001,H=10000100。(6)

图3为引入卡尔曼滤波器后对检测区域的预估示意图,其中,红色框所示位置是采用卡尔曼滤波器预测得到的目标可能出现的区域,A、B、C三个虚线框分别表示三个不同位置的子窗口,其中与红色框有交集的作保留处理,并将其输入到检测器,如窗口A和B;而与红色窗口没有交集的子窗口,认为没有目标存在而丢弃,如窗口C。这样可以使被送到检测器的子窗口数目大幅减少。

图 3. 区域预估示意图

Fig. 3. Diagram of regional prediction

下载图片 查看所有图片

4.3 马尔可夫方向预测目标移动方向

视频序列中目标的移动可以分解为水平和垂直两个方向,分别在两个方向上使用马尔可夫模型来估计目标的移动方向。以水平方向为例,假设模型当前帧的预测状态仅与上一帧的状态有关,其状态空间定义为{0为左,1为右},那么,t时刻的状态转移矩阵为:

Tt=p(st+1=1|st=1)p(st+1=1|st=0)p(st+1=0|st=1)p(st+1=0|st=0),(7)

式中s_t表示被跟踪目标的可能移动方向。

假设p(s_t=0)和p(s_t=1)分别代表t时刻目标在左右两个方向移动的概率,如果目标在两个方向存在移动,则设置其对应项为1,否则设置为0.5;根据t时刻目标的运动方向来预测t+1时刻的运动方向的公式为:

p(st+1=1)p(st+1=0)=Ttp(st=1)p(st=0),(8)

概率大的方向即为目标在t+1时刻的运动方向。

因为状态矩阵T_t的每一列元素的和是1,所以对其进行的计算就是对p(s_t+1=1|s_t=1)和p(s_t+1=1|s_t=0)的计算,公式如下:

p(st+1=1|st=1)=h11h1p(st+1=1|st=0)=h01h0,(9)

式中h₀和h₁分别代表0~t时间内被跟踪目标向左和向右移动的频数;h₁₁代表目标现在和上一刻都向右移动的频数;h₀₁代表目标现在向右、上一刻向左移动的频数。

算法根据上一刻被跟踪目标的位置,并结合马尔可夫模型估计获得的目标现在的移动方向,即可确定目标现在可能出现的位置以及需要加入到检测器的图像块,图4所示为预测示意图,其中红色框区域表示上一刻目标的位置,根据马尔可夫模型预测得到当前目标存在向右运动的趋势,因此图4中竖直的红色线右侧为需要输入到检测器进行检测的区域,综合卡尔曼滤波器得到的检测区域,可以使得送入检测器的区域最小化。

图 4. 马尔可夫方向预测示意图

Fig. 4. Diagram of Markov direction prediction

下载图片 查看所有图片

5 实验结果与分析

为了更好地论证研究对TLD算法的改进所带来的性能提升,下面将从3个方面来全面评估其跟踪表现,分别为:

1) 跟踪成功率,是指成功跟踪的图像数目占总数的百分比,成功跟踪的判别依据是人工标记的目标位置和跟踪得到的位置之间的重合部分大于一半^[15-16]。

2) 中心位置误差,是指目标真实的和算法计算得到的位置中心的平均欧式距离^[17-18]。

3) 运行速度,是指算法平均每秒对不同视频序列处理的图像数目^[17]。

5.1 运行环境

算法运行环境为:中央处理器(CPU)为Intel core i5, 2.30 GHz、内存为8 GB、操作系统为64位Win7的计算机,Matlab版本为Matlab 7.10.0.499 (R2010a)。

5.2 跟踪表现评估

研究将传统TLD方法、文献[ 10]方法、Struck算法^[19]以及所提方法分别应用于5组测试视频序列,其中,文献[ 10]方法采用的是引入固定数量的BRISK特征点对TLD方法进行改进,Struck方法是结构化输出跟踪的缩写。通过对比这3种方法的上述3种评价指标来验证所提改进方法的优势。

表1所示为使用4种方法对5组不同的视频序列进行跟踪测试所得的跟踪成功率数据,可以看出,所提方法的跟踪成功率整体表现最高,相比传统TLD算法,其跟踪成功率平均提升约4.8%;而Struck方法表现不稳定,跟踪成功率约比所提方法的低16.8%,对于不同的视频序列,其跟踪成功率波动幅度较大;可以证明,所提方法能够提升算法的跟踪成功率;另外,所提方法在不同视频序列的跟踪成功率方面表现较为稳定,都保持在90%以上,由此可以证明该算法的稳健性。

表2所示为使用不同算法对不同视频进行测试所得的中心位置误差数据,可以看出,所提方法对目标的跟踪精度最高,从局部分析来看,其最大误差出现在图5(b)所示序列,平均误差为8.27 pixel,但是相比于其他3种方法,所提方法对该序列中出现目标遮挡情况的跟踪精度最高,其对图5(c)所示序列的跟踪误差最小,约为4.85 pixel;从整体分析看,所提方法的跟踪精度相比传统TLD方法提升约64.4%,Struck方法依然表现较不稳定,可以证明所提方法在跟踪精度性能指标上的改善。

表3所示为不同方法在跟踪处理速度方面的测试数据,可以看出,相比于传统TLD算法,所提方法处理5组不同视频序列的速度平均提高约39.6%,这主要得益于在检测器部分引入卡尔曼滤波和马尔可夫方向预测器,使得子图像块数目减少;传统TLD方法的处理速度相对波动较大,Struck方法表现最差,其处理速度都小于10 frame/s,这些都可以证明所提方法能够改善算法的运行效率。

图5所示为针对不同视频测试得到的一些跟踪效果图像,目标从小到大变化,特征明显程度也不尽相同,但都可以实现准确跟踪,证明了所提改进算法的稳健性。图5(b)中穿西服男子在行走过程中,会出现被路边的物体挡住以及邻近区域有相似目标的情况,但算法仍可以对其实现准确跟踪。图5(c)中的目标一直处于上下跳动状态,但是算法也能够对其进行很好地预测与跟踪。

图 5. 不同视频序列的部分测试结果。(a)货车;(b)行人;(c)跳跃;(d)客车;(e)摩托车

Fig. 5. Results of part test of different video sequences. (a) Truck; (b) pedestrian; (c) jumper; (d) bus; (e) motorcycle

下载图片 查看所有图片

6 结论

本文同时对TLD算法的跟踪和检测两部分进行改进。首先,在跟踪器中使用BRISK特征点替代原来用于跟踪的部分普通像素点,不但使得用于跟踪的总点数下降,而且在降低了跟踪器运算时间的同时使算法稳健性得到提升;其次,在检测器中同时加入卡尔曼滤波和马尔可夫方向预测器,使得用于检测目标的图像块数目缩减,相比于传统TLD算法,所提改进算法的跟踪精度和运行效率分别提高约64.4%和39.6%,同时解决了目标被遮挡以及在出现相似目标情况下跟踪失败的情况。下一步的研究可以考虑同时对TLD算法的三个部分进行改进。