1 引言

目标追踪技术^[1]广泛应用于智能交通、人机交互、**等领域。然而,由于目标的快速移动、实际环境复杂多变、目标尺度变化等原因,在一定程度上影响了追踪的准确性和稳健性。

近年来,利用深度学习方法解决目标追踪问题取得了良好的追踪效果。Wang等^[2]首次将深度学习应用在单目标追踪问题上,采用离线预训练结合在线微调的方法,将候选图像输入到分类网络中,确定跟踪目标,表现出了极佳的跟踪效果,引起了学者们的广泛关注。此后,Danelljan等^[3]探究了不同卷积层特征对追踪结果的影响,使用第一层卷积特征训练相关滤波器,在损失函数中引入惩罚项抑制由循环样本产生边界效应。Wang等^[4]稀疏化不同卷积层的结果特征图,构建特征筛选网络,通过分析得到更有分类性的特征用于追踪,实验结果表明,对目标形变追踪有更加稳健的效果。蔡玉柱等^[5]使用自适应降维技术对VGG-NET的cov3-4层降维处理,通过分类器获得置信度最大的位置,同时训练SVM分类器,在跟踪失败的情况下能够重新检测到目标。毛宁等^[6]利用卷积神经网络提取分层卷积特征,结合相关滤波算法获取卷积特征响应图,并通过响应图的加权融合估计目标位置。上述算法在追踪精度和成功率上相比传统方法都有很大的提升,但是追踪速度往往不能达到实时性的要求;由于没有目标尺度估计机制,往往引入过多的背景信息或不能覆盖目标导致追踪性能变差;Danelljan等^[7]提出了一种基于一维相关滤波器的尺度评估方法,在目标尺寸变化的情况下仍能取得较好的追踪效果。王鑫等^[8]受此启发使用多层卷积特征进行目标的准确定位,通过一维尺度相关滤波器,确定目标的最佳尺度,取得了较好的追踪效果。

针对目标追踪过程中由于目标快速运动、尺度变化导致追踪失败以及追踪速度较慢的问题,结合全卷积对称网络结构与目标尺度估计方法,提出了一种基于全卷积对称网络的目标尺度自适应追踪算法。

本文的主要研究工作:1) 针对目标快速运动的问题,使用全卷积对称网络确定追踪目标的中心位置,缓解目标的追踪漂移问题;2) 针对目标尺度变化过快问题,在目标中心位置处进行多尺度采样,构建目标尺度金字塔,利用图像方差阈值过滤错误样本,建立目标模型和样本概率直方图,通过计算两者的海林洛距离,选取合适的尺度作为目标追踪窗口的尺度;3) 为验证本文算法的追踪性能,在OTB-13^[9]数据集上进行测试,并挑选包含尺度变化或快速运动属性的42组追踪序列进行实验,与近几年其他9种主流追踪算法对比,本文算法在追踪精度和成功率上均超越了其他算法。

2 基本原理

Siamese网络^[10]接受成对样本的输入,度量样本间的相似性,图1为Siamese Network结构图。对称的子网络可根据具体需要选择对应深度学习模型来实现,本文使用的是卷积神经网络。

图 1. Siamese网络结构图

Fig. 1. Siamese network architecture

下载图片 查看所有图片

Siamese网络有两个结构相同的子网络,分别接收输入X₁与X₂,采用权值共享的方式,将其转换为向量G_w(X₁)与G_w(X₂),通过某种度量方式计算X₁与X₂之间的距离。

训练样本结构为(X₁,X₂,y),其中y为该样本的标签,y=-1表示输入样本对不相似,y=1表示相似;训练网络的目的是寻找一组权值w,最小化来自相同类别的一对样本的损失值,最大化来自不同类别的一对样本的损失值,假设损失函数与输入和权值有关,则损失函数定义为

L(w)=∑i=1PLw,X1,X2,yi,(1)Lw,(X1,X2,y)i=(1-y)LGEwX1,X2i+yLIEw(X1,X2)i,(2)

式中 (X1,X2,y)i为第i个样本,L_G是相似类别损失函数,L_I是样本不相似的损失函数,p为训练的样本数。

3 本文算法

利用Siamese网络能够度量样本间相似度的这一特性,设计了一种全连接对称网络完成目标中心定位;将Siamese Network架构中用于表征样本的子网络更换成结构为5层卷积2层池华层的卷积神经网络(CNN),如表1所示。通过最小化损失函数来获取最优模型,判断两张图片相似度最高的位置,实现目标中心定位;同时结合目标尺度自适应算法估计目标的尺寸,达到稳定追踪的目的,算法框架如图2所示。

图 2. 本文算法框架图

Fig. 2. Framework of proposed algorithm

下载图片 查看所有图片

3.1 基于全卷积对称网络的追踪目标中心定位

Siamese的主要任务就是学习一个相似度匹配函数f(x,z),计算图像x和模板图像z之间的相似度,模板图像为第一帧追踪目标。若返回的分数值较大,则两个图像块表示的是相同的目标;若返回的分数值较小,则两个图像块表示的是不同的目标。在新的图像中,通过在整张图片中寻找最大相似度的候选块,确定目标的中心位置。训练模型时,通过最小化损失函数获取最优模型,本文算法为了构造有效的损失函数对搜索区域的位置点进行了正负样本的区分,即目标一定范围内的点为正样本,范围外的点定义为负样本,损失函数定义为

l(y,v)=log21+exp(-yv),(3)

式中v为图像x的置信分数,数值越大则表示与模板相似度越高,y{+1,-1}为真实标签。通过对称的全卷积网络比较模板与样本图像块的相似程度,形成一张置信分数图,将置信分数图的损失定义为整张图像D损失的平均值,即

L(y,v)=1D∑u∈Dlyu,vu,(4)

然后利用随机梯度下降(SGD)最小化损失函数,训练网络使用的训练数据集对(z,x,y) ,训练出最优的网络参数θ:

argminθLy,f(z,x;θ),(5)

式中f为置信分数。

将首帧图像的目标图像块输入到网络中,以目标图像块大小为基准遍历下一帧图像,得到候选图像块输入到网络中,经过子网络的卷积层和池化层,将原始图像映射到特定的特征空间,使用卷积嵌入函数ϕ和互相关层融合得到每个点的置信分数,即

f(z,x)=ϕ(z)*ϕ(x),(6)

式中*为互相关操作,选取分数最大的点为追踪目标的中心位置p_t。需要注意的是在追踪过程中,使用前一帧目标位置为中心构建搜索区域,得到17×17的置信分数图对其进行双线性插值扩展到272×272,这样响应最大的点才能准确对应到原图像位置。

3.2 目标尺度估计

确定追踪目标中心后,需要对目标尺度进行估计,若选取目标尺度不合理,会影响追踪效果,严重的情况下会导致追踪失败。所以本文结合多尺度采样方法和相似度匹配原理,估计目标尺度。

首先在目标中心p_t位置处进行多尺度采样,构建目标尺度金字塔,如图3所示,尺度选取原则参考文献[ 7]方法,即

图 3. 多尺度采样构造金字塔

Fig. 3. Multi-scale sampling construction pyramid

下载图片 查看所有图片

anW×anH,n∈-s-12,…,s-12,(7)

式中W、H分别为目标模板的宽度和高度,尺度因子a=1.02,n为尺度等级,s=33。目标尺度变化并不是单纯的线性变化,这样选取尺寸可以使采样结果在原尺度附近分布比较稠密,远离原尺度采样分布比较稀疏,符合在目标追踪过程中目标尺度的变化规律。

其次,计算图像像素灰度值的方差,比较每层金字塔图像块的方差与目标模板方差,保留满足条件的金字塔图像块。公式为

si2=1n∑j=1n‖xj-mi‖2,(8)mi=1n∑j=1nxj,(9)

式中i表示某幅图像,n表示像素数,x_j表示第j个像素的灰度值,m_i表示第i幅图像的灰度平均值,

si2>∂,reservesi2<∂,discard,(10)

构建方差分类器,取模板方差的1/2作为阈值 ∂,可以最大可能的过滤掉不符合的图像块,又能极大地保留最符合的图像块;若不满足条件就舍弃,通过实验证明至少30%的错误图像块可以成功地过滤掉。

在此基础上通过海林格距离度量剩余图像块与目标模板直方图特征的相似度,选择相似度最大的图像块尺度作为目标最佳尺度。目标模板与剩余图像块直方图概率分布表示为

q=C0∑j=1mδbxj-upi=Ci∑j=1mδbxj-u,(11)

式中q表示模板图像的直方图概率分布,p_i表示第i块图像直方图概率分布,b(x_j)为第j个像素对应的灰度直方图映射函数,u∈{1,2,…,255}为灰度直方图索引,δ(·)是一个克罗内克脉冲函数,C_i为归一化常数,则q与p_i的海林洛距离为

D(q,pi)=1-ρ[q,pi],(12)

式中ρ[q,p_i]为两者的巴氏系数,寻找与模板图像最相似的图像块i^*等价于最大化巴氏系数目标函数,即

i*=argmaxiρ[q,pi]。(13)

4 分析与讨论

实现算法的编码环境MATLAB R2015,使用图形处理器(GPU)进行加速运算,计算机的配置为windows操作系统64位、Inter Xeon 2.4 GHz、NVIDIA GTX-TITAN X、内存32 GB。将本算法在tracker_benchmark_v1.0下运行以便和其他算法比较。

图 4. 部分实验追踪序列

Fig. 4. Part of the experiment tracking sequences

下载图片 查看所有图片

使用OTB-13数据集进行测试分析,综合评判本文算法的跟踪性能,同时为了进一步分析算法在面临目标快速运动以及尺度变化问题的跟踪性能,选取了OTB-13中具有目标快速运动或者尺度变化属性的42组追踪序列进行实验,图4为部分实验追踪序列,每组追踪序列都标注了该序列所属属性:尺度变化(SV)、遮挡(OCC)、形变(DEF)、快速运动(FM)、平面外旋转(OPR)、超出视野(OV)、 光照变化(IV)、 背景杂斑(BC)、低分辨率 (LR)、平面内旋转(IPR)、运动模糊(MB)等,并与当前主流的判别相关滤波网络(DCFNet)^[11]、Siamfc^[12]、CF2^[13]、对冲深度跟踪(HDT)、CSK^[14]、核相关滤波(KCF)算法^[15]、SRDCF、加尺度估计的相关滤波器(DSST)^[8]、互补学习跟踪算法(Staple)^[16]、跟踪学习检测(TLD)算法^[17]进行比较;其中DCFNet、Siamfc、CF2、HDT是基于深度学习的追踪器,CSK、KCF、SRDCF是基于相关滤波的追踪器,DSST是基于尺度评估的追踪器,Staple算法结合梯度方向直方图(HOG)特征与颜色特征进行目标追踪,TLD是长时间追踪器。

4.1 定性分析

从FM、SV、OCC、DEF、IV等属性下分析追踪算法性能,图5展示了9组追踪序列结果,每组追踪序列下方标注了序列名称与属性,最后一张图片的结果均为最终追踪结果,红色线条表示本文算法跟踪结果。

1) FM:以5(a)、(b)和(d)为例,目标在水平或竖直方向快速运动过程中本文算法始终能够稳定地追踪,追踪窗口没有发生偏离。图5(d)序列在#0075由于快速运动导致目标模糊不清,DCFNet算法追踪窗口漂移,最后的追踪结果只有本文追踪算法结果与目标的真实位置与尺度最接近。

图 5. 10种算法的部分追踪结果对比图。(a) Jumping (MB、FM);(b) CarScale (SV、OCC、FM、IPR、OPR);(c) Couple (SV、DEF、FM、BC、OPR);(d) Soccer (IV、SV、OCC、MB、FM、IPR、OPR、BC);(e) Ironman (IV、SV、OCC、MB、FM、IPR、OPR、OV、BC、LR);(f) Girl (SV、OCC、IPR、OPR);(g) Skiing (IV、SV、DEF、IPR、OPR);(h) Liquor (IV、SV、OCC、FM、IPR、OPR、OV、BC);(i) Woman (IV、SV、OCC、DEF、MB、FM、OPR)

Fig. 5. Comparison of tracking results of 10 algorithm. (a) Jumping (MB、FM); (b) CarScale (SV、OCC、FM、IPR、OPR); (c) Couple (SV、DEF、FM、BC、OPR); (d) Soccer (IV、SV、OCC、MB、FM、IPR、OPR、BC); (e) Ironman (IV、SV、OCC、MB、FM、IPR、OPR、OV、BC、LR); (f) Girl (SV、OCC、IPR、OPR); (g)Skiing (IV、SV、DEF、IPR、OPR); (h) Liquor (IV、SV、OCC、FM、IPR、OPR、OV、BC); (i) Woman (IV、SV、OCC、DEF、MB、FM、OPR)

下载图片 查看所有图片

2) SV:以图5(b)、(i)、(d)、(e)和(f)为例,目标尺度在运动过程中不断变化。图5(b)中汽车尺度持续变化,HDT和KCF固定目标尺度追踪,出现较大误差性能下降,SRDCF、DCFNet、Staples虽然也能追踪到汽车,但是算法只追踪到车身,对后续追踪效果不利,本文算法能依据汽车的尺度变化追踪到车头位置。

3) OCC:以图5(f)和(i)为例,在目标运动过程中发生了不同程度的遮挡。图5(f)从第40帧开始,干扰目标出现遮挡追踪目标最后完全遮挡,干扰目标离开后,KCF、TLD算法识别干扰目标继续追踪,本文算法和其他算法没收到干扰项的影响继续追踪。

4) DEF:以图5(c)视频序列为例,开始阶段目标与干扰目标并肩而走如第10帧,随着移动速度不一样目标出现分离,DCFNet算法出现追踪漂移现象,等两人完全分开时,只有本文算法和SRDCF算法能够稳健地追踪。

5) IV:以图5(g)、(h)和(i)为例,追踪过程中目标所在区域都发生了剧烈光照变化。以Woman追踪序列为例,目标还出现了遮挡、尺度变化等情况,最后一帧中只有本文算法能够准确追踪,其他算法在中途发生追踪漂移,Staple算法虽然追踪位置也在目标位置但是追踪窗口偏小。

4.2 定量分析

使用OTB-13^[9]评价标准的追踪精度和追踪成功率来评估本算法的追踪性能;中心位置误差是衡量追踪精度的标准,通过比较追踪位置的中心位置与手工定位的准确中心的平均欧氏距离来确定中心位置误差,使用20个像素为评价阈值;边界框重叠率S是追踪成功率的重要指标,设人工标注边框为Y_a,追踪结果边框为Y_t,则S= Yt⋂Ya/ Yt⋃Ya,当S大于阈值t₀时,认为追踪成功,成功率图给出了t₀从0~1变化时成功帧所占的比例,使用每一个成功率图的曲线下面积(AUC)给追踪算法进行排序。图6为50个追踪序列的精度和成功率曲线图,图标按照算法性能由高到低排序,可以看出,不管追踪精度还是成功率,本文算法性能最好,在精度方面,比同样基于全连接网络的CF2算法提高了0.8%,追踪成功率比基于对称网络的Siamfc算法提高了4.1%,主要是因为本文算法有准确的目标尺度估计机制,使追踪目标能够较准确地覆盖,从而提升了追踪成功率。

为了进一步分析算法在面临目标FM以及SV问题的性能,图7为在这两种属性下42组追踪序列的精度与成功率曲线图。图7(a)和(b)表示在目标FM属性下本算法与其他算法相比性能最好;图7(c)和(d)表明在SV属性下追踪的精确度略低于CF2算法,但在追踪成功率上仍排在第一位。

图 6. 50个追踪序列的精度和成功率曲线。(a)精度曲线; (b)成功率曲线

Fig. 6. Precision and success rate of 50 sequences. (a) Precision; (b) success rate

下载图片 查看所有图片

图 7. FM和SV属性下追踪精度和准确率曲线。(a) FM下精度曲线;(b) FM下成功率曲线; (c) SV下精度曲线;(d) SV下成功率曲线

Fig. 7. Precision and success rate on FM and SV attributes. (a) Precision on FM attribute; (b) success rate on FM attribute; (c) precision plot on SV attribute; (d) success rate on SV attribute

下载图片 查看所有图片

同时还比较了该算法在视频序列中所包含的其他属性(IV、OCC、LR、DEF、BC和OV)的性能,由图8可知,除了BC属性下图8(i)、(j)和LR属性下图8(e)、(f)情况,本文算法追踪性能不太理想,在其余属性下,本文算法精度和成功率都排在了第一位。

图 8. (a)(b) IV、(c)(d) OCC、(e)(f) LR、(g)(h) DEF、(i)(j) BC、(k)(l) OV属性下追踪精度和成功率曲线

Fig. 8. Tracking precision and success rate on (a)(b) IV, (c)(d) OCC, (e)(f) LR, (g)(h) DEF, (i)(j) BC, and (k)(l) OV attributes

下载图片 查看所有图片

4.3 算法追踪速率

表2为各算法追踪速率对比结果,Tracker表示追踪器,Platform表示实验平台,FPS表示追踪速率,Real为是否达到实时性的要求,从表2可以看出,本文算法速度远大于CF2和HDT算法,达到了实时性的要求;但由于其追踪过程中要进行尺度估计,因此速度稍慢于Siamfc算法;构建的卷积网络比DCFNet复杂,所以慢于DCFNet算法。其他算法的追踪速度都是原文给出。

5 结论

提出了一种基于全卷积对称网络的目标尺度自适应追踪算法,首先构建全卷积对称的CNN网络确定目标的中心位置;然后对目标候选区域进行多尺度采样,通过比较模板与样本图像的方差阈值和海林洛距离,确定目标追踪窗口。大量实验结果表明,与其他追踪算法相比,本文算法追踪精度和成功率都排第一名;比同样使用对称网络的Siamfc算法在精度和成功率上分别提高了8.4%和4.1%。综上所述,本文算法较好地解决了目标FM及CV导致追踪失败的问题,有效地提高了追踪精度和成功率,满足实时追踪的要求。

在实验过程中发现,当追踪序列出现分辨率较低、背景模糊的情况时,本文算法容易跟踪失败,因此,如何结合视频预处理方法,使深度学习网络学习到更加稳健的特征是下一步研究的重点。