尺度自适应核相关滤波目标跟踪 下载: 1336次
1 引言
目标跟踪是在视频序列中估计出感兴趣的目标位置及其运动轨迹的过程,在视频处理中有很多实际的应用,如视频监控[1]、智能工业控制[2]和机器人学[3]等,因此成为计算机视觉的一个重要研究领域。目前,目标跟踪技术已经取得了很大的进步,但是仍面临很多挑战,如目标尺度和光照变化、目标旋转和遮挡、目标快速移动、相机抖动和背景干扰等[4]。
近年来,基于判别式的跟踪方法表现出了良好的跟踪性能,该方法引入机器学习的思想,将目标跟踪看成一个二分类问题,利用目标及其周围的背景信息,通过在线学习一个判别式的分类器,对候选样本进行评估来定位目标区域[5]。具有代表性的判别式跟踪器有Ensemble Tracking[6]、多示例学习跟踪器[7]和跟踪学习检测(TLD)算法[8]等。最近,基于深度学习的跟踪方法也表现出了较好的跟踪性能,最新的相关算法,如多域网络[9]和全卷积孪生网络跟踪算法[10],在目标跟踪标准库的跟踪性能检测中表现卓越[11]。
有时为了实时性的考虑,算法在训练和检测过程中只选取有限数量的样本,无法获得可靠的分类器模型。为了解决此问题,Henriques等[12]提出了基于循环结构的检测跟踪(CSK)算法,该算法通过对训练样本和候选样本进行循环移位,近似目标的密度采样,获得可靠的目标外观模型和目标位置的检测。Danelljan等[13]在CSK框架的基础上,用色名(CN)属性对目标进行描述,并采用自适应降维的方法,提出了色名跟踪器(CNT),CNT比其他基于颜色空间的特征有更好的跟踪效果。核相关滤波(KCF)跟踪[14]算法用方向梯度直方图(HOG)特征代替CSK算法中的灰度特征,提高了算法跟踪的稳健性。刘行等[5]在CSK算法的基础上,将灰度、CN与HOG特征进行融合,提出了自适应多特征融合目标跟踪算法,提高了算法的跟踪精度和稳健性。然而,以上算法都用固定的跟踪框去跟踪不断变化的目标,这不仅影响跟踪精度,也可能导致跟踪漂移,甚至跟踪失败。
针对KCF目标跟踪算法在跟踪过程中无法解决目标尺度变化的问题,在KCF跟踪框下,引入一种尺度估计方法,并提出了一种自适应尺度的KCF跟踪算法。该算法通过KCF获得目标的估计位置,然后根据尺度估计输出的最大响应值,确定当前帧目标的尺度,并根据遮挡检测在线更新尺度与滤波模板,使算法的跟踪框能够实时地适应目标尺寸大小的变化。
2 KCF跟踪器
KCF跟踪器是在CSK跟踪器框架的基础上,以HOG代替最初的灰度值扩展而来的。KCF跟踪器通过在线密度采样获得大量训练样本,构建目标外观模型,训练一个正则化最小二乘分类器,利用核函数进行求解,以获得滤波模板。获得滤波模板后,即可对候选样本进行检测,实现目标的在线学习与跟踪[14]。
2.1 正则化最小二乘分类器的求解
在KCF跟踪器中,训练分类器
式中
式中
式中F与F-1表示离散傅里叶变换与离散傅里叶逆变换。将(3)式代入
式中
2.2 目标检测
在当前帧与前一帧目标中心相同的位置处,提取大小为
KCF算法通过检测过程获得最大的响应值来估计当前帧的目标位置,跟踪效果较好,但是在一些复杂的场景中,由于尺度变化、遮挡等因素的干扰,算法的跟踪框不能随着目标大小自适应地变化,且在模型更新中未考虑目标遮挡的情况,容易引入背景信息,从而导致跟踪精度较低。
3 基于KCF的自适应尺度跟踪
所提出的算法在传统的跟踪算法上增加了尺度估计策略和遮挡检测更新策略,旨在解决以下两个问题:1) 传统算法跟踪框不能随目标大小自适应变化,导致跟踪准确率低;2) 遮挡情况下的目标模型不断更新,导致跟踪误差不断积累。
3.1 自适应尺度估计
KCF算法中的目标跟踪框是固定的,当目标逐渐变大时,只能捕捉到目标的某一部分,当目标逐渐变小时,跟踪的目标区域又易于掺杂干扰的背景信息,这不仅影响算法的跟踪精确度,还会影响后期的姿态估计和行为分析等操作。为了解决这一问题,在原始算法的跟踪过程中加入尺度估计的方法。
假设目标模板为
式中⊗表示卷积;
获得当前帧的尺度后,更新
式中
3.2 分类器的更新
对当前帧获得的目标区域
式中
当目标正常运动时,KCF跟踪器的响应函数为高斯分布,峰值很明显;当目标受到遮挡时,峰值不明显且峰值旁瓣比减小,目标的可能位置点增多,目标位置与尺度的确定变得困难。假设最大响应值为
式中
3.3 算法步骤
自适应尺度跟踪算法是以KCF算法为跟踪框、在获得目标位置后引入目标的尺度估计方法,算法的跟踪框能随着目标大小自适应地变化,同时引入判断模板更新的遮挡检测方法,避免了引入过多背景信息和丢失过多目标信息的问题,从而建立了更可靠的目标外观模型,提高了算法的准确性。
所提算法的具体步骤为:
1) 输入第一帧目标的位置
2) 输出当前帧的位置
for
① 在前一帧的位置
② 在
③ 将尺度为
④ 将大小为
⑤ 根据遮挡检测机制判断目标是否受到遮挡,如果目标受到遮挡,令(8)~(11)式中的
end
4 实验结果与分析
为了验证所提算法的性能,对Benchmark视频库中的50组视频进行测试,并对实验结果进行了定性和定量分析。实验分析采用文献[ 11]中的评估方法,将该方法与近年来出现的几种基于检测的优秀跟踪方法[包括Struck[16]、多示例学习(MIL)[7]、时空上下文(STC)[17]、压缩跟踪(CT)[18]、TLD[8]、CSK[12]以及KCF[14]]进行比较。
4.1 实验装置与评价标准
实验仿真环境为:Matlab R2012b,Windows 7系统,Intel Core i3-4170 CPU,主频3.7 GHz,4 GB内存。实验对所有视频序列参数保持不变,高斯核的标准差
本实验通过两种评估标准来衡量跟踪器的性能,分别为距离精度(DP)和成功率(SR),均称为一次性评估(OPE)。DP为中心位置误差小于某一阈值的帧数占总帧数的比值,DP的计算公式为
式中
式中
4.2 定性分析
为了比较直观地证明所提算法的有效性,将多组测试后的视频序列在所有跟踪器中的跟踪结果进行对比,结果如
1) 尺度与光照变化
在Singer1视频中,目标除了发生尺度与光照的剧烈变化,还存在遮挡与旋转的问题,如
2) 遮挡、旋转与运动模糊
在Jogging2视频中,如
图 1. 不同算法的跟踪结果对比图。 (a) Singer1;(b) Car4;(c) Walking2;(d) Jogging2;(e) CarScale;(f) Dog1
Fig. 1. Comparison of tracking results of different algorithms. (a) Singer1; (b) Car4; (c) Walking2; (d) Jogging2; (e) CarScale; (f) Dog1
4.3 定量分析
为了验证所提算法的有效性,对Benchmark视频库中的50组视频序列进行了距离精度与成功率的评估,并与其他几种近年来出现的优秀算法进行对比。
通过对50组视频序列的运行速度求平均得知,KCF的运行速度为190.26 frame/s。虽然所提算法中增加了对目标多种尺度的检测与估计,计算效率有所降低,但是在目标的训练与检测过程采用了快速傅里叶变换的方法,平均运行速度为35.66 frame/s,仍然满足实时性的要求。
表 1. 不同算法对比数据
Table 1. Comparison data of different algorithms
|
图 2. 各算法的DP和SR曲线图。(a) OPE-SR的DP曲线;(b) OPE-OCC的DP曲线;(c) OPE的DP曲线;(d) OPE-SR的SR曲线;(e) OPE-OCC的SR曲线;(f) OPE的SR曲线
Fig. 2. DP and SR plots of different algorithms. (a) DP plots of OPE-SR; (b) DP plots of OPE-OCC; (c) DP plots of OPE; (d) SR plots of OPE-SR; (e) SR plots of OPE-OCC; (f) SR plots of OPE
5 结论
提出了一种自适应尺度的KCF目标跟踪算法,在KCF的基础上引入尺度估计方法。根据对目标区域采样的多种尺度的检测结果,判断目标的大小,使算法的跟踪框能随着目标大小自适应地变化。通过遮挡检测判断目标的遮挡情况,更新滤波模板系数、外观模型和尺度模板。从Benchmark视频库中选取50组视频序列进行测试,并与其他几种优秀的跟踪算法相比。由测试结果可以看出所提算法不仅能适应目标尺度变化与严重遮挡的情况,而且当考虑光照和姿态变化、背景干扰等复杂情况时,与比较算法中的最优者相比,所提算法的DP提高了17.12%,SR提高了10.77%,具有重要的理论和应用研究价值。但是所提算法对于快速运动的目标跟踪效果较差,主要是因为搜索的中心点是根据前一帧目标的中心点来确定的,且搜索的范围有限。未来的研究重点是在KCF的基础上引入运动状态估计的方法,使得跟踪能够在更为复杂的场景中更加稳健和高效。
[2] 邹焱飚, 周卫林, 陈向志. 基于深度分层特征的激光视觉焊接检测与跟踪系统研究[J]. 中国激光, 2017, 44(4): 0402009.
[3] 解则晓, 陈文柱, 迟书凯, 等. 基于结构光视觉引导的工业机器人定位系统[J]. 光学学报, 2016, 36(10): 1015001.
[4] 仇春春, 李庆武, 王恬, 等. 一种改进的IVT目标跟踪算法[J]. 激光与光电子学进展, 2016, 53(1): 011002.
[5] 刘行, 陈莹. 自适应多特征融合目标跟踪[J]. 光电工程, 2016, 43(3): 58-65.
[6] Avidan S. Ensemble tracking[J]. IEEE Transactions Pattern Analysis & Machine Intelligence, 2007, 29(2): 261-271.
[9] NamH, HanB. Learning multi-domain convolutional neural networks for visual tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2016: 4293- 4302.
[10] BertinettoL, ValmadreJ, Henriques JF, et al. Fully-convolutional Siamese networks for object tracking[C]. European Conference on Computer Vision, 2016: 850- 865.
[11] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.
[12] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision, 2012: 702- 715.
[13] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1090- 1097.
[15] ScholkopfB, Smola AJ. Learning withkernels: Support vector machines, regularization, optimization, and beyond[M]. London: The MIT Press, 2002.
[16] HareS, SaffariA, Philip HS. Structured output tracking with kernels[C]. International Conference on Computer Vision, 2011: 263- 270.
[17] ZhangK, ZhangL, Yang MH, et al. Fast tracking via spatio-temporal context learning[C]. European Conference on Computer Vision, 2014: 127- 141.
[18] ZhangK, ZhangL, Yang MH. Real-time compressive tracking[C]. European Conference on Computer Vision, 2012: 864- 877.
Article Outline
高美凤, 张晓玄. 尺度自适应核相关滤波目标跟踪[J]. 激光与光电子学进展, 2018, 55(4): 041501. Meifeng Gao, Xiaoxuan Zhang. Scale Adaptive Kernel Correlation Filtering for Target Tracking[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041501.