高置信度的尺度自适应核相关跟踪方法 下载: 585次
1 引言
智能视频监控技术在提高风险预警能力、减轻人力负担、保障公共安全以及便捷交通管理和客户服务等方面具有重要的应用价值[1]。目标跟踪作为提高视频监控智能化水平的关键研究方法之一,近年来取得了很大进展[2-4],但是在尺度变换、快速运动和背景杂乱等复杂的视频场景中,跟踪效果不理想,目标容易发生漂移。
近年来,目标跟踪数据集和基准[5-6]的提出为评价跟踪性能提供了一种比较统一的标准。相关滤波(CF)跟踪方法利用循环矩阵在频域中的对角性质,简化了滤波器的训练过程,使其在数据集上展示出了明显的速度优势。引入核技巧和梯度方向直方图(HOG)的核相关滤波器(KCF)[7]在保持高帧率的同时,跟踪精度得到进一步提升,其中将采用线性核的方法记为对偶相关滤波器(DCF)。之后,学者们从提高跟踪目标的尺度自适应[8-9]、抗遮挡能力[10]和样本质量[11-12],以及改进样本标签[13]和特征表征力[14-15]等角度提出了各种提高跟踪性能的方式。
Li等[16]提出了尺度自适应的多特征融合跟踪(SAMF)方案,该方案使用了结合颜色名(CN)和HOG特征的CF跟踪器对目标进行多尺度检测,可以有效提高了跟踪精度。SAMF方案在许多算法中均有应用[17-18]。Possegger等[19]结合颜色直方图提出了干扰感知(DAT)模型,可以有效抑制了相似对象的干扰。Wang等[20]提出了基于循环特征的大边缘目标跟踪(LMCF)算法,该算法采取了多峰检测的方式并使用平均峰值相关能量(APCE)自适应地更新模板,从而提高定位精度。由于核互相关器(KCC)不受核函数类型的限制,所以可以将CF只能预测平移变换扩展到能够预测旋转和尺度等任意仿射变换[21]。Ma等[22]使用了两种判别回归模型来预测位置,当处于低置信度状态时对目标进行检测,可以显著提高跟踪精度。也有研究人员将CF跟踪算法与特征建模能力强的深度学习方法结合,通过提取深度特征[23]或使用神经网络模拟CF实现端到端的训练方式[24-25],可以明显提高了跟踪精度,但其运行速度较采用手工特征的CF方法仍有待提高。
尽管CF跟踪器已经取得较好的发展,但其在复杂的视频场景中仍然存在图像特征不足以准确反映目标外观变化、尺度变化需通过平移滤波器来得到,以及缺少对响应置信度进行判断等问题,致使模型中易引入不可信样本,不利于精确地跟踪目标。
针对上述问题,本文采用颜色直方图对象-背景模型与核尺度相关器判别模型结合的方法,提高CF算法应对形变的能力,从而提高跟踪的稳定性,实现对跟踪目标的精确定位。接着从最可信的图像帧中训练核尺度相关器,用于对尺度进行预测。针对模型更新过程中可能引入噪声而造成模型损坏的问题,本文预定义阈值,当置信度满足一定阈值时,对模型进行更新。在100个序列中的跟踪结果表明,该方法在精度方面较KCC方法和SAMF方法分别高出0.039和0.043,成功率分别提高0.129和0.020。该方法在CPU上可以实现实时跟踪,在尺度变化、形变、光照、旋转、视野外和相似背景干扰等复杂的视频场景中能够有效跟踪目标,有利于智能视频监控技术的发展。
2 方法设计
使用颜色直方图来表征目标的对象模型已在相对复杂的视频场景中取得了较好的结果,颜色特征的优越性在DAT跟踪器中已展现出来。受到DAT[19]的启发,使用基于颜色直方图的贝叶斯分类器对位置进行估计,同时考虑到颜色直方图特征容易在光照发生较大变化的情况下产生跟踪漂移,因此再次提取对光照具有鲁棒性的HOG特征来表征目标,运用实时性能优异的CF方法与直方图方法相结合的方式来定位目标。
2.1 颜色直方图对象-背景模型
训练阶段的搜索区域Q∈{M,ε},其中M为前景目标区域,ε为背景区域。输入图片I,前景和背景直方图模型可分别表示为
式中:bx表示x在区域Q中的颜色直方图H上所属颜色区间对应的直方条。对于不可见像素的情况,将P值设为0.5。(1)式求得的对象似然概率可以通过查表的方式来高效计算,得到一个能够将目标从背景中区分出来的像素级颜色概率图。
2.2 多通道特征核相关器判别模型
KCC[21]为CF方法提供了统一的解,打破了KCF核函数类型的限制,可以用于预测平移、旋转和尺度等自定义的仿射变换。受到KCC的启发,使用多通道核相关器模型对平移及尺度进行预测,将用于估计平移和尺度的核相关器分别记为KTC和KSC。
测试样本及训练样本分别为z∈ℝn和x∈ℝn,其中n为维度,将样本映射到高维特征空间φ(x)中,则滤波器f的核化互相关响应函数为
式中:g表示回归目标;F(·)表示快速傅里叶变换函数;表示相关运算符;☉表示点积运算;^ 和*分别表示快速傅里叶变换符号和共轭符号;κx(z)=
对于一个图像信号的D维通道特征图,在每帧图像中提取x∈ℝn。g选用高斯函数。学习一个最优的多通道特征相关器f,则目标函数应满足
式中:xc表示第c维通道的特征样本;λtmpl表示正则化参数。在频域中,(3)式可以表示为
对(4)式进行求解,得到对应于第c维通道特征样本的相关器参数,表达式为
对于信号z,平移变换数为q。由于在跟踪问题中,采用线性核具有计算简单且跟踪效果较好,因此所提算法采用线性核k(z,xo)=zTxo进行简化求解,其中o取o=1,…,q,则
式中:F-1(·)表示逆傅里叶变换。由于(6)式只存在元素方向的运算,因此可以快速地训练一个多通道的线性分类器。
2.3 高置信度更新策略
为了适应目标的外观变化,在图像的第t帧中,采用学习率ηcolor以线性插值的方式来更新颜色对象-背景模型,表达式为
相关器模板参数
为了提高遮挡处理的能力,以及避免更新过程中目标被损坏的问题,采用LMCF方法[20]对判断置信度的方法进行改进,使用APCE来衡量检测目标的置信度,表达式为
式中:Smax,t=max(St),Smin,t=min(St),其中St表示第t帧图像的响应;w∈(0,…,W)表示行,W为图像块的宽度;h∈(0,…,H)表示列,H为图像块的高度。将采用两种置信度阈值判断跟踪可靠性的方法进行对比(详见第3节),发现在满足APCE与最大响应均大于更新阈值θ,则对模型参数进行更新,此时效果最佳。
2.4 检测阶段
在位置检测阶段,计算颜色概率图中所有大小等于预测尺度的矩形框内像素概率的和,其可以在概率图上查找四次积分图而得到。设矩形框区域的长宽分别为u和v,则该矩形框中心位置的响应图为
式中:J表示积分图,在位置(pu,pv)处的积分图J(pu,pv)=
在前一帧图像的目标位置处提取z,则在当前t帧的图像中其平移相关响应可表示为
最终的平移响应得分采用融合因子γ来综合HOG特征和颜色统计特征的响应得分,得到当前t帧图像的平移综合响应分数为
式中:St,color表示颜色统计特征响应得分。由(14)可知,响应的最大峰值位置即为预测的目标位置。
当进行尺度预测时,xi可以通过尺度变换来得到。由于尺度空间不具有周期性,因此存在边界效应,此时可以采用向核向量补零的方式来缓解,即
核向量的长度增加一倍,即κx(z)∈ℝ2m和f∈ℝ2m。补零是非必要的,即使没有补零,核尺度相关器的尺度估计性能仍然是优于一般算法的[21]。
尺度检测阶段,尺度测试样本zscale在当前t帧图像的尺度响应St,scale与(13)式求解方式相同,最大尺度相关响应即为预测的目标尺度。
2.5 算法执行
跟踪方法的流程如
首先初始化目标的位置和尺度;接着从当前帧的目标框中分别提取HOG特征和颜色特征,并分别用于训练KTC和直方图模型以计算两种模型的响应分数,使用(14)式求得平移综合响应分数,其最大值位置处即为预测的下一帧目标位置;从预测位置处提取HOG特征来训练KSC,并使用(13)式求解尺度相关响应,其最大响应值的尺度即为目标尺度;然后采用高置信度的方式更新模型;最后输出预测位置和尺度,对下一帧图像的模型进行训练和更新,直到完成所有序列的跟踪。
3 分析与讨论
将所提方法在MATLAB R2014a软件中进行仿真模拟,实验环境为Intel(R) Core(TM) i5-4200U CPU@1.60 GHz 2.3 GHz,根据在线目标跟踪基准(OTB-2015)对跟踪性能进行评估。
采用不同的置信度阈值来判断所提方法跟踪的可靠性,并与其他方法进行对比。受到文献[
22]的启发,当方法1(ours 1)在APCE与最大响应均大于θ值时,则认为跟踪响应是可信的,当方法2(ours 2)在APCE与最大响应分别以一定的正确率α1和α2大于历史均值时,判定跟踪结果可信[20]。判别置信度的条件如
表 3. 不同跟踪器的性能比较
Table 3. Performance comparison of different trackers
|
表 2. 实验参数的设置
Table 2. Setting of experimental parameters
|
表 1. 跟踪置信度的阈值设置
Table 1. Threshold setting for tracking confidence
|
表 4. 不同跟踪挑战下的平均精度
Table 4. Average precision facing different tracking challenges
|
表 5. 不同跟踪挑战下的平均成功率
Table 5. Average success rate facing different tracking challenges
|
模型的参数设置如
将所提方法与其他4种性能优异的方法(DCF[7]、KCF[7]、SAMF[16]和KCC[21])进行对比,100个视频序列中的一次性评估精确曲线和成功率曲线分别如
图 3. 不同方法在100个序列中的成功率曲线
Fig. 3. Success rate curves of different methods in 100 sequences
基准数据集使用11种属性描述了跟踪过程中的不同挑战性情况。
为了更直观地反映所提方法的跟踪效果,定性评估6种方法在三个具有挑战性的序列中的表现,结果如
从
图 4. 6种跟踪器在不同序列中的定性比较结果。(a) shaking序列; (b) freeman1序列; (c) deer序列
Fig. 4. Qualitative comparison results of six trackers in different sequences. (a) shaking sequence; (b) freeman1 sequence; (c) deer sequence
4 结论
为了使图像特征能够准确反映目标的外观变化,采用颜色直方图对象-背景模型与相关滤波判别模型结合的方式来定位目标。针对尺度变化需通过计算平移滤波响应求得的问题,使用尺度变换样本来直接训练核尺度相关器。针对未判断响应置信度就对模型进行更新可能会引入不可信样本,从而造成模型损坏的问题,采用APCE和最大响应判据对置信度高的模型进行更新。在100个序列中的跟踪结果表明,所提方法在CPU上实现实时跟踪,在尺度变化、形变、光照、旋转和相似背景干扰等复杂的视频场景中,能够以较高的精度和成功率跟踪目标,对提高智能视频监控系统的监控效率具有重要价值。
[1] 吴国星. 智能视频监控下的目标跟踪关键技术研究[D]. 南京: 南京理工大学, 2017.
Wu GX. Research on key technology of object tracking in intelligent video surveillance[D]. Nanjing: Nanjing University of Science and Technology, 2017.
[2] 卢湖川, 李佩霞, 王栋. 目标跟踪算法综述[J]. 模式识别与人工智能, 2018, 31(1): 61-76.
Lu H C, Li P X, Wang D. Visual object tracking: a survey[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(1): 61-76.
[3] 茅正冲, 陈海东. 基于核相关滤波的长期目标跟踪算法[J]. 激光与光电子学进展, 2019, 56(1): 010702.
[4] 张焕龙, 胡士强, 杨国胜. 基于外观模型学习的视频目标跟踪方法综述[J]. 计算机研究与发展, 2015, 52(1): 177-190.
Zhang H L, Hu S Q, Yang G S. Video object tracking based on appearance models learning[J]. Journal of Computer Research and Development, 2015, 52(1): 177-190.
[5] Wu Y, Lim J, Yang M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.
[8] 刘晓悦, 王云明, 马伟宁. 融合FHOG和LBP特征的尺度自适应相关滤波跟踪算法[J]. 激光与光电子学进展, 2020, 57(4): 041512.
[9] 廖秀峰, 侯志强, 余旺盛, 等. 基于核相关的尺度自适应视觉跟踪[J]. 光学学报, 2018, 38(7): 0715002.
[10] 王凯宇, 陈志国, 傅毅. 基于相关滤波器的目标抗遮挡算法[J]. 激光与光电子学进展, 2019, 56(3): 030401.
[11] MuellerM, SmithN, GhanemB. Context-aware correlation filter tracking[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA.New York: IEEE Press, 2017: 1387- 1395.
[12] 万欣, 张春辉, 张琳, 等. 加权全局上下文感知相关滤波视觉跟踪算法[J]. 计算机工程与应用, 2018, 54(16): 1-12, 67.
[13] BibiA, MuellerM, GhanemB. Target response adaptation for correlation filter tracking[M] //Leibe B, Matas J, Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9910: 419- 433.
[14] BertinettoL, ValmadreJ, GolodetzS, et al.Staple:complementary learners for real-time tracking[C] //2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE Press, 2016: 1401- 1409.
[15] 尹宽, 李均利, 李丽, 等. 复杂情况下自适应特征更新目标跟踪算法[J]. 光学学报, 2019, 39(11): 1115002.
[16] LiY, Zhu JK. A scale adaptive kernel correlation filter tracker with feature integration[M] //Agapito L, Bronstein M, Rother C. Computer vision-ECCV 2014 workshops. Lecture notes in computer science. Cham: Springer, 2015, 8926: 254- 265.
[17] DanelljanM, HägerG, Khan FS, et al.Learning spatially regularized correlation filters for visual tracking[C] //2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile.New York: IEEE Press, 2015: 4310- 4318.
[18] DanelljanM, RobinsonA, Shahbaz KhanF, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[M] //Leibe B, Matas J , Sebe N, et al. Computer vision-ECCV 2016. Lecture notes in computer science. Cham: Springer, 2016, 9909: 472- 488.
[19] PosseggerH, MauthnerT, BischofH. In defense of color-based model-free tracking[C] //2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA.New York: IEEE Press, 2015: 2113- 2120.
[20] Wang MM, LiuY, Huang ZY. Large margin object tracking with circulant feature maps[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA.New York: IEEE Press, 2017: 4800- 4808.
[22] MaC, Yang XK, Zhang CY, et al.Long-term correlation tracking[C] //2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA.New York: IEEE Press, 2015: 5388- 5396.
[23] Dai KN, WangD, Lu HC, et al.Visual tracking via adaptive spatially-regularized correlation filters[C] //2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA.New York: IEEE Press, 2019: 4665- 4674.
[24] ValmadreJ, BertinettoL, HenriquesJ, et al.End-to-end representation learning for correlation filter based tracking[C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA.New York: IEEE Press, 2017: 5000- 5008.
[25] GuoQ, FengW, ZhouC, et al.Learning dynamic Siamese network for visual object tracking[C] //2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy.New York: IEEE Press, 2017: 1781- 1789.
李福进, 刘慧慧, 任红格, 史涛. 高置信度的尺度自适应核相关跟踪方法[J]. 激光与光电子学进展, 2021, 58(8): 0815004. Fujin Li, Huihui Liu, Hongge Ren, Tao Shi. Scale Adaptive Kernel Correlation Tracking Method with High Confidence[J]. Laser & Optoelectronics Progress, 2021, 58(8): 0815004.