联合最小软阈值二乘和Haar-like特征匹配的视觉跟踪 下载: 708次
1 引言
随着人工智能的快速发展,计算机视觉成为广大研究人员热衷的学科。视觉跟踪是计算机视觉中的重要一环,在机器人视觉导航、自动监控系统、智能交通系统、人机交互、精确**侦察、智能医学诊断等方面有着广泛的应用。目前已有很多科研工作者在此领域做了很多有价值的工作[1-4],但是视觉跟踪仍面临很多难以解决的问题,如遮挡、变形、运动模糊、快速运动、光照变化、背景杂乱、尺度变化等都会影响跟踪的效果。因此,对于一个跟踪系统而言,构建一个有效的外观模型来表征目标迫在眉睫。
近年来,很多科研人员提出基于稀疏表示的视觉跟踪方法,该方法已在视觉跟踪领域占据重要地位。Mei等[5]在2009年首次提出一种基于L1范数最小化的目标跟踪算法。该算法使用目标模板和琐碎模板对观测样本集进行稀疏的线性重构,并将重构误差最小的观测样本作为当前帧的跟踪结果,能较好地处理局部遮挡的问题,但计算复杂度过大。随后,Liu等[6]在L1跟踪器的基础上,将稀疏直方图和均值漂移相结合对目标进行跟踪,目标跟踪效果较好。为了弥补传统稀疏模型算法没有同时考虑生成信息和判决信息的缺陷,Zhong等[7]提出了一种组合生成模型和判决模型的跟踪算法。该模型充分利用了判别信息和生成信息的优势,但算法实时性不高,且当某个模型发生退化时,整个模型会产生退化现象。Zhuang等[8]提出一种结构化的稀疏分块表征模型,该模型对观测样本进行反向稀疏表示,利用正负样本的判决性来获取最优样本。Wang等[9]采用Gaussian-Laplacian对残差进行建模来抵御离群子干扰,以优化表征模型,采用最小软阈值二乘来逼近对观测样本的描述,但当目标在遭受严重污染时,该算法仍错误地将背景信息更新进样本子空间,使表征模型退化。
压缩感知技术作为目标跟踪领域一项重要技术被研究学者广泛关注。Haar-like特征作为一种经典的特征描述算子,起初被用于人脸表示,而后被成功地应用于目标跟踪领域[10-12]。Harr-like特征本质上反映了图像灰度的变化,具有较为优秀的表观能力。受文献[ 10]的启发,本文提出一种快速有效的目标跟踪算法,联合压缩Haar-like特征和子空间最小二乘拟合,对目标的外观进行建模,并采用在线学习将LSST算法和Haar-like特征匹配算法进行了简单有效的组合,在匹配过程中去除了大部分无用的样本,提高了目标跟踪的实时性。
2 最小软阈值二乘跟踪
给定一组PCA(Principal Components Analysis)子空间
式中:
式中:
可计算求解得到
式中:
3 联合最小软阈值二乘和Haar-like特征匹配
3.1 压缩Haar-like特征提取
给定一个观测图像
式中:
式中:
式中:
图 1. 高维向量X 到压缩低维向量V 的过程示意图
Fig. 1. Schematic of process from high-dimensional vector X to compression low-dimensional vector V
3.2 特征匹配
在特征匹配中,
在整个跟踪过程中,采用遮挡率
式中:
其中
则表示该时刻目标受到的干扰较为严重,其中
采用Harr-like特征匹配进行目标重检测,匹配的相似度定义为
式中:
则舍弃该样本。最后对最优状态进行更新,即
式中:
4 跟踪框架
在马尔可夫模型中,目标跟踪任务可视为贝叶斯滤波器。贝叶斯滤波器有两个主要步骤:预测和更新。整个跟踪过程如
式中:
4.1 运动模型
采用随机走动理论
4.2 观测模型
观测模型用来评估观测样本成为真实目标的置信度。对于第
通过(16)式对观测样本进行评估,以获取最佳的样本作为当前帧的真实目标。即(16)式的概率值越大,成为真实目标的可能性越大。
4.3 在线更新机制
受文献[ 9]启发,本研究采用增量PCA更新方法对PCA子空间进行在线更新,每5帧更新一次子空间。更新PCA子空间的样本可表示为
式中:
5 实验与分析
本文采用MATLAB R2014a作为实验的开发工具,在配置为i5-4690 CPU(3.5 GHz)的计算机上运行算法。噪声正则化参数
为了验证算法的有效性,对9个具有挑战的图像序列进行评估[14],这些序列分别具有遮挡、光照变化、运动模糊和复杂背景等干扰条件。同时采用另外6个较为著名的算法用于对比。这7个算法包括:增量式视觉跟踪(IVT)[2]、基于稀疏协同模型的稳健目标跟踪(SCM)[7]、基于判决稀疏相似性的目标跟踪(DSST)[8]、基于最小软阈值二乘的目标跟踪(LSST)[9]、基于L2范数正则的协作表示目标跟踪(L2-RLS)[15]、基于自适应结构表示模型的视觉跟踪(ASLA)[16],以及核相关滤波跟踪算法(KCF)[17]。
5.1 定性分析
1)遮挡。在跟踪的过程中,目标受到遮挡是常见的挑战之一。
2)光照和尺度变化。
3)运动模糊。
4)复杂背景。
5.2 定量分析
采用平均中心误差和平均重叠率[9]两种评价标准来衡量不同算法的跟踪能力。重叠率较大和中心误差较小代表跟踪结果较优。重叠率定义为
式中:
式中:(
基准目标与结果的重叠率和中心偏差分别如
表 1. 基准目标与测量结果的重叠率
Table 1. Overlap rate between datum target and measuring result
|
表 2. 基准目标与测量结果的中心偏差
Table 2. Center deviation between datum target and measuring result
|
6 结论
针对LSST算法在干扰情况下会错误更新样本子空间的情况,提出一种组合Harr-like特征匹配检测的目标跟踪算法。该算法在LSST的基础上对每一帧最优目标的响应误差程度进行定量评估。当响应误差量级比较大时,采用Harr-like特征进行二级压缩重匹配,进一步确定当前帧最优的目标状态。同时为了减少匹配评估的样本量,采用一种定量的筛选方法去除无关样本。通过与多个算法在不同基准序列上的对比实验,可以看出本文提出的算法的跟踪结果较为稳健。在未来的工作中,将考虑把判别信息融入LSST的初始外观模型中,以获得更加有效的跟踪结果。
[1] AdamA, RivlinE, ShimshoniI. Robust fragments-based tracking using the integral histogram[C]∥2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06), June 17-22, 2006, New York, NY, USA. New York: IEEE, 2006.
[3] 赵高鹏, 沈玉鹏, 王建宇. 基于核循环结构的自适应特征融合目标跟踪[J]. 光学学报, 2017, 37(8): 0815001.
[4] 周海英, 杨阳, 王守义. 基于核相关滤波器的多目标跟踪算法[J]. 激光与光电子学进展, 2018, 55(9): 091502.
[5] MeiX, Ling HB. Robust visual tracking using ℓ1 minimization[C]∥2009 IEEE 12th International Conference on Computer Vision, September 29-October 2, 2009, Kyoto, Japan. New York: IEEE, 2009: 1436- 1443.
[6] Liu BY, Huang JZ, YangL, et al. Robust tracking using local sparse appearance model and K-selection[C]∥CVPR 2011, June 20-25, 2011, Colorado Springs, CO, USA. New York: IEEE, 2011: 1313- 1320.
[7] ZhongW, Lu HC, Yang MH. Robust object tracking via sparsity-based collaborative model[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1838- 1845.
[10] Wu Z P, Yang J, Liu H B, et al. A real-time object tracking via L2-RLS and compressed Haar-like features matching[J]. Multimedia Tools and Applications, 2016, 75(15): 9427-9443.
[11] KalalZ, MatasJ, MikolajczykK. P-N learning: bootstrapping binary classifiers by structural constraints[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE, 2010: 49- 56.
[12] Prasanna D, Prabhakar M. An effiecient human tracking system using Haar-like and hog feature extraction[J]. Cluster Computing, 2019, 22(S2): 2993-3000.
[14] WuY, LimJ, Yang MH. Online object tracking: a benchmark[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2411- 2418.
[15] Xiao ZY, Lu HC, WangD. Object tracking with L2-RLS[C]∥Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), November 11-15, 2012, Tsukuba, Japan. New York: IEEE, 2012: 1351- 1354.
[16] JiaX, Lu HC, Yang MH. Visual tracking via adaptive structural local sparse appearance model[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1822- 1829.
[17] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.
Article Outline
孙凯传, 柳晨华, 姚光顺, 杨大伟. 联合最小软阈值二乘和Haar-like特征匹配的视觉跟踪[J]. 激光与光电子学进展, 2019, 56(24): 241001. Kaichuan Sun, Chenhua Liu, Guangshun Yao, Dawei Yang. Visual Tracking Combined Least Soft-Threshold Squares with Haar-like Feature Matching[J]. Laser & Optoelectronics Progress, 2019, 56(24): 241001.