特征融合的尺度自适应相关滤波跟踪算法

李聪; 鹿存跃; 赵珣; 章宝民; 王红雨

doi:doi:10.3788/AOS201838.0515001

光学学报, 2018, 38 (5): 0515001, 网络出版: 2018-07-10

特征融合的尺度自适应相关滤波跟踪算法下载： 1047次

Scale Adaptive Correlation Filtering Tracing Algorithm Based on Feature Fusion

论文大纲

李聪鹿存跃 ^*赵珣章宝民王红雨

作者单位

上海交通大学电子信息与电气工程学院, 上海 200240

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为提高相关滤波(CF)跟踪算法的稳健性,并克服传统CF方法无法处理目标尺度变化以及未利用图像颜色特征等问题,提出了一种基于融合颜色特征的尺度自适应相关滤波改进跟踪算法。首先,将目标搜索区域从3原色(RGB)颜色空间转换到Lab颜色空间,提取搜索区域的Lab 3通道颜色特征;然后,融合Lab颜色特征与方向梯度直方图(HOG)特征得到多通道特征,利用核相关滤波(KCF)计算输出响应图并寻找图中最大响应位置即目标位置;最后,基于Lab颜色特征建立尺度模型,从当前帧的目标位置处截取不同尺度图像块,通过将其与尺度模型比较得到目标尺度最优估计。实验选取35段公开彩色视频序列进行测试,并将所提算法与其他5种跟踪性能较好的跟踪方法进行对比。实验结果表明,所提方法对彩色视频序列中的目标遮挡、变形、尺度变化等现象具有良好的适应性,其平均性能优于对比方法,同时具有76 frame·s ^-1的实时跟踪速度。

Abstract

In order to improve the robustness of correlation filtering (CF) tracking algorithm, and overcome the problems that the traditional CF method cannot handle target scale change and does not use image color feature, a scale adaptive tracking algorithm is proposed based on correlation filtering improvement with fused color features. Firstly, the target searching area of the image is transferred from the color space of the three primary colors (RGB) to the Lab color space to obtain the Lab three channel features of the search area. Then, Lab color features and histogram of oriented gradients (HOG) feature are fused to obtain the image feature of multi-channel. The kernelized correlation filtering (KCF) is used to get the output response chart and find the position of maximum response, namely target location. Finally, the scale model is established through the Lab color feature, and the different scale image blocks are intercepted from the current frame target position. Optimal estimation of the target scale is obtained when we compare the scale image blocks with scale models. 35 pieces of open color video sequences are selected in experiments for testing, and the proposed method is compared with five other tracking methods with excellent performance. Experimental results show that the proposed method is well adapted to the phenomena of target occlusions, deformation and scale change in color video sequences,and its average performance outperforms the other compared methods. At the same time, the real-time tracking speed of the proposed method is 76 frame·s -1.

1 引言

目标跟踪一般指在给定目标初始位置状态的条件下,在视频或图像序列中检测目标位置状态的过程。目标跟踪作为机器视觉领域的重要分支,近年来发展迅猛,在众多领域都有着广泛的应用,如在**领域中应用于导弹精确制导定位、海空域可疑目标监控等,在民用领域中应用于智能机器人、家宅视频监控等。通常目标在视频或图像序列中存在着外观变形、尺度变化、光照变化、快速旋转运动、背景相似干扰和视野丢失等现象^[1-2],这些现象的存在给目标准确跟踪带来了很大的困难,甚至会导致跟踪失败,是目前目标跟踪领域亟待解决的问题。研究人员针对各种现象与问题提出的跟踪方法层出不穷,但目前尚未出现通用解决方法,总体而言这些方法可以分为两大类:生成类方法^[3-4]和判别类方法^[5-6]。生成类方法一般对前一视频帧的目标区域进行建模,在当前帧查找与模型最相似的区域即目标位置;判别类方法一般从前一视频帧的目标区域与背景区域中提取正负训练样本,用机器学习的方法训练一个目标分类器,在当前帧用训练好的分类器检测目标位置。

基于相关滤波(CF)的跟踪方法属于判别类方法^[7-11],CF方法以其良好的跟踪性能和极高的计算效率,成为近年来目标跟踪领域除深度学习方法外最大的研究热点。CF方法一般在跟踪过程中利用从前一帧采集的训练数据集训练分类器,利用分类器去检测目标在当前帧的位置,之后更新训练数据集为当前帧采集的数据集,进而更新分类器。Bolme等^[7]将相关滤波用于目标跟踪,提出了误差最小平方和滤波(MOSSE)算法,利用图像灰度特征对分类器进行训练和目标检测;Henriques等^[8-9]引入核函数改进MOSSE算法,提出了循环结构核(CSK)算法和基于CSK算法改进的核相关滤波(KCF)算法,其中KCF算法使用多通道方向梯度直方图(HOG)特征替代灰度特征,跟踪精度得到显著提高;Danelljan等^[10]基于英语语境中常用的颜色名称将颜色分为11类,利用多通道颜色名(CN)特征去扩展CSK算法,提取了CN跟踪算法,也取得了不错的效果;Danelljan等^[11]通过引入目标位置与尺度滤波器实现目标尺度自适应变化,在目标尺度变化跟踪问题上取得了一定的成果。上述研究表明图像特征的选择对跟踪算法的性能影响巨大,然而这些方法仅利用图像的单一特征,利用单一特征解决跟踪问题时,当目标外观表现变化时容易积累模型误差,进而影响跟踪的稳健性,并且这些方法在跟踪过程中没有有效解决目标尺度变化的问题。

针对上述问题,本文在KCF算法框架的基础上,提出了一种基于融合颜色特征的尺度自适应相关滤波跟踪方法。首先在提取到图像HOG特征的基础上融合Lab颜色空间下的颜色特征,然后训练相关滤波分类器并用训练完成的分类器对每一帧的目标位置进行预测,最后利用Lab颜色特征构建目标尺度模型,实时更新目标尺度,进而实现目标尺度自适应跟踪。实验选取文献[ 1]中公开的彩色视频序列数据集对算法进行实验验证,并将本文算法与近年来出现的其他主流跟踪方法进行对比。结果表明,本文算法对彩色视频序列的平均跟踪精度优于其他方法,并能有效自适应目标尺度变化,其平均跟踪速度达到了76 frame·s^-1。

2 特征融合的尺度自适应跟踪

2.1 KCF跟踪算法

KCF跟踪算法首先在前一帧图像中以跟踪所得目标中心位置及其扩展一定范围大小的窗口经循环移位采集训练图像^[9],若采集得到的训练图像块为x,进行特征提取后对应的标签(回归)函数为y,设线性分类器模型f(x)=<w,φ(x)>,在正则化最小二乘并引入核函数的条件下,有

$\begin{matrix} w = ar g_{w} \min \sum {|< w, φ (x) > - y|}^{2} + λ {(w)}^{2}, (1) \end{matrix}$

式中:w为分类器系数;<·,·>表示内积;φ(x)为内核κ从原始空间到Hilbert特征空间的映射函数,定义核空间内积κ(x,x')=<φ(x),φ(x')>;λ≥0为正则化参数。

利用循环矩阵的性质以及离散傅里叶变换,求得最优解w=∑α_xφ(x),其中系数α_x可表示为

$\begin{matrix} α_{x} = F^{- 1} \{\frac{F (y)}{F [κ (x, x)] [κ (x, x)] + λ}\}, (2) \end{matrix}$

式中F和F^-1表示离散傅里叶变换和离散傅里叶逆变换。

KCF跟踪所采用的核为高斯核,高斯核函数为

$\begin{matrix} κ (x, x') = \exp (- \frac{|x - x'|}{σ^{2}}), (3) \end{matrix}$

式中:κ(x,x')=k^xx';σ为高斯核函数带宽参数。对于所有的循环位移块,k^xx'的计算为

$\begin{matrix} \begin{matrix} k^{xx'} = & \exp {- \frac{1}{σ^{2}} {{(x)}^{2} + {(x')}^{2} - 2 F^{- 1} [F (x) ☉ F^{*} (x')]}}, (4) \end{matrix} \end{matrix}$

式中☉表示元素点积。

KCF算法的跟踪过程就是根据上一帧分类器训练的结果,在当前帧以相同大小窗口截取图像块z,计算这些图像块在分类器中的输出响应值,响应值最大的位置即为被跟踪目标在当前帧的位置。响应值的计算表示为

$\begin{matrix} \hat{y} = F^{- 1} [F(k^{z \hat{x}}) ☉ F (\hat{α})], (5) \end{matrix}$

式中: $\begin{matrix} \hat{y} \end{matrix}$ 为输出响应值; $\begin{matrix} \hat{x} \end{matrix}$ 和 $\begin{matrix} \hat{α} \end{matrix}$ 分别表示学习得到的外观模板和目标外观模型参数。

2.2 融合Lab颜色特征与HOG特征

对于提取图像多通道特征作为输入的情况,k^xx'的计算公式可以改写为

$\begin{matrix} k^{xx'} = \exp \{- \frac{1}{σ^{2}} [{(x)}^{2} + {(x')}^{2} - 2 F^{- 1} (F)]\}, (6) \end{matrix}$

式中:F=F(x)☉F^*(x');x=[x₁,x₂,…,x_i]为图像的i通道特征。多通道特征条件下,算法的跟踪过程同前述过程一样。

根据(6)式,在HOG特征的基础上引入了Lab颜色特征。同最常见的RGB颜色空间不同,Lab颜色空间既不依赖光线,也不依赖颜料,它是国际照明委员(CIE)组织确定的一个颜色空间,理论上能描述自然界的所有色彩。Lab颜色空间3通道分量中L代表亮度,值域为[0,100],亮度随数值递增;a和b通道分量的值域都为[-128,127],当接近0时,它们的颜色变化较为显著,靠近值域上下限的颜色变化差异较小,其中a的正端代表红色,负端代表绿色,b的正端代表黄色,负端代表蓝色。RGB颜色空间(R代表红色分量,G代表绿色分量,B代表蓝色分量)无法直接线性变换到Lab颜色空间,需要以XYZ颜色空间为中介进行变换。RGB空间到XYZ空间的转换关系为^[12]

$\begin{matrix} \{\begin{matrix} X = 0.490 \times R + 0.310 \times G + 0.200 \times B \\ Y = 0.177 \times R + 0.812 \times G + 0.011 \times B \\ Z = 0.010 \times G + 0.990 \times B \end{matrix} 。 (7) \end{matrix}$

XYZ空间到Lab空间的转换关系^[12]

$\begin{matrix} \begin{matrix} L = 116 f (Y) - 16, a = 500 [f (\frac{X}{0.982}) - f (Y)], \\ b = 200 [f (Y) - f (\frac{Z}{1.183})], (8) \end{matrix} \end{matrix}$

式中:X≤0.008856时,f(X)=7.787X+0.138;X>0.008856时,f(X)= $\begin{matrix} X^{\frac{1}{3}} \end{matrix}$ 。

HOG特征是机器视觉领域最常用的图像特征之一,它将图像划分为较小的局部细胞元,通过在每一个细胞元上提取梯度信息,绘制梯度方向直方图。图像的几何和光照的变化只会出现在较大的空间领域,因此HOG对这两种形变都能保持良好的不变性,适合应用于图像检测领域。根据文献[ 13],采用31通道HOG特征描述目标。

该算法在基于HOG特征的基础上引入Lab空间下图像的颜色特征,将其与HOG特征融合后得到图像的多通道特征,将该多通道特征作为输入,目标外观在多特征融合下得到更好的描述,经过训练的分类器对目标的检测准确性也得到了提高。如图1所示,以Lemming视频序列中的第80帧(F80)图像为例,其中虚线框框定的范围为被跟踪目标,多个实线框框定的范围是扩展后的训练数据采集区域,将这些用于训练的图像块提取出的归一化Lab 3通道颜色特征和31通道HOG特征进行融合,得到34通道特征,并对分类器进行训练。分类器训练好后,同前述过程一样,依然利用循环位移得到搜索图像块,在多通道特征条件下利用核相关滤波算法计算第81帧的输出响应图,寻找图中的最大响应值,对应图像块的中心位置即为目标在当前帧的位置。之后的每一帧跟踪过程中心位置(P81)都经过相同的训练与检测方法完成。

图 1. 第t帧跟踪过程示意图

Fig. 1. Tracking process diagram of frame t

下载图片查看所有图片

2.3 目标尺度估计与更新

目标尺度的变化容易导致跟踪漂移现象的产生,KCF算法依赖循环矩阵,每次产生的训练样本以及之后跟踪过程截取的图像块大小都固定不变,因此它对于多尺度变化的目标跟踪效果并不理想。如图2所示,其中图2(a)为Carscale视频序列,序列从第80帧(F080)到200帧(F200)出现了目标尺度逐渐变大的现象,若没有自适应尺度变化,基于固定大小窗口提取的训练图像中包含了目标大量的局部特征,目标外观没有得到有效描述;图2(b)为David视频序列,序列从第300帧(F300)到400帧(F400)出现了目标尺度逐渐变小的现象,若没有自适应尺度变化,基于固定大小窗口提取的训练图像中则包含了过多的背景特征。以上两种情况都会导致目标跟踪精度的降低甚至导致跟踪失败,因此跟踪过程中自适应目标的尺度变化有助于提升算法的跟踪精度。

图 2. 目标尺度变化。(a) Carscale; (b) David

Fig. 2. Scale change of object. (a) Carscale; (b) David

下载图片查看所有图片

所提算法通过引入尺度金字塔模型^[11,14]并结合Lab颜色直方图特征来估计目标尺度。首先,由前一帧的跟踪结果获取目标的尺度模板:Lab颜色直方图特征模板L_t-₁和尺寸模板S_t-₁。对于Lab颜色空间,a和b通道的数值在接近0时即使出现微小的变化也会导致颜色的巨大差异,故通过非均匀量化的方式将a和b通道的各个数值量化区分为22个数值区间,其中正负两端各11个区间:[-127,-70],(-70,-60],(-60,-50],(-50,-40],(-40,-30],(-30,-25],(-25,-20],(-20,-15],(-15,-10],(-10,-5],(-5,0],正端数值划分方式与负端相同。统计a和b通道分量量化后的每个区间的数值作为图像的Lab直方图特征L。以当前帧的跟踪结果得到的目标位置为中心,截取22个不同尺度的图像S_i(S_i=i×S_min,S_min=S_t-₁/11,i∈[1,22]),经尺度变换为S_t-₁,提取S_i的Lab直方图特征L_i。对L_i与L_t-₁进行相似度计算,得到22个特征相似度值f(i)=f( $\begin{matrix} L_{i}, L_{t - 1} \end{matrix}$ ),其中最大相似度值为f_max,以该值对应的图像尺寸大小作为当前帧的最优尺寸,并估计S_t,对应的直方图特征为L_t。下一帧的更新尺度模板为L_t与S_t,并重复上述过程,即为尺度自适应过程。

如图3所示,图3(a)中实线为尺寸模板S_t-₁大小,实线内部截取尺度小于S_t-₁大小的图像,同理实线外部截取大于S_t-₁大小的图像;采样得到的22幅图像经变换与S_t-₁大小相同,如图3(b)所示。

图 3. 多尺度特征金字塔。(a)目标图像;(b)多尺度图像

Fig. 3. Multi-scale feature pyramid. (a) Object image; (b) multi-scale image

下载图片查看所有图片

当获得的最优尺寸S_t与模板尺寸S_t-₁之间的Lab直方图特征相似度值小于阈值λ_s时,采用线性加权法来更新第t帧的目标尺度模板:

$\begin{matrix} \{\begin{matrix} L_{t} = ε L_{t} + (1 - ε) L_{t - 1} \\ S_{t} = (1 - ε) S_{t} + ε S_{t - 1} \end{matrix}, (9) \end{matrix}$

式中ε为尺度模型更新学习率,反之不更新。

3 实验结果与分析

3.1 实验环境与参数设置

实验所用开发平台为MATLAB R2015b,所有实验均在硬件配置为Intel i7-4790 CPU(3.6 GHz)、8 GB内存的计算机上完成。实验中其他参数均使用KCF原作者提供的代码默认参数^[9],设置尺度更新阈值λ_s=0.8,尺度模型更新学习率ε=0.2。因该方法涉及到图像颜色特征,因此仅选取文献[ 1]中公开的35段彩色视频序列(剔除其余15段灰度视频序列),视频序列中囊括了背景遮挡、尺度变化、光照变化、目标旋转变形和运动模糊等各种现象。

选用最常用的3种指标评价跟踪算法性能:中心位置误差(CLE)、距离精度(DP)和重叠精度(OP)。其中,CLE评价指标指目标中心(x_T,y_T)和目标真实中心(x_G,y_G)之间的平均欧氏距离值,即 $\begin{matrix} \sqrt[]{(x_{T} - x_{G})^{2} + (y_{T} - y_{G})^{2}} \end{matrix}$ ;DP评价指标指CLE小于某一个阈值的百分比,选择阈值为20 pixel;对于OP评价指标,设R_T为第t帧跟踪结果,R_G为第t帧标注框区域,定义每一帧的跟踪得分为s_r,则

$\begin{matrix} s_{r} = \frac{area (R_{T} ⋂ R_{G})}{area (R_{T} ⋃ R_{G})}, (10) \end{matrix}$

式中∩表示取二者的重叠区域;∪表示取二者的覆盖总区域。根据PASCAL评价指标^[15],选择重叠率阈值为0.5,OP指标的数值即跟踪得分s_r大于0.5的帧数与序列总帧数的百分比值。

为验证该算法的性能,进行以下3种实验:1)进行不同颜色空间下颜色特征对算法跟踪性能的影响实验,对比研究不同颜色特征的选择对跟踪性能的影响;2)进行该算法与其他4种流行算法DSST(Discriminative Scale Space Tracker)^[11]、RPT(Reliable Patch Trackers)^[16]、SAMF(Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration)^[17]、TGPR(Transfer Learning Based Visual Tracking with Gaussian Processes Regression)^[18]以及基准算法KCF^[9]的整体性能对比实验,这4种流行方法均在相同配置的计算机上调用作者开源的代码进行实验,最后通过评价标准评价各个算法的优劣性;3)进行该算法与整体性能次好算法的定性、定量对比实验。

3.2 不同颜色特征性能对比

为研究不同颜色空间下的颜色特征对算法跟踪性能的影响,分别在5种不同颜色空间(Lab、RGB、YCbCr、HSV和rg颜色空间)下进行对比实验。分别提取每种颜色空间下的图像颜色特征,将其与HOG特征融合后进行实验,基准方法KCF仅利用图像的灰度特征进行实验。各种颜色特征下的算法跟踪性能如表1所示。

从表1数据可以看出,采用Lab颜色特征时相对其他颜色特征取得了最好的跟踪性能,采用HSV颜色特征时的跟踪性次之。相对于基准算法KCF,所提算法在Lab颜色空间下,CLE指标降低了54.6%,DP指标提升了13.1%,OP指标提升了22.8%,算法性能得到了明显的提升。

3.3 不同算法性能对比

表2记录了所提算法与其他5种算法在35段彩色视频数据集上的平均跟踪结果,其中包括CLE、DP、OP评价指标和平均跟踪速度指标(每秒处理的视频序列帧数,单位为frame·s^-1)。表格从左到右依据OP指标数值降序排列。

表 1. 不同颜色空间特征下所提算法与KCF算法的性能对比

Table 1. Comparison of performance of proposed algorithm and KCF algorithm under different color space features

Evaluation index	Lab	RGB	YCbCr	HSV	rg	KCF
Average CLE /pixel	19.4	39.3	46.3	24.6	38.5	42.7
Average DP /%	81.2	73.1	72.6	76.4	74.6	71.8
Average OP /%	74.3	68.3	65.6	71.3	64.5	60.5

查看所有表

表 2. 所提算法与其他算法的跟踪性能对比

Table 2. Comparison of performance of proposed algorithm and other algorithms

Evaluation	Proposed	SAMF	RPT	TGPR	DSST	KCF
Average CLE /pixel	19.4	34.4	48.5	56.3	50.3	42.7
Average DP /%	81.2	76.8	75.1	70.2	69.8	71.8
Average OP /%	74.3	70.4	64.6	63.4	61.8	60.8
Average speed /(frame·s^-1)	76.0	18.7	5.3	0.7	41.7	258.0

查看所有表

从表2数据可以看出,对于其他5种跟踪算法,在相同实验条件下所提出的方法在平均CLE、DP和OP 3个指标上均取到了最好的结果,排名第二的SAMF算法与所提算法在这3个指标上差距较小,但其跟踪速度仅为18.7 frame·s^-1,无法满足实时性需求。跟踪速度作为基准方法KCF的最大优势,高达258 frame·s^-1的速度远远超过其他比较方法,但受限于其跟踪精度,综合性能仍显不足。所提算法在引入特征融合与尺度自适应处理的情况下取得了76 frame·s^-1的平均跟踪速度,可以满足实时性的需求。

图4展示了几种方法的DP曲线与成功率曲线。其中,图4(a)为DP曲线,显示了不同CLE阈值下的DP评价指标数值,图中标注的数值代表阈值为20 pixel时的DP评价指标数值;图4(b)为成功率曲线,图中标注的数值代表每种方法成功率曲线与坐标轴围成的区域面积(AUC),AUC是机器学习算法的重要评价指标,其值越大表示分类器的分类效果越好,反映了算法的跟踪精度。从图4的两种曲线可以看出,所提算法对比其他算法均取得了最好的跟踪性能。

图 4. (a) DP曲线;(b)成功率曲线

Fig. 4. (a) DP plot; (b) success rate plot

下载图片查看所有图片

图 5. 不同方法的跟踪结果。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 5. Tracking results of different approaches. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

下载图片查看所有图片

3.4 不同算法定性、定量对比

图5为实验的部分跟踪结果,其中不同颜色实线框表示SAMF算法、基准算法KCF以及所提算法的跟踪结果,选取每段视频序列中两帧的结果进行展示。这6段视频序列分别为basketball[图5(a)]、carscale[图5(b)]、David[图5(c)]、girl[图5(d)]、shaking[图5(e)]和singer2[图5(f)],它们包含了常见的跟踪问题,如目标遮挡[图5(a)、(b)、(d)]、尺度变化[图5(a)、(c)、(b)、(d)、(e)]、光照变化[图5(c)、(f)]、旋转变化[图5(a)、(b)、(c)、(d)、(e)]、目标变形[图5(a)、(c)、(f)]、运动模糊[图5(a)、(c)]等。从图5(b)、(c)可以明显看出,对于目标尺度出现变化的跟踪问题,KCF算法不能完整地标注目标,而SAMF算法表现稍好,但对比所提算法仍显不足,所提算法能够准确完整地标注出目标位置。图5(e)的跟踪结果中,KCF算法出现了跟踪漂移现象,通过查看完整视频序列,发现跟踪漂移现象出现的原因是目标快速运动、旋转变化,KCF跟踪器误将目标周围的物体检测成目标,导致之后的跟踪一直处于跟踪错误目标的状态,而SAMF算法和所提算法则比较准确地跟踪上了目标。3种算法在多数序列中都能有效地跟踪目标,具有一定的稳健性,所提算法表现最好,KCF算法表现最差,并且通过前面分析可以知道,所提算法能有效地解决尺度变化的跟踪问题。

图6为3种算法在6段视频序列下的DP曲线,每种算法在阈值为20 pixel时的DP数值如表3所示。可以看出,所提算法的DP表现最优。从图6(e)中可以明显看出,KCF算法出现跟踪漂移现象,故其DP极差。

图 6. 各个算法DP。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 6. DP of algorithms. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

下载图片查看所有图片

图 7. 跟踪漂移现象。(a) Lemming; (b) MotorRolling

Fig. 7. Tracking drift phenomenon. (a) Lemming; (b) MotorRolling

下载图片查看所有图片

表 3. 各个算法的DP

Table 3. DP of different algorithms

Sequence	Proposed	SAMF	KCF
Basketball	1.00	0.97	0.92
Carscale	0.98	0.85	0.80
David	0.93	0.85	0.84
Girl	0.95	0.94	0.86
Shaking	0.94	0.91	0.03
Singer2	1.00	1.00	0.94

查看所有表

所提算法虽然对大部分视频序列都有较好的跟踪效果,但依然存在跟踪漂移的现象,如图7所示。

图7(a)、(b)对应的视频序列分别为Lemming和MotorRolling,选取其中成功与失败后的各一帧结果。可以看出,对于这两段视频序列,所提方法和KCF方法均发生跟踪漂移现象,跟踪失败。对于Lemming视频序列,两种方法对视频前300帧的跟踪表现良好,跟踪到300~450帧时,目标物大范围隐藏在了背景干扰物后面,即形成了长时间大范围的遮挡现象,而这段时间分类器提取的训练样本没有包含正样本,经过错误的训练后,分类器无法对下一帧的目标进行正确的检测,于是跟踪失败。对于MotorRolling视频序列,目标快速运动产生了运动模糊现象,并且目标经过了大于360°的旋转,目标两帧位置差异过大的时候,分类器提取的训练样本仅一部分包含正确的目标,同样导致跟踪失败。对于这种现象,可以增大搜索框搜索范围,但随之有可能带来跟踪速度下降的问题。

4 结论

在传统KCF跟踪算法的基础上提出了一种基于融合颜色特征的尺度自适应目标跟踪改进方法。引入Lab颜色空间下的图像颜色特征,将其与HOG特征融合,并利用相关滤波分类器计算输出响应,颜色特征的引入增强了相关滤波分类器对彩色图像序列的跟踪性能;另外,通过引入尺度金字塔模型与Lab颜色特征直方图对目标尺度进行估计和更新,有效地解决了目标尺度变化带来的跟踪问题。实验结果表明,与其他算法相比,所提算法在复杂场景中具有更强的稳健性和更高的跟踪精度,76 frame·s^-1的平均跟踪速度也能满足实时性的要求;另外,当目标出现长时间、大范围的遮挡或高速运动现象时,跟踪结果不理想,之后的相关研究可以采取自适应学习策略对算法进行改进。

参考文献

[1] WuY, LimJ, Yang MH. Online object tracking: a benchmark[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 2013: 2411- 2418.

[2] Smeulders A W M, Chu D M, Cucchiara R, et al. . Visual tracking: an experimental survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7): 1442-1468.

[3] 张旭光, 张云, 王艳宁, 等. 基于遗忘因子与卡尔曼滤波的协方差跟踪[J]. 光学学报, 2010, 30(8): 2317-2323.

Zhang X G, Zhang Y, Wang Y N. Covariance tracking based on forgetting factor and Kalman filter[J]. Acta Optica Sinica, 2010, 30(8): 2317-2323.

[4] Vojir T, Noskova J, Matas J. Robust scale-adaptive mean-shift for tracking[J]. Pattern Recognition Letters, 2014, 49: 250-258.

[5] 刘威, 赵文杰, 李成. 时空上下文学习长时目标跟踪[J]. 光学学报, 2016, 36(1): 0115001.

LiuW, Zhao WJ, LiC. Long-term visual tracking based on spatio-temporal context[J]. Acta Optica Sinica, 2016( 1): 0115001.

[6] 蔡玉柱, 杨德东, 毛宁, 等. 基于自适应卷积特征的目标跟踪算法[J]. 光学学报, 2017, 37(3): 0315002.

Cai Y Z, Yang D D, Mao N, et al. Visual tracking algorithm based on adaptive convolutional features[J]. Acta Optica Sinica, 2017, 37(3): 0315002.

[7] Bolme DS, Beveridge JR, Draper BA, et al. Visual object tracking using adaptive correlation filters[C]. 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Francisco, CA, USA, 2010: 2544- 2550.

[8] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision-ECCV 2012. ECCV 2012. Lecture Notes in Computer Science, Berlin, Heidelberg: Springer, 2012, 7575: 715- 720.

[9] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[10] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 1090- 1097.

[11] DanelljanM, HägerG, Khan FS, et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference,Guildford: BMVA Press, 2014: 1- 11.

[12] 许莉, 王敏, 温月, . 基于. Lab 颜色空间的运动目标检测[J]. 华中科技大学学报(自然科学版), 2013, 41(s1): 219-222.

Xu L, Wang M, Wen Y. Moving object detection using LAB color space[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2013, 41(s1): 219-222.

[13] 徐玉龙, 王家宝, 李阳, 等. 融合颜色特征的尺度自适应相关跟踪[J]. 计算机应用研究, 2017, 34(3): 945-948.

Xu Y L, Wang J B, Li Y, et al. Scale adaptive correlation tracking combined with color features[J]. Application Research of Computers, 2017, 34(3): 945-948.

[14] 李双双, 赵高鹏, 王建宇. 基于特征融合和尺度自适应的干扰感知目标跟踪[J]. 光学学报, 2017, 37(5): 0515005.

Li S S, Zhao G P, Wang J Y. Distractor-aware object tracking based on multi-feature fusion and scale-adaption[J]. Acta Optica Sinica, 2017, 37(5): 0515005.

[15] Everingham M, Gool L V. Williams C K I, et al. The pascal visual object classes (voc) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[16] LiY, Zhu JK, Hoi S C H. Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 353- 361.

[17] LiY, Zhu JK. A scale adaptive kernel correlation filter tracker with feature integration[C]∥Agapito L, Bronstein M, Rother C. Computer Vision-ECCV 2014 Workshops. ECCV 2014. Lecture Notes in Computer Science, Cham: Springer, 2014, 8926: 254- 265.

[18] GaoJ, LingH, HuW, et al. Transfer learning based visual tracking with Gaussian processes regression[C]∥Fleet D, Pajdla T, Schiele B, et al. Computer Vision-ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, Cham: Springer, 2014, 8691: 188- 203.

李聪, 鹿存跃, 赵珣, 章宝民, 王红雨. 特征融合的尺度自适应相关滤波跟踪算法[J]. 光学学报, 2018, 38(5): 0515001. Cong Li, Cunyue Lu, Xun Zhao, Baomin Zhang, Hongyu Wang. Scale Adaptive Correlation Filtering Tracing Algorithm Based on Feature Fusion[J]. Acta Optica Sinica, 2018, 38(5): 0515001.

特征融合的尺度自适应相关滤波跟踪算法下载： 1047次

1 引言

2 特征融合的尺度自适应跟踪

2.1 KCF跟踪算法

2.2 融合Lab颜色特征与HOG特征

图 1. 第t帧跟踪过程示意图

Fig. 1. Tracking process diagram of frame t

2.3 目标尺度估计与更新

图 2. 目标尺度变化。(a) Carscale; (b) David

Fig. 2. Scale change of object. (a) Carscale; (b) David

图 3. 多尺度特征金字塔。(a)目标图像;(b)多尺度图像

Fig. 3. Multi-scale feature pyramid. (a) Object image; (b) multi-scale image

3 实验结果与分析

3.1 实验环境与参数设置

3.2 不同颜色特征性能对比

3.3 不同算法性能对比

表 1. 不同颜色空间特征下所提算法与KCF算法的性能对比

Table 1. Comparison of performance of proposed algorithm and KCF algorithm under different color space features

表 2. 所提算法与其他算法的跟踪性能对比

Table 2. Comparison of performance of proposed algorithm and other algorithms

图 4. (a) DP曲线;(b)成功率曲线

Fig. 4. (a) DP plot; (b) success rate plot

图 5. 不同方法的跟踪结果。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 5. Tracking results of different approaches. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

3.4 不同算法定性、定量对比

图 6. 各个算法DP。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 6. DP of algorithms. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

图 7. 跟踪漂移现象。(a) Lemming; (b) MotorRolling

Fig. 7. Tracking drift phenomenon. (a) Lemming; (b) MotorRolling

表 3. 各个算法的DP

Table 3. DP of different algorithms

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

特征融合的尺度自适应相关滤波跟踪算法 下载： 1047次

1 引言

2 特征融合的尺度自适应跟踪

2.1 KCF跟踪算法

2.2 融合Lab颜色特征与HOG特征

图 1. 第t帧跟踪过程示意图

Fig. 1. Tracking process diagram of frame t

2.3 目标尺度估计与更新

图 2. 目标尺度变化。(a) Carscale; (b) David

Fig. 2. Scale change of object. (a) Carscale; (b) David

图 3. 多尺度特征金字塔。(a)目标图像;(b)多尺度图像

Fig. 3. Multi-scale feature pyramid. (a) Object image; (b) multi-scale image

3 实验结果与分析

3.1 实验环境与参数设置

3.2 不同颜色特征性能对比

3.3 不同算法性能对比

表 1. 不同颜色空间特征下所提算法与KCF算法的性能对比

Table 1. Comparison of performance of proposed algorithm and KCF algorithm under different color space features

表 2. 所提算法与其他算法的跟踪性能对比

Table 2. Comparison of performance of proposed algorithm and other algorithms

图 4. (a) DP曲线;(b)成功率曲线

Fig. 4. (a) DP plot; (b) success rate plot

图 5. 不同方法的跟踪结果。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 5. Tracking results of different approaches. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

3.4 不同算法定性、定量对比

图 6. 各个算法DP。(a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

Fig. 6. DP of algorithms. (a) Basketball; (b) carscale; (c) David; (d) girl; (e) shaking; (f) singer2

图 7. 跟踪漂移现象。(a) Lemming; (b) MotorRolling

Fig. 7. Tracking drift phenomenon. (a) Lemming; (b) MotorRolling

表 3. 各个算法的DP

Table 3. DP of different algorithms

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

特征融合的尺度自适应相关滤波跟踪算法下载： 1047次