1 引言

在增强现实系统中,往往需要对运动目标叠加虚拟信息,以提升人们对客观事物的感知。例如在机械装配维修中,为运动的机械部件添加虚拟装配提示文字或图像,以辅助用户操作等^[1],类似的应用广泛适用于教育、医学、**等各个领域^[2]。增强现实系统一般包括光学系统、三维跟踪注册和实时交互等内容^[3],而跟踪注册实现了虚拟信息与真实环境的配准与融合,是增强现实技术实现的关键和难点。

目前运动目标的跟踪注册问题,大多数都是基于特征点的跟踪与匹配策略,该策略采用基于特征点的跟踪方式实现^[4],如光流法^[5]。但是该方法受噪声影响大,尤其是在复杂环境中,特征点检测不稳定。目标移动可能会造成特征点丢失且无法找回的问题,那么在长时间的跟踪中,误差的累积将无法保证跟踪注册的持续稳定性,从而导致虚拟模型注册失败。均值漂移算法^[6-8]是一种基于区域的生成类跟踪算法,该方法运算简单快速,具有边缘遮挡、目标旋转、形变不敏感等诸多优势。Vojir等^[7]提出尺度自适应均值漂移算法,在均值漂移算法中加入了尺度估计机制,并引入背景加权(BRW)区分目标和背景区域,提高了跟踪器的性能,但是长时间跟踪易丢失的问题没有得到很好的解决;刘斌等^[9]基于四通道不可分小波的目标区域分割提高了均值漂移算法对噪声干扰、目标形变、尺度变化的跟踪效果,但是没有充分考虑受遮挡情况;胡威^[10]结合卡尔曼滤波和帧差法减少了均值漂移算法的匹配迭代次数和快速运动目标丢失的问题,但是在复杂背景下跟踪准确率还有待提高。在目标的特征检测方面,熟悉的特征检测算法有尺度不变特征变换(SIFT)^[11]、快速稳健特征(SURF)^[12]等,虽然SIFT和SURF可以检测出大量稳定可靠的特征点,但是计算复杂,达不到增强现实系统实时性的要求。而二进制描述(ORB)^[13]算法,在计算速度方面,比 SIFT 高出2个数量级,比 SURF高出1个数量级,且效果不亚于另外两种算法。

在目标跟踪方面,上述方法已经进行了很大的改进,但它们仅从噪声干扰、目标丢失等某一方面去完善,因此整体的跟踪效果仍可提高,且针对基于特征点跟踪与匹配的跟踪注册方法,尤其在一些复杂场景中,目标跟踪检测的准确率不高,甚至受严重遮挡以后特征点跟踪失败所存在的问题的影响,本文将改进的基于区域的跟踪方法与基于局部特征点检测方法相结合,首先将显著性检测运用到目标跟踪框架中,并利用均值漂移算法的运算机制预测中心位置,生成结合中心先验的显著图,有效降低非目标背景区域的影响;其次引入形变多样相似性匹配(DDIS)机制,如果目标丢失,则使用模板匹配重新定位目标以继续跟踪,提高连续跟踪的稳定性;然后得到准确的待注册目标区域,并缩小特征检测空间,此时对局部目标区域采用改进尺度不变性的ORB算法进行特征点检测与匹配,并采用随机抽样一致性(RANSAC)^[14]算法优化特征匹配质量;最后计算得到注册参数完成三维注册。利用本文方法对视频序列图像进行测试,通过实验验证,表明本文方法提高了跟踪精度,并有效解决目前跟踪注册方法中误差累计导致模型注册渲染失败的问题。本文方法在保持实时性的同时,跟踪注册效果更加稳定。

2 混合跟踪注册

本文混合跟踪注册主要分为4个部分,显著性检测模块、均值漂移算法跟踪模块、DDIS目标重定位模块和三维注册模块,图1为整个算法的框架。

图 1. 混合跟踪注册算法整体框架

Fig. 1. Overall framework of mixed tracking registration algorithm

下载图片 查看所有图片

2.1 基于中心先验的显著性检测

2.1.1 显著性检测算法

视觉注意机制能够对输入的图像序列进行有选择的处理,为目标跟踪算法筛选出有用信息,并且能够降低信息处理的计算量,从而提高信息处理的效率。

HC算法^[15]是一种基于全局颜色对比度的显著性检测算法,一个像素的显著值是通过与图像中的所有其他像素的色差来定义的。视频序列图像I中每一个像素点表示为I_k,I_k为第k个像素点,其显著值定义为

S(Ik)=∑∀Iki∈ID(Ik,Iki),(1)

式中:D(I_k,I_ki)为像素I_k和I_ki在L^*a^*b^*空间的颜色距离度量,I_ki为第ki个像素点。(1)式可以按照像素顺序展开为

S(Ik)=D(Ik,I1)+D(Ik,I2)+…+D(Ik,IN),(2)

式中:N为图像I的像素数。由于忽略了空间关系,在这种定义下具有相同值的像素具有相同的显著值,那么对(2)式进行重排,使得具有相同颜色值c_e的像素归到一起,得到每个颜色的显著值,即

S(Ik)=S(cl)=∑j'=1m'feD(cl,ce),(3)

式中:c_l为像素I_k的颜色值;c_e为某一类相同颜色值;m'为图像中所含的颜色总数;f_e为在c_e图像I中出现的概率;e为某一颜色种类。

2.1.2 融合中心先验的显著性检测

在实际场景中,由于复杂背景的影响,目标区域可能不是唯一生成的显著区域,从而会影响目标跟踪注册的质量,为此本文将中心先验与显著性检测融合,得到更加合理的显著图。而传统的中心先验理论以人的经验(重要的景物通常会位于视野的中央)作为图像显著性检验的先验知识,但是其更多地强调图像中心部分,会导致偏离中心的目标区域检测效果的下降^[16],因此基于采用均值漂移算法得到的目标预测位置来估计显著性目标区域,建立一个峰值位于候选目标预测中心位置y_k的二维高斯模型来定义中心先验值^[17],即

S'ic(Ik)=exp-xIk-x2δx2-yIk-y2δy2,(4)

式中:(x_Ik,y_Ik)为图像的像素点坐标(x,y)为候选目标时预测得到的中心位置坐标;δ_x和δ_y分别为水平和垂直的方差。

另外,为避免预测位置误差累计导致的中心偏差,在计算中心先验值时进行校正,即

Sic(Ik)=S'ic(Ik),B≥ε1,B<ε,(5)

式中:S_ic(I_k)为校正后的中心先验值;B为由目标模型与候选模型计算得到的相似度量值;ε为相似度量阈值。

本文通过相乘的方式将2.1.1节中得到的显著图与中心先验图进行融合,从而得到以目标预测中心位置形成的图像显著值,表达式为

Si(Ik)=S(Ik)·Sic(Ik)。(6)

采用基于均值漂移算法得到目标预测位置的方法来估计较为可靠的显著区域,滤除由复杂背景引起的非目标区域的噪声,并且突出目标区域的显著性特征,显著性检测效果如图2所示。

图 2. 结合中心先验的显著性仿真结果。(a)原图像;(b)全局显著图;(c)中心先验显著图

Fig. 2. Simulation results of salience combined with center prior. (a) Original image; (b) global salience map; (c) salience map with center prior

下载图片 查看所有图片

2.2 结合显著性检测的均值漂移算法

均值漂移算法^[6-8]是一种基于密度梯度上升的无参数估计方法。它采用目标的颜色直方图作为描述特征,利用相似度量函数计算目标模型和候选目标模型的相似性,通过不断迭代均值漂移向量使得算法收敛于目标的真实位置,从而达到跟踪的目的。然而其会受到相似颜色背景的干扰,导致无法得到正确的搜索目标。而采用2.1节的方法来检测目标显著性,可以均匀地突出目标,有效筛选显著信息,因此,本文将基于中心先验的显著性检测算法融合到均值漂移算法的框架中。对视频序列进行显著性检测,根据(6)式中计算得到的显著值,采用统计直方图的方法来描述目标模型,那么在初始帧的目标搜索框中,目标模型特征值u=1,…,m的概率描述为

qu=C∑i=1nkxi-x0h‖2δ[b(xi)-u],(7)

式中:C为归一化常数,使得所有特征值的概率和为1;k(·)为核函数,其作用是对各点加权以消除不同大小目标计算时的影响;x₀和x_i分别为初始化搜索窗口的中心像素坐标和窗口内第i个像素坐标;δ[b(x_i)-u]用来判断目标区域的x_i处的颜色值是否属于特征值u;b(x_i)为目标区域的x_i处的像素特征值;h为核函数窗口大小,决定着权重分布;其他参数同目标模型描述。

同样地,假设在当前帧中,候选目标区域内以y_k为中心,候选目标模型特征值u=1,…,m的概率描述为

pu=C∑j=1nkyk-xjh‖2δ[b(xj-u],(8)

式中:y_k和x_j分别为候选目标区域的中心像素坐标和第j个像素坐标;其他参数同目标模型描述。

利用Bhattacharyya系数计算目标模型q_u与候选模型p_u(y_k)的相似性,具体定义为

U[q,p(yk)]=∑u=1mpu(yk)qu,(9)

式中:U[q,p(y_k)]为q_u和p_u(y_k)的Bhattacharyya系数,几何意义为单位向量角余弦函数值; q和p(y_k)为目标特征模型和候选特征模型;q_u和p_u(y_k)为目标与候选目标不同特征值的直方图模型。 U^(y_k)的取值范围为[0,1],取值越大,此时的候选区域模型与目标模型相似度越高,候选区域越接近真实目标区域。

2.3 DDIS重定位

利用动态跟踪窗口,采用均值漂移算法来解决连续目标跟踪的问题,但是当背景杂乱或目标遮挡时,会影响目标跟踪效果甚至丢失目标。因此,将第一帧图像选择的跟踪注册目标保存为模板图像,利用(9)式计算此时的相似系数,若小于阈值0.2,则认为目标丢失,此时采用形变多样相似性模板匹配算法对目标进行遍历映射,重新搜索目标,然后继续采用均值漂移算法进行目标跟踪,实现连续、准确的跟踪,增强系统的完整性。

DDIS^[18] 是一种依赖于局部外观和几何信息的新的模板匹配度量方法,它对背景杂波、目标形变和受遮挡情况具有稳健性。DDIS包括外观和形变两个相似性度量部分。定义P为模板点集,P= {pt}t=1N,其中p_t为第t个模板内的点,N为模板点集的总数;Q为目标点集,Q= {qg}g=1M,其中q_g为第g个目标内的点,M为目标点集的总数;p_t,q_g∈R^d,R为模板点与目标点的集合,d为维数。对于点集Q中任意一点q_g,定义其外观模型的最近邻为

pt=NNa(qg,P)=argmindpt∈P(pat,qag),(10)

式中:d( pta, qga)为两者外观模型之间的距离; pta和 qga为图像块p_t和q_g的外观模型; plt和 qlg为图像块p_t和q_g的空间位置坐标;NN^a为点p_t∈P,q_g∈Q在外观属性上的最近邻。

定义κ(p_t)为q_g∈Q属于模板点集P最近邻的数目,即

κ(pt)=qg∈QNNa(qg,P)=pt。(11)

定义q_g和其最近邻p_t之间的位置距离为r_g=d( qlg, plt),距离越大,意味着由p_t到q_g的形变程度越大。由外观距离和位置距离可以得到DDIS的解析式为

DQ→PDDIS=c∑qg∈Q1rg+1·exp1-κ[NNa(qg,P)],(12)

式中c为正则项。特别地,当q_g的最近邻是唯一时,即κ[NN^a(q_g,P)]>1,则指数项较小,q_g的贡献也较小。另外,q_g与其NN^a的空间位置距离越大,那么r_j越大,其贡献也越小。

2.4 基于多尺度的ORB目标特征检测

利用混合跟踪方法得到待注册目标区域,对目标区域进行尺度空间ORB特征检测,得到具有尺度不变性和旋转不变性的二进制描述子,采用汉明距离匹配以后通常还存在错误匹配,这时采用随机抽样一致性算法进一步剔除错误匹配,由此计算出注册参数,完成虚拟信息的注册。

2.4.1 特征点提取与描述

ORB由FAST特征检测和BRIEF描述符组成,虽然能够很好地抵抗图像的缩放、仿射和旋转变化,但是不具有尺度不变性。因此首先构建8层尺度金字塔,由原始图像作为第一层,原始图像1.5倍采样作为第二层,然后分别进行2倍下采样并将这两个序列图像交叉放置。为了既能精确检测特征点又能提高运算速度,采用每层中仅有一张不同模糊程度的图像。对图像进行FAST特征检测,如图3(a)所示,用目标图像某一像素点p',以半径r构造圆周,若圆周上存在t'个(一般取值为12)连续像素q',则均满足

I(p')-I(q')>γ,(13)

式中:I(p')为圆周中心像素的灰度值;I(q')为圆周上任意一像素点的灰度值;γ为根据经验选取的阈值,则认为像素点p'为一个特征点。采用Harris响应函数对所有关键点进行排序,保留响应值大的前T个点。图像空间和相邻尺度空间的特征点通过二维二次函数插值和一维函数插值方式就可拟合出具有尺度不变性的特征点位置。

图 3. 特征提取示意图。(a) FAST特征检测;(b) BRIEF特征描述子

Fig. 3. Schematics of feature extraction. (a) FAST feature detection; (b) BRIEF feature descriptor

下载图片 查看所有图片

BRIEF是一种二进制描述子,对图像进行高斯滤波平滑处理以后,以某一特征点p为中心,选取n'个点对,如图3(b)所示,通过二进制比较准则构建二进制串描述符,即

τ(p;x,y)=1,p(x)≥q(y)0,p(x)<q(y),(14)

式中:τ被定义为一个二进制准则;p(x)和q(y)分别对应点x和点y处的图像灰度值。以上过程重复n'次,得到长度为n'的一个二进制位,即

fn'p=∑1≤i≤n'2i-1τ(p;x,y)。(15)

BRIEF描述子不具有旋转不变性, 针对旋转性问题,ORB算法采用灰度质心法给每个特征点赋予方向信息,使描述向量具有旋转不变性,得到最终的描述子f_n'(p)。

2.4.2 特征点匹配

采用汉明距离进行特征匹配,通过按位“异或”运算完成两个特征点的ORB描述符,得到两者的汉明距离。进行距离度量以后,仍旧存在着大量错误匹配,为提高注册精度,采用随机抽样一致性算法剔除错误匹配对,最终效果如图4所示,进而得到单应性矩阵并计算出相应的注册参数。

图 4. 特征匹配示意图。(a)汉明距离匹配;(b)剔除错误匹配

Fig. 4. Schematic of feature matching. (a) Hamming distance matching; (b) eliminating mismatches

下载图片 查看所有图片

3 实验结果与分析

本实验硬件配置为处理器Intel(R)Core(TM)i7-6700 CPU,3.40 GHz,内存32 G,Windows 7操作系统,运行平台为Matlab 2015b和Visual Studio 2015,基于OpenCV计算机视觉库和OpenGL图形库,摄像头为罗技 C270,手动标记目标在第一帧中的位置。

为验证算法的跟踪性能,将其与4种算法进行对比,具体包括尺度自适应均值漂移算法(ASMS)^[6]、时空上下文跟踪算法(STC)^[19]、基于单一颜色特征的粒子滤波算法(PF)^[20]、基于角点的光流跟踪算法(LK)。其中,PF、ASMS是与本文方法类型一致的生成类目标跟踪算法,STC是与本文方法类型不同的判别类目标跟踪算法,LK是基于特征点跟踪的目标跟踪算法,它是目前增强现实跟踪注册中主流的跟踪算法。选取的视频数据集Box序列和Liquor序列分别包含背景杂波以及目标部分遮挡和完全遮挡的情况。

3.1.1 运动目标跟踪结果及分析

跟踪结果如图5所示,可以看出在Box序列中,PF采用基于单一颜色特征方式,从30 frame以后产生错误跟踪,跟踪准确性差;ASMS在275 frame以后丢失了目标;STC在260 frame出现跟踪漂移导致后续目标丢失;LK在300 frame以后出现了较大的跟踪误差;而本文方法加入了中心先验的显著性检测,克服了相似背景的干扰,引入重定位模块后,提高了杂乱背景下的跟踪稳健性,仍能稳健地跟踪目标。在Liquor序列中,STC表现次优;而ASMS和PF在350 frame左右都发生错误跟踪的情况;ASMS采用单一颜色特征描述目标模型,在355 frame时,目标受部分遮挡,之后更是错误跟踪了另一个相似目标;LK在386 frame时目标出界,以后更是无法重新找回目标;而本文算法整体跟踪情况良好,在507 frame时,目标被完全遮挡,此时相似系数小于阈值,采用DDIS搜索目标,重新定位目标,认为509 frame时寻找到目标并继续跟踪,提高了跟踪的稳定性。

图 5. 各算法的跟踪结果。(a) Box序列;(b) Liquor序列

Fig. 5. Tracking results of different algorithms. (a) Box sequence; (b) Liquor sequence

下载图片 查看所有图片

为更加直观地表示各跟踪算法的跟踪精度,采用中心误差^[21]进行定量分析,如图6和表1所示,在背景杂波的Box序列中,本文结合显著性检测的混合跟踪方法,取得最优跟踪结果,平均中心误差约7.85212 pixel,远远优于其他4种方法;在目标遮挡变化的Liquor序列中,本文方法平均中心误差小于STC,约为6.51653 pixel,仍优于另外2种基于单一颜色特征的目标跟踪算法及基于角点的光流跟踪算法。实验结果表明,本文混合跟踪方法在背景杂波、目标遮挡等可能导致目标丢失的情况下,均具有较好的跟踪效果。

图 6. 各算法的中心位置误差。(a) Box序列;(b) Liquor序列

Fig. 6. Central position errors of different algorithms. (a) Box sequence; (b) Liquor sequence

下载图片 查看所有图片

图 7. Box序列跟踪注册结果。(a) ORB特征与光流法;(b)本文方法

Fig. 7. Tracking registration results of Box sequence. (a) ORB feature and optical flow method; (b) proposed method

下载图片 查看所有图片

图 8. Liquor序列跟踪注册结果。(a) ORB特征与光流法;(b)本文方法

Fig. 8. Tracking registration results of Liquor sequence. (a) ORB feature and optical flow method; (b) proposed method

下载图片 查看所有图片

3.1.2 算法时间对比与分析

表2为本方法与其他4种对比算法在Box序列和Liquor序列上的平均速度,可以看出,粒子滤波算法的速度总体上最慢,而本文方法相比较时空上下文算法、尺度自适应均值漂移算法及光流算法跟踪,虽然运算速度相对较慢,但是加入了中心先验的显著性检测及重定位模块,准确性和稳定性有较大的提高,且基本满足实时性的需求。

3.2 运动目标的注册结果对比及分析

对视频每一帧场景进行渲染注册,将虚拟彩色立方体渲染到盒子和瓶子的正前方。截取4个不同阶段的跟踪注册情况,如图7(a)所示,可以看出,随着帧数增加,渲染的彩色立方体偏移明显较大,且光流法在跟踪过程中,由于错误跟踪了一些特征点,因此特征点出现误匹配,从而出现较大的注册误差。而在图7(b)中,本文方法在待注册目标移动过程中,混合跟踪注册方法不易丢失目标,彩色立方体可较为准确地与待注册目标区域融合。在Liquor序列中,如图8(a)所示,ORB特征与光流法在355 frame目标受到部分遮挡以后,彩色立方体的姿态发生变化,随着图像帧数增加误差不断累积,当在397 frame时,目标超出边界以后已经无法正常渲染注册。而如图8(b)所示,本文方法在受到遮挡以后渲染注册也受到一定的干扰,但是在后续变化中,仍能保持彩色立方体放置在瓶子的正前方,不受影响。综上分析,本文增强现实跟踪注册方法有着更好的稳定性。

4 结论

针对目前增强现实系统基于特征点的跟踪注册方法存在的问题,本文采用中心先验的显著性检测,抑制相似背景区域对运动目标的干扰,提高了均值漂移算法的跟踪准确性,并且结合DDIS算法,在目标丢失时重新初始化目标,保证了跟踪注册的稳定性和准确性。在跟踪到的待注册目标的基础上采用ORB算法进行特征检测,在保持尺度、旋转等不变的同时,确保运算速度和准确性。实验结果表明,本文增强现实混合跟踪注册方法在复杂背景下具有更好的精确性,在目标受遮挡或者目标丢失等长时间跟踪的场景中,依旧可以较为准确地进行注册,因此具有更好的稳定性。本文方法对纹理丰富的对象有很好的适用性,但是没有考虑到基于特征点方式对于弱纹理或者无纹理对象可能出现的跟踪注册失败的问题。下一步拟从轮廓特征的角度,研究无纹理物体的增强现实跟踪注册姿态求解问题。