1 引言

运动目标检测技术是计算机视觉和数字图像处理领域的重要研究内容,近年来国内外学者对该问题进行了大量研究。常见的运动目标检测方法主要有帧差法^[1]、光流法^[2]、背景剪除法^[3]等。其中背景剪除法应用最为广泛,其特点是通过提取视频中相应数据对视频场景中的背景进行建模。最具代表性的背景剪除算法有高斯混合模型(GMM)^[4-6]、视觉背景提取(Vibe)算法^[7-11]等。Barnich等^[12]提出基于像素的非参数化随机样本模型,即Vibe算法,它通过收集背景样本来构建背景模型,并将待检测序列中某像素点的特征与其背景模型进行匹配,通过阈值判断对该点进行背景前景划分,如果该点被划分为背景,则将其特征值向该点及其邻域点样本集中,以一定概率随机更新。该算法具有计算量小、处理速度快以及应对噪声稳定性好等特点,非常适合嵌入中小型视频设备中。

Vibe算法在复杂环境中检测运动目标时仍存在一些问题,比如:算法初始化时存在前景目标或静止目标突然运动而出现鬼影的现象;复杂环境中的动态背景因素会使得相应像素点值在时域中频繁变化,导致动态背景被误检为前景,使结果中出现大量噪声。

针对这些问题,本文综合考虑算法在复杂环境下的准确性及有效性,在Vibe算法基础上提出通过分析像素点的鬼影程度,动态调整像素点在空间中的传播速率,提高鬼影消除速度;通过分析像素点的区域复杂度信息自适应调整匹配阈值;并根据像素点的闪烁程度更新辅助样本集合,在有效去除动态背景干扰的同时,保证真正前景能被准确检测。

2 Vibe算法描述

2.1 采样与匹配

Vibe算法初始化时为每个像素点创建一个背景样本集合。某像素点位置一定范围内的所有像素点均依概率收集在其背景样本集合中。在检测过程中,将当前视频序列中的像素点与该点位置的背景样本集进行匹配,通过样本集匹配程度来判断该点是否属于背景。设M(x)为某像素点x的背景样本集合,则该集合定义为

M(x)={v1,v2,…,vN-1,vN},(1)

式中v_i表示对x一定邻域范围内的像素点概率采样后生成的背景样本集中索引为i的元素,N为样本集大小。

在匹配时,S_r[v(x)]是以v(x)为球心、r为半径的球形区域,如果在三维颜色空间中球形区域S_r[v(x)]与背景样本集合M(x)的交集满足一定要求,则将像素点v(x)划分为背景像素,即

Sr[v(x)]⋂{v1,v2,…,vN}∈R#,(2)

式中R_#为像素信息在三维颜色空间中匹配时满足欧氏距离阈值的点的集合。算法通过衡量该集合中元素个数来对像素点进行匹配。匹配过程如图1所示。

图 1. 三维颜色空间匹配示意图

Fig. 1. Matching diagram of three-dimensional color space

下载图片 查看所有图片

2.2 背景模型初始化

Vibe算法在初始化时为视频序列初始帧中的每个像素点创建其背景样本集合。由于单个像素点包含信息较少,假设像素点的相邻像素点均具有相似的特性分布,Vibe算法对某像素点所在区域内的所有像素点按一定概率进行采样,并构建该像素点的背景样本集合。初始化公式为

M0(x)=v0y|y∈NGx,(3)

式中M⁰(x)为像素点x的初始化背景样本集合,v⁰(y)为像素点x在初始化时背景样本集中的采样元素,y为在像素点x所在区域内随机选取的一个像素点,N_G(x)为与像素点x相邻近且具有相似特征的像素点的集合。

2.3 背景模型的更新策略

Vibe算法采用随机更新的策略,只有在某像素点被划分为背景像素时对其样本集进行更新,时间采样因子为T,即被划分为背景的像素点有1/T的概率代替该点背景样本集中的某一元素。同时,该像素点有一定概率向其相邻像素点样本集合中传播,以保证视频图像序列中像素的空间一致性。

3 改进的Vibe算法

3.1 辅助样本集

在传统Vibe算法中,样本集合初始化时对像素点及其邻域的采样并不能满足复杂环境下的检测要求。在复杂场景中,部分像素点的特征信息变化频率较快,不能被背景样本集合及时收集,容易产生误检。

本文提出为每个像素点创建一个辅助样本集合,在一定条件下对可能被误检为前景的像素点进行更新,将其特征信息更新到辅助样本集合中。辅助样本集合保证像素点在特殊情况下的重要特征信息能被有效收集,便于减少动态背景因素产生的噪声误检。

3.2 消除鬼影

在视频序列的初始化过程中,由于Vibe算法仅采用第一帧图像构建背景模型,因此初始化时如果存在前景目标或者长期静止的目标突然运动,会导致真实背景像素因无法有效匹配而被检测为前景,产生鬼影。Vibe算法在背景更新时通过空间传播的方法使静止的前景目标逐渐融入到背景中,但该过程耗时较长。

文献[ 10]提出利用固定较大的更新参数快速消除鬼影,但运动速度较慢的前景目标容易被同化到背景中,且对于不同场景需要给出不同的先验参数,难以满足多场景环境下的检测要求。由于真实前景区域的像素特征与其邻域背景区域像素特征差距较大,背景像素的信息传播到前景边界像素的样本集合后,该信息很难与前景目标成功匹配,即邻域背景信息很难穿透边界进入到前景目标区域中去。相反,由于背景像素通常具有区域相似的特性,鬼影区域的像素值与其邻域背景区域的像素值差别较小。

在像素点空间传播时进行二次匹配,衡量前景像素点的鬼影程度,并调整疑似鬼影区域的更新速率,实现快速消除鬼影。设背景像素点x₁的像素值为v(x₁),在背景更新过程中,如果该点的邻域中存在被判断为前景的像素点x₂,则将点x₁的像素值按一定概率向点x₂的样本集中进行空间传播。传播概率与该背景像素值v(x₁)和邻域前景点像素值v(x₂)的匹配程度有关,匹配公式为

Pghost(x2)=λ·R(x2)dist[v(x1),v(x2)],(4)

式中R(x₂)为邻域前景像素点x₂的当前匹配阈值,λ为鬼影参数。P_ghost(x₂)为像素点x₂的鬼影因子,表示该点作为鬼影点的可能性。当某前景点的鬼影因子取值较大时,算法可以提高其邻域背景像素向当前点的空间传播速率,实现快速消除鬼影。

3.3 结合区域信息的复杂度分析

文献[ 7]提出通过像素背景复杂度自适应调节匹配阈值R,复杂度参数由统计单个像素信息所得。本文提出一种区域复杂度分析策略。在检测过程中,视频序列中各区域的信息复杂程度不同,部分区域长期显示比较单一的背景信息,部分区域环境信息较为复杂、前景背景切换速度较快。本文算法通过准确衡量当前区域的显著性及环境复杂程度,实现对匹配阈值的自适应动态更新。

通过水平方向与竖直方向上的Sobel梯度算子对像素点区域进行边缘检测分析,其梯度特征模板为

Gv=-101-202-101,Gh=-1-2-1000121。(5)

使用横向梯度模板算子G_v与纵向梯度模板算子G_h分别对某像素点x_i所在区域进行卷积,得到结果G_v(x_i)、G_h(x_i)。该区域梯度参数G(x_i)的计算公式为

G(xi)=Gv2(xi)+Gh2(xi)。(6)

通过收集像素点的邻域颜色差值对其区域颜色显著性进行分析,定义像素点x_i在以自身为中心的某一区域内与该区域内其他像素点颜色的差值总和C(x_i)为该点区域颜色显著程度为

C(xi)=1Nc∑xn∈NG(xi)vxi)-v(xn)]2,(7)

式中N_c为x_i的邻域像素个数,v(x_i)为该像素点的颜色特征,包含该点在当前颜色空间中的全部颜色信息。

区域复杂度特征因子S(x_i)表示为

S(xi)=αG(xi)+βC(xi),(8)

式中参数α、β为显著性权重。通过区域复杂度分析对模型的匹配阈值进行自适应动态更新,公式为

R(xi)=R(xi)×(1-δ),R(xi)>S(xi)×RscaleR(xi)×(1+δ),else,(9)

式中R(x_i)为像素点x_i的匹配阈值,δ为单次更新变化幅度参数,R_scale为调整复杂度的尺度因子。

像素点区域复杂度越高,则该点作为运动目标外边界点或背景物体边缘点的可能性越高,此时适当提高匹配阈值,防止背景因素被误检为前景。像素点区域复杂度越低,该点所在区域背景信息分布越稳定,应适当减小匹配阈值,提高检测精度。

3.4 滑动窗模型

滑动窗模型在很多领域都得到了应用,常用于图像、信号等的动态分析处理。该模型通过对某元素在时域中的某一有限区域进行采样,来描述该元素一定时间段内的变化特性。在视频图像处理中,使用滑动窗模型进行采样可有效提高处理结果的实时性。

在某视频序列中,设{B(i)}_i=1,…,t为从初始化到t时刻的所有视频序列。在运动目标检测过程中,由于视频环境不断变化,视频某帧在t时刻的变化特性只与距它最近的N_L帧视频序列实时相关性较高,滑动窗模型采样即只对某序列t时刻之前相邻的N_L帧序列进行采样。在对帧数较多、变化较快的视频序列处理中,可通过调节滑动窗长度N_L控制采样序列的历史相关性。t时刻基于滑动窗的视频序列模型如图2所示。

图 2. 基于滑动窗的背景序列示意图

Fig. 2. Diagram of sequence based on sliding window

下载图片 查看所有图片

3.5 像素点闪烁因子

在水波纹、树叶抖动等背景较为复杂的场景中,动态背景区域像素值变化频率较快,因而传统Vibe算法在检测时产生大量误检区域。文献[ 9]提出通过分析像素点在时域中背景与前景之间的切换程度来判断该像素点属于动态背景的可能性。但是当一个像素点具有较高的闪烁参数值时,不一定表示其属于动态背景。由于闪烁程度是累计计算模式,因此只能大致反映该像素从初始化到当前帧的总体闪烁趋势,且闪烁程度值会因连续前景或背景序列而削减。

本文引入滑动窗模型,统计视频序列中包括当前帧t在内的N_L帧最近连续序列,实时反映当前像素点的实时闪烁情况,计算公式为

Ft(xi)=1,ifxiisdividedintotheforegroundatttime0,ifxiisdividedintothebackgroundatttime,(10)ftNL(xi)=Ft-NL+1(xi)+Ft-NL+2(xi)+…+Ft(xi),(11)

式中F_t(x_i)表示像素x_i在t时刻是否属于前景, fNLt(x_i)为像素x_i通过滑动窗区间取值后的闪烁因子。由滑动短时记忆的特性,像素点最近区间内的闪烁程度值能更好地反映出该像素点可能是被误检为前景的噪声点的概率。闪烁因子越大,则该点作为被误检的动态噪声的可能性越大。本文算法通过一定概率将闪烁因子较大的前景点像素值更新到样本辅助集合中,概率计算公式为

Pflicker(xi)=ωfLtN(xi)NL,fLtN(xi)≥θ0,fLtN(xi)<θ,(12)

式中P_flicker(x_i)表示某时刻像素点x_i若被检测为前景则将其更新到辅助样本集中的更新率,θ为阈值,ω为尺度参数。本文算法通过对闪烁区域的实时分析,快速准确地消除复杂环境下动态背景产生的噪声。

4 实验结果

仿真实验硬件平台的CPU为Intel Core i5,内存为8 G,操作系统为WIN7旗舰版,运行环境为VS2013。实验数据来源于highway、boats、overpass、canoe、pedestrians等视频中的图像序列,共计14417帧。将改进Vibe算法、GMM算法和传统Vibe算法^[11]进行对比,并对其中部分有真值的视频序列进行定量分析。实验部分参数取值参考文献[ 9-12],背景样本集大小N=20,初始化距离阈值R=20,匹配个数阈值为2,初始时间采样因子T=16。根据经验给出公式中参数值用于仿真,选取辅助样本集合大小为7,鬼影参数λ=0.4,区域颜色采样范围为24邻域,显著性权重α=0.3,β=0.7,单次变化幅度参数δ=0.05,复杂度尺度因子R_scale=5,滑动窗口长度N_L=100,闪烁阈值θ=22,尺度参数ω=0.35。图3为多种算法在视频序列中的检测结果对比。

实验在视频pedestrians中以第330帧为起始帧开始检测。初始化帧中存在运动目标是产生鬼影的典型场景,起始帧如图3(a)所示,目标移动后背景信息填入图中行人原始位置,相应像素点值变化导致算法在该位置检测出鬼影。图3(b)和(c)分别对应视频序列中第340帧和第430帧图像,图3(d)~(i)为多种算法的检测结果。实验结果中鬼影像素数目随帧数变化如图4所示,对比传统Vibe算法,改进算法的鬼影点数目随帧数增长而快速下降。实验结果表明,本文算法能在较短时间内快速消除鬼影。

图5(a)为视频序列overpass中第2705帧,图5(b)~(d)为多种算法检测实验结果。该视频背景中包含大量晃动的树枝作为动态因素,是具有代表性的复杂场景下的视频序列。由图5(b)~(d)可知,在复杂环境下,GMM算法更新速率较高,虽然能够抑制部分动态背景产生的噪声,但出现的行人目标被快速更新到背景中,前景误检和背景误检现象均较为严重。传统Vibe算法能较为有效地识别前景目标,但动态背景大量被误检为前景目标,产生噪声较多。改进Vibe算法通过像素闪烁属性分析,使动态背景被误检为前景现象的发生次数明显减少,且在动态的背景区域中出现的前景目标也能被准确识别。

图 3. pedestrians视频序列测试结果比较。(a)起始帧;(b)第340帧;(c)第430帧;(d)第340帧GMM算法检测结果;(e)第430帧GMM算法检测结果;(f)第340帧Vibe算法检测结果;(g)第430帧Vibe算法检测结果;(h)第340帧本文算法检测结果;(i)第430帧本文算法检测结果

Fig. 3. Comparison of test results in pedestrians video sequence. (a) Initialization frame; (b) input 340th frame; (c) input 430th frame; (d) GMM result of 340th frame; (e) GMM result of 430th frame; (f) Vibe method result of 340th frame; (g) Vibe method result of 430th frame; (h) proposed method result of 340th frame; (i) proposed method result of 430th frame

下载图片 查看所有图片

图 4. 鬼影像素数目随帧数变化

Fig. 4. Number of ghost pixel versus number of frame

下载图片 查看所有图片

为了较为精确地定量分析几种算法的性能,文献[ 13]中定义多个性能评估指标,即召回率、特异率、虚警率(FPR)、漏检率(FNR)、精度、错分率(PWC)。实验对上述视频序列中部分有真值的序列共计10517帧进行测试与计算,将结果进行平均处理,并通过帧率(FPS)描述算法运行的时间效率,得到数据如表1所示。表中召回率、特异率、精度、帧率指数越高表示算法性能越好,FPR、FNR、PWC指数越低表示算法性能相对越好,PWC指数为较为综合性的评价指标。

图 5. 第2705帧overpass视频序列测试结果比较。(a)输入帧;(b) GMM算法检测结果;(c) Vibe算法检测结果;(d)本文算法检测结果

Fig. 5. Comparison of test results in overpass video sequence of 2705th frame. (a) Input frame; (b) GMM result; (c) Vibe method result; (d) proposed method result

下载图片 查看所有图片

GMM算法通过比较松弛的背景更新策略提升其环境适应能力,降低虚警率,但导致过快将前景目标更新为背景,漏检率大幅升高。传统Vibe算法能较为有效地检测前景目标,但由于其固定的匹配阈值与更新速率导致复杂环境中的动态背景大量被检测为前景,且算法运行中出现鬼影后难以将其消除。本文算法的PWC指数、特异率、虚警率、精度指标均相对最优。对比GMM算法和传统Vibe算法,本文算法的精度分别提高9.9%和26.59%,虚警率分别降低44.9%和72.55%,在综合性能上错分率分别下降46.87%和52.38%。由于改进算法复杂度有所增加,本文算法平均帧率较传统Vibe算法有所下降,但明显优于GMM算法,且平均帧率保持在30 frame/s以上,具有一定实时性^[3]。本文算法综合检测性能相对最优。

5 结论

提出为像素点创建辅助样本集合,保证像素点重要特征信息不被丢失,并引入区域复杂度信息,结合时域滑动闪烁因子,动态调整匹配阈值与鬼影区域更新速率。实验结果表明,改进算法能快速消除鬼影和复杂背景中的动态噪声,并保证前景目标能被有效检测,提高复杂环境下运动目标检测结果的精确性。算法具有实时性好、抗干扰能力强、检测结果较为准确等优点。