基于区域辐射一致性的移动阴影检测

陈海永; 郄丽忠; 刘坤

doi:doi:10.3788/AOS201939.0315003

光学学报, 2019, 39 (3): 0315003, 网络出版: 2019-05-10

基于区域辐射一致性的移动阴影检测下载： 873次

Moving Shadow Detection Based on Regional Radiation Consistency

论文大纲

陈海永郄丽忠刘坤 ^*

作者单位

河北工业大学人工智能与数据科学学院, 天津 300130

机器视觉运动目标检测移动阴影检测区域生长 machine vision moving object detection moving shadow detection region growth

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了同时检测本影与半影区域,提出并证明了阴影区域辐射的一致性属性。获取超像素区域轮廓内的点集合,将像素点集合(PCC)分为目标前景区域(目标PCC)和阴影区域(阴影PCC),利用所提出的基于区域生长的完整阴影检测与目标掩码增长算法,通过融合完整的阴影区域、完整的目标前景区域和ViBe掩码这三个部分,实现了前景目标掩码反向增长。在公开数据集中的实验结果表明,所提方法的阴影检测平均精度达到了82.5%,性能显著优于传统方法。目标掩码的平均增长率达到了8.84%,准确率达到了95%以上。

Abstract

In order to simultaneously detect the shadow and penumbra regions, this study proposes and proves the consistent properties of shadow region radiation. Point collection in contour (PCC) within the outline of the super-pixel region corresponding to moving object is obtained, and the PCC is divided into the object foreground area (foreground PCC) and the shadow area (shadow PCC). With the proposed region-based full shadow detection and object mask growth algorithm, the foreground object mask is inversely grown by combing the complete shadow region, the complete foreground region and the ViBe mask of the moving object. The experimental results in the public dataset show that the average accuracy of the shadow detection of the proposed method reaches 82.5%, and the performance is significantly better reaches the traditional method. The average growth rate of the object mask reaches 8.84%, and the accuracy rate reaches over 95%.

1 引言

运动目标检测一直是重要和富有挑战的任务,在许多场景有着重要的价值,如跟踪^[1]、视频监控^[2-4]和运动目标识别^[5]。运动目标检测的一个实现方法是背景差分方法,该方法利用视频序列的每一帧与事先创建好的背景模型进行对比作差来得到运动目标。然而,在同一场景中存在的移动阴影容易使运动目标检测发生误检。同时,阴影也会导致目标合并、目标变形及目标丢失等现象的出现。当面对目标分类、目标跟踪、目标识别及目标计数等场合时,阴影会严重影响系统的稳健性^[6]。因此,移动阴影检测具有重大的价值和意义。

阴影检测的关键在于定位阴影所对应的图像像素点或区域,在前景目标中消除阴影像素点,进而得到准确的运动目标。阴影的形状会随着光线的照射角度和目标形状的不同而变化。此外,阴影与目标通常会伴随在一起,并且有着相同的运动状态与表面形态^[7]。因此,背景和阴影的颜色与纹理之间的相互作用是随机可变的,深度的阴影会导致区域纹理信息的丢失。为了解决上述问题,文献中提出许多基于像素和区域的阴影检测方法,它们的共同点是对提取特征进行分类^[8-10]。这些特征描述符包括特定颜色空间的颜色和强度^[11-12],阴影和前景目标边缘^[13-14],以及纹理或区域的梯度^[6,15-16]等。

为了克服基于单个像素的阴影检测造成的误差,对视频序列的每一帧采用基于图的分割方法^[8-9]进行分割并得到超像素,可对每个超像素区域中的阴影进行分组和抑制。为了解决阴影表示问题,Russell等^[10]引入了分块特征近似和稀疏表示技术,为了解决漏检问题,采取了后期形态学处理操作,使得检测结果更加完整。基于像素颜色的方法充分利用了不同颜色空间中阴影区域的颜色信息来提取多个特征^[11-12]。基于半监督学习技术,文献[ 16]提出了一种新的自适应技术来解决移动阴影检测的静态设置工作模式问题,该技术具有自动适应场景条件变化的能力。

基于区域的阴影检测与抑制方法,利用区域纹理信息可以克服像素噪声问题。Amato等^[5]利用阴影区域的局部颜色恒常性质,将图像分割成多个运动区域(超像素)。Wu等^[13]提出了一种基于斑块的阴影边缘检测方法,创建了边缘分类器,通过训练阴影边缘和前景目标以获取阴影区域。Russell等^[17]利用像素几何方向,结合像素梯度幅度,获取新特征。Dai等^[18]利用吸引子传播算法检测移动阴影区域,使用该算法时不必事先指定聚类数目且能很好地解决非欧空间问题。目前,大多数移动阴影检测算法都是基于前期运动目标检测算法的掩码结果,对其中的目标与阴影进行分离。因此,在阴影的检测结果中,目标部分仅仅是对前期目标部分的保留,而不能使目标掩码部分增长。这在一定程度上限制了阴影检测算法精度的提高^[19]。

为此,本文采用基于图的分割方法对当前图像进行分割^[20],可得到若干超像素区域,其目标超像素区域内所有像素点集合(PCC),主要分为阴影PCC和目标PCC。进而,提出一种基于掩码PCC种子的区域生长方法,将阴影PCC生长为完整的阴影区域。最后,通过融合生长后的目标PCC与前期运动目标检测算法得到的目标掩码中的真实目标区域,实现目标掩码反向增长,提升目标前景区域和阴影区域的检测精度。

2 区域辐射一致性及移动阴影检测

本研究所提算法需要对比PCC内坐标点映射到背景图像和当前图像中的每个像素点的强度, 对两个图像中的像素强度进行分析,二者分别为 PCC 元素对应于背景图像中的像素点( PB-PCC)和 PCC 元素对应于当前图像中的像素点( PC-PCC)。

2.1 阴影一致性属性证明

采用Lambert漫反射光照模型^[21]对阴影区域进行描述, 表达式为

L (x) = E (x) ρ (x), (1)

式中:L(x)= $[L_{r} (x), L_{g} (x), L_{b} {(x)]}^{T}$ 为图像平面在rgb颜色空间的光照反射矢量,x表示二维图像平面内的任意一点,L_r,L_g,L_b分别为rgb颜色空间中r,g,b通道的反射强度;E(x)=[E_r(x),E_g(x),E_b(x)]^T, ρ(x)=[ρ_r(x),ρ_g(x),ρ_b(x)]^T分别为输入光照辐射矢量和目标表面点x处的反射系数矢量,E_r、E_g、E_b、ρ_r、ρ_g、ρ_b分别表示相应的颜色通道辐射量与反射系数。

阴影区域光照辐射模型为

E (x) = C_{a'} + C_{b'} \cos [θ (x)] τ (x), (2)

式中: C_a', C_b'分别表示周围环境光辐射和主光源光辐射;θ表示目标表面法线与主光源光线的夹角;τ(x)取值范围为[0,1],表示半影区域内的阴影过渡参数。当τ(x)=0时,像素点x的反射光均来自于周围环境光,像素点位于本影区域;当0<τ(x)<1时,像素点x位于半影区域;当τ(x)=1时,像素点x位于阴影区域之外。

将(2)式代入(1)式,阴影区域的任意像素点x在背景图像中的反射光可表示为

\begin{matrix} L_{S h}^{B} (x) = {C_{a'}^{BS h} + C_{b'}^{BS h} \cos [θ (x)] τ (x)} ρ_{B} (x), (3) \end{matrix}

式中: $L_{S h}^{B}$ (x)表示阴影区域内像素点x在背景图像中的强度,即PB-PCC的强度; $C_{a'}^{BS h}$ 、 $C_{b'}^{BS h}$ 分别表示背景图像中阴影像素点x处的对应光源辐射; ρ_B(x)表示背景图像中点x处的反射系数矢量。

失去了主光源,像素点在当前图像中的反射光可表示为

L_{S h}^{C} (x) = (C_{a'}^{CS h}) ρ_{C} (x), (4)

式中: $L_{S h}^{C}$ (x)、 $C_{a'}^{CS h}$ 分别表示PC-PCC内的像素点反射强度和接收到的环境光照辐射强度;ρ_C(x)表示当前图像中点x处的反射系数矢量。由于阴影区域中ρ_B(x)=ρ_C(x),所以反射光减少量可以表示为

\begin{array}{r} D_{S h} (x) = & L_{S h}^{B} (x) - L_{S h}^{C} (x) = C_{b'}^{BS h} \cos [θ (x)] τ (x) ρ_{B} (x) > 0, (5) \end{array}

式中,光线与表面法线的角度θ、阴影过渡参数τ,以及反射系数矢量ρ_B(x)均为恒定参数。由(5)式可知,阴影区域内的像素强度变化只与 $C_{b'}^{BSh}$ 有关。因此,阴影区域像素点的反射光变化量只与当时的光源辐射有关。

因为 $C_{b'}^{BS h}$ cos[θ(x)]τ(x)ρ_B(x)>0, 所以对于阴影区域内的像素点来说,有

I_{rB} > I_{rC}, I_{gB} > I_{gC}, I_{bB} > I_{bC}, (6)

式中, I_X_B和I_X_C分别表示像素点在背景图像与当前图像中,rgb颜色空间中的X通道中的强度(X取为r、g、b)。由(6)式可知,相对于背景图像,阴影区域像素点的三个通道强度都有所降低。这与一般的认知相符。

令Δ(x)表示图像平面内两相邻像素点之间的距离,那么这两个像素点在背景图像与当前图像中反射光变化的差值为

D_{S h} (x) - D_{S h} [x + Δ (x)] = C_{b'}^{BS h} \cos [θ (x)] τ (x) \times ρ_{B} (x) - C_{b'}^{BS h} \cos {θ [x + Δ (x)]} τ [x + Δ (x)] ρ_{B} [x + Δ (x)] 。 (7)

假定τ和θ变化得非常缓慢,即τ(x)≈τ[x+Δ(x)]和θ(x)≈θ[x+Δ(x)],当阴影区域中点的反射系数ρ_B(x)≈ρ_B[x+Δ(x)]时,可得到

D_{S h} (x) - D_{S h} [x + Δ (x)] \approx 0 。 (8)

这意味着,在阴影区域内部相邻像素点之间的反射光变化量近似相等,即都与主光源直接相关,而通常认为主光源是常量。与此相反,运动目标对应的像素点不符合这个规律,因为像素点的ρ_B(x)≠ρ_C(x),这样D_C(x)-D_C[x+Δ(x)]≠0。

(8)式是利用单光源模型推导出来的。当假设在(2)式中使用线性组合的多个光源时,结论也同样成立,这些假设符合大多数的场景要求,在模型中将C_a'、C_b'定为常量是合理的^[21]。同样,条件简化后的光照模型已被用于推导出其他的阴影抑制模型^[22]。

由(8)式可知,对于同一阴影区域内的像素点而言,在RGB颜色空间中,阴影区域对应的PB-PCC和PC-PCC中像素点之间的强度变化量近似一致,而这在真实的非阴影目标区域是不成立的。将这种规律称为“阴影区域辐射一致性属性”,简称一致性属性。

2.2 一致性属性与统计参数

基于阴影区域辐射一致性属性,在阴影区域内,由单个像素点扩展到PCC内全部元素。记cos[θ(x)]τ(x)ρ_B(x)=K(x),那么,阴影PCC中PB-PCC和PC-PCC强度变化可表示为

D_{S h} (x) = C_{b'}^{BS h} \cos [θ (x)] τ (x) ρ_{B} (x) = K (x) C_{b'}^{BS h} 。 (9)

建立阴影PCC内的像素点的数学模型。假设,当前图像中的每一个像素点强度出现的概率服从高斯分布^[23],令I(x,y,t)表示像素点I(x,y)在t时刻的强度,对于同一时刻t,在同一PCC内的像素点集合服从高斯分布,即

P [I (x_{t}, y_{t}, t)] = η (i_{t}, μ_{t}, σ_{t}) = \frac{1}{σ_{t} \sqrt[]{2 π}} \exp [- \frac{(i_{t} - μ_{t})^{2}}{2 σ_{t}^{2}}], (10)

式中,(x_t,y_t)表示区域对应的PCC内的所有元素,i_t表示点(x_t,y_t)的强度值,μ_t、σ_t表示t时刻该PCC内像素点集合对应的期望值与标准差。

假设某图像中的阴影PCC集合为{V₁,V₂,…,V_k},且V_k={p₁,p₂,…,p_n},其中n为V_k中的像素点数目,则该PCC对应的所有PB-PCC的像素点强度均值为

μ_{S h}^{B} = \frac{p_{1}^{B} + p_{2}^{B} + \dots + {p^{B}}_{n}}{n}, (11)

式中, ${p^{B}}_{n}$ 表示背景图像中像素点强度,相应地,前景图像目标PCC的像素点强度均值为

μ_{S h}^{C} = \frac{[{p^{B}}_{1} - K (x) C_{b'}^{BS h}] + [{p^{B}}_{2} - K (x) C_{b'}^{BS h}] + \dots + [{p^{B}}_{n} - K (x) C_{b'}^{BS h}]}{n} = μ_{S h}^{B} - \frac{nK (x) C_{b'}^{BS h}}{n} = μ_{S h}^{B} - K (x) C_{b'}^{BS h}, (12)

则均值变化量为

Δ μ_{S h} = K (x) C_{b'}^{BS h} 。 (13)

对于不同的视频序列选取不同的阈值Δμ,当PB-PCC和PC-PCC任意两个通道均值偏差超过了这个阈值之后,若它们的均值大小顺序没有改变,则这个PCC是阴影PCC,反之,是目标PCC。也就是说这个PCC就是真正的运动目标(不包括阴影)中的PCC。

更进一步,对于阴影PCC而言,区域内的每一个像素点相对于背景图像强度近似减少 $μ_{Sh}^{B}$ ,背景图像中PB-PCC的方差为

(σ_{S h}^{B})^{2} = \frac{(p_{1}^{B} - μ_{S h}^{B})^{2} + (p_{2}^{B} - μ_{S h}^{B})^{2} + \dots + ({p^{B}}_{n} - μ_{S h}^{B})^{2}}{n}, (14)

而在当前图像中,PC-PCC的方差为

(σ_{S h}^{C})^{2} = \frac{[p_{1}^{B} - K (x) C_{b'}^{BS h} - μ_{S h}^{C}]^{2} + [p_{2}^{B} - K (x) C_{b'}^{BS h} - μ_{S h}^{C}]^{2} + \dots + [{p^{B}}_{n} - K (x) C_{b'}^{BS h} - μ_{S h}^{C}]^{2}}{n}, (15)

将(13)式代入(16)式可得

(σ_{S h}^{C})^{2} = \frac{({p^{B}}_{1} - μ_{S h}^{B})^{2} + ({p^{B}}_{2} - μ_{S h}^{B})^{2} + \dots + ({p^{B}}_{n} - μ_{S h}^{B})^{2}}{n} = (σ_{S h}^{B})^{2}, (16)

即阴影PCC对应的PB-PCC和PC-PCC强度的方差矢量相同。这样,对于当前图像中的任意一个PCC而言,如果对应的PB-PCC和PC-PCC标准差相差不大,并且均值偏差没有超过上一个阈值条件,则这个PCC符合阴影PCC的特征。反之,则符合目标PCC的特征。这两个标准差的偏差阈值设置为Δσ。

2.3 基于统计参数的目标超像素区域PCC分类

由前文可知,对区域轮廓内的PCC进行分类的重点在于对PCC对应的PB-PCC和PC-PCC中的信息对比。为此,利用阴影区域辐射一致性属性中所包含的4个指标(ω,Δμ,Δσ,τ_k)进行PCC分类。

1)ω:亮度实验阈值。假设N_k'= $\{p_{1}, p_{2}, \dots, p_{n'}\}$ ,表示第k'个PCC一共包含n'个元素。统计这个PCC中对应的像素强度不满足(6)式的强度规则的像素数目占比,当这个占比大于给定的阈值ω时,就认为这个PCC为目标PCC,否则为阴影PCC。M₁表示检测出的目标PCC,M₀表示所有的PCC,如图1所示。

2)Δμ:PCC均值超越阈值。这里的均值超越表示的是在PB-PCC和PC-PCC中像素点任意两个通道均值大小顺序颠倒。考虑到噪声的存在,如果两个通道均值差值小于Δμ,则发生的均值超越不考虑。这一步将M₁再分类,得到的运动目标PCC为M₂,新的阴影候选PCC集合为∁_VM₂=W,如图1所示。

3)Δσ:Δσ表示PCC在三个通道的标准差偏差率阈值。如果PB-PCC和PC-PCC的至少一个通道标准差变化率Δ $k_{X}^{BC}$ 大于Δσ,该PCC被分类为目标PCC。其中,

Δ k_{X}^{BC} = \frac{|σ_{B X} - σ_{C X}|}{\min (σ_{B X}, σ_{C X})}, (17)

式中,Δ $k_{X}^{BC}$ 表示的是在rgb颜色空间中,PB-PCC和PC-PCC在X通道的标准差变化率。具体分类依据为

currentPCCis \{\begin{array}{l} objectPCC, if \{\begin{array}{l} Δ k_{r}^{BC} > Δσ or \\ Δ k_{g}^{BC} > Δσ or \\ Δ k_{b}^{BC} > Δ σ_{} \end{array} \\ s h adowcandidatePCC, ot h ers \end{array}

图 1. PCC分类过程示意图

Fig. 1. Illustration of PCC classification process

下载图片查看所有图片

实验中将W中的PCC进行再分类,得到的运动目标PCC为M₃,而新的阴影候选PCC集合为∁_WM₃=X,如图1所示。

4)τ_k:在文献[ 5]中称之为像素终点权重阈值。这里将这一标准应用于PCC中。其中 ${\overset{︿}{τ}}_{k}$ (s_k)是阴影候选PCC S_k(S_k表示一个PCC对应的边界点)外部终点像素点的个数,也就是,PCC S_k的边缘点与非运动目标PCC相靠近的点的数目。t_ks_k表示PCC S_k所有的边界点个数:

τ_{k} = \frac{{\overset{︿}{τ}}_{k} (s_{k})}{t_{k} s_{k}} 。 (18)

通过以上分类过程,由于光照导致的亮度与标准差变化非常明显,运动目标的边缘侧PCC已经被正确地分类。但位于目标内部的阴影伪装区域未能被有效地识别出来。所以引入了PCC相对位置信息的衡量指标τ_k。这样,阴影PCC的像素终点权重偏大,而目标内部的PCC像素终点权重很小。

在不同的视频序列将X中的PCC进行再次分类,可得到运动目标PCC M₄和最终的阴影PCC集合为∁_XM₄=Y。到这里本研究得到了最终的阴影PCC为Y和目标PCC(M₁, M₂, M₃, M₄),如图1所示,运动目标PCC的分类已经完成,将在实验部分对分类过程的4个参数设置进行详细介绍。接下来,将对分类后的阴影PCC和目标PCC分别进行区域生长,并对生长后的目标PCC进行前景目标掩码融合,进一步得到完整的目标区域。

3 阴影检测与目标掩码增长

3.1 完整阴影检测与目标掩码增长框架

由于超像素更有利于局部特征的提取与结构信息的表达,本研究采用基于图的分割方法,可得到当前图像若干超像素区域。利用所提算法进行阴影检测的前提是图像中的每一个像素点的强度值服从高斯分布^[23]。采用Change Detection^[24]数据集中BusStation序列的第1047帧作为实验对象进行阐述,完整移动阴影检测与目标掩码增长框架,如图2所示,共包含4个步骤。

步骤1 区域轮廓内的点集合的创建(图2 part 1)。使用Graph-Based方法^[20]、ViBe算法和区域轮廓的提取方法,获取当前帧图像中运动目标区域轮廓内的点坐标集合,包括阴影PCC和目标PCC。

步骤2 区域轮廓内的点集合分类(图2 part 2)。这一部分通过4个步骤实现PB-PCC和PC-PCC的分类。

步骤3 阴影PCC区域生长(图2 part 3)。设置生长条件,对阴影PCC进行基于超像素和基于轮廓边缘的区域生长,可检测到完整的阴影区域。

步骤4 目标PCC区域生长与目标掩码融合(图2 part 4)。对目标前景PCC进行基于超像素的区域生长(生长后包含目标掩码增长部分的像素点),并将生长结果与ViBe掩码中的目标部分进行融合,最终可得到增长后的完整的目标区域。

图 2. 阴影检测与目标掩码增长框架

Fig. 2. Framework of shadow detection and object mask growth

下载图片查看所有图片

3.2 完整阴影检测与目标掩码增长算法

在图2中的步骤2,利用阴影区域辐射一致性属性的统计参数,对PCC进行分类。再对分类后的阴影PCC和目标PCC分别进行区域生长,可进一步得到完整的目标区域和完整的阴影区域,算法流程如图3所示。

图 3. 区域生长和ViBe目标掩码融合示意图

Fig. 3. Illustration of region growth and Vibe object mask fusion

下载图片查看所有图片

图3所示为区域生长与掩码融合的示意图,为了使阴影区域、目标区域生长和掩码融合技术更加形象,在图4中给出了超像素分割区域生长的每一步的中间结果。

区域生长是图像分割技术的一种,其基本思想是在一定条件下将具有相似性的像素合并到一个区域。该技术需要先选择区域生长的种子点,并在种子点的8邻域对符合生长条件的像素进行合并,新的像素又会作为新的种子继续生长。这里将ViBe掩码区域内的点作为生长的种子点,并对阴影PCC和目标PCC分别设置不同的生长条件。

阴影区域生长一共包含两个阶段。

阶段一为基于超像素的阴影PCC生长。这个阶段是将每一个阴影区域内的任意一个像素作为种子点,将图4(b)中的像素点生长为阴影点需要满足以下4个条件:1)该点与阴影PCC内对应的点位于图4(b)中的同一个超像素中;2)该点位于运动目标掩码外轮廓[图4(d)黑色轮廓线]内部,这样可以避免图像分割不准确导致的生长出界问题;3)该点没有生长到目标PCC附近邻域;4)该点在ViBe掩码结果中被标记为运动目标。这样,就得到了图4(e)中绿色标记的像素,阴影PCC区域生长第一阶段结束。

阶段二为基于超像素分割区域轮廓点的区域生长。这个阶段是将每一个阴影PCC边界的每一个点作为种子,将图4(b)中的像素点生长为阴影点需要满足以下三个条件:1)该点在ViBe掩码结果中被标记为运动目标;2)该点位于运动目标掩码外轮廓[图4(d)黑色轮廓线]内部;3)该点在阶段一中没有被生长。在这个阶段中,能够得到由前期的形态学腐蚀掉的和超像素边缘的模糊分割导致的阴影像素的漏分割点,这一部分生长的像素点为图4(f)中的红色部分。通过以上两个阶段,可得到完整的阴影区域,如图4(f)所示。

目标PCC生长与阴影PCC生长的第一个阶段类似,不同之处在于第3)点为“没有生长到阴影区域附近邻域”,生长后的结果为图4(g)中的紫色部分。

经过超像素阴影PCC的两次区域生长得到了完整的阴影区域,接着,对ViBe掩码与完整的阴影区域进行差运算得到ViBe目标掩码,对应图3中的“差运算”部分。对“差运算”输出部分与图4(g)中的紫色部分求或运算,可得到最终完整的前景目标部分,对应图3中的“或运算”部分。这种技术为反向前景目标掩码增长技术,可用于实现前景目标的增长,使检测目标更加完整。

图 4. 区域生长与目标掩码融合结果。(b) Ground truth图像; (b)超像素分割图; (c)运动目标分割图; (d)分类后的PCC结果; (e)阴影PCC一阶段生长结果(绿色部分); (f)阴影PCC二阶段生长结果(红色部分); (g)目标PCC生长结果; (h)目标掩码融合结果

Fig. 4. (a) Result of region growth and mask fusion. (a) Ground truth image; (b) super-pixel segmentation image; (c) segmentation of moving object; (d) classified PCC result; (e) first stage of shadow PCC growth(green part); (f) second stage of shadow PCC growth(red part); (g) result of object PCC growth; (h) result of object mask fusion

下载图片查看所有图片

4 实验结果与分析

4.1 参数分析

在2.3小节中,经过4个步骤对目标前景区域和阴影区域进行分类。方法中涉及到几个必须要依据场景的不同而需要设定的参数。

1) PCC亮度检测中的阈值:对应于图2中的亮度检测,ω取值应满足

ω = \{\begin{array}{l} n \times 5 %, & n > 200 \\ 20, & others \end{array}, (19)

式中n为当前PCC内元素的个数。

2) PCC均值超越阈值Δμ:对于同一个视频序列的不同PCC采用相同的数值。在不同序列中,根据阴影强度,选择合适的值。

3) PCC标准差偏差率阈值Δσ:对于不同的PCC,实验中参数取值范围为[0.4, ζ]。其中,ζ理论上可以无限大,这对应两个标准差偏差率的无限大。在实际应用中,这个参数与图像分割精度直接相关。例如,对于目标PCC而言,图像分割越精细,min(σ_B_X,σ_C_X)会越小,而 $|σ_{B X} - σ_{C X}|$ 中的σ_B_X会较大,最终导致Δ $k_{X}^{BC}$ 很大。而对于阴影PCC, $|σ_{B X} - σ_{C X}|$ →0恒成立,使得Δ $k_{X}^{BC}$ 偏小。

4) 边界点终点权重阈值τ_k:在不同的视频序列中目标阴影形状大小各不相同,在本研究的实验中τ_k的取值范围一般为70%~80%,这与所选择的视频序列中阴影区域具体形状有关。

不同的视频序列中的目标形状和阴影形状等外部参数千变万化,导致不同场景中的数据分布有着明显的差异。因此,对每一个视频序列设置自定义的参数标准,这需要根据经验值进行测试,而一旦得到优化的参数范围,就会在该类型视频序列中有均衡的表现,图5所示为相同的参数在Highway I序列中的不同帧的实验结果。

图 5. highway I序列实验结果

Fig. 5. Experimental results of highway I sequence

下载图片查看所有图片

4.2 实验验证

1)定性实验:在公开数据集中选取6个视频序列,通过记录所提算法每一步处理的中间过程,定性说明所提算法在阴影检测方面的有效性,详细结果如图6所示。其中:A'~D'分别为输入图像、ViBe掩码、掩码分割结果、超像素区域轮廓内的点集合图像;E1~E4分别为对PCC分类的4个步骤;F1、F2分别为阴影区域生长的两个阶段;G'为ViBe掩码减去F2的结果;H'为掩码融合后的目标掩码。

图 6. 不同场景下的算法处理过程

Fig. 6. Algorithm processing in different scenarios

下载图片查看所有图片

2)定量实验:定量评估实验基于Prati等^[25]介绍的用于评估投影检测算法性能的两个度量标准:阴影检测率r_s和阴影识别率ξ。这两个指标定义式为

\begin{array}{l} r_{s} = \frac{S_{TP}}{S_{TP} + S_{FN}}, (20) \\ ξ = \frac{{\bar{F}}_{TP}}{F_{TP} + F_{FN}}, (21) \end{array}

式中,S和F分别表示阴影像素点和前景目标像素点, S_TP表示正确分类的阴影像素点个数, S_FN表示被错误检测为其他类型的阴影像素点个数, F_TP表示被检测为前景点的像素点的个数, ${\bar{F}}_{TP}$ 表示前景像素点数目与被误检为阴影的前景像素点数目的差值, F_FN表示前景目标像素点被检测为其他类型点的个数。阴影检测率为正确检测出阴影像素点的指标,而阴影识别率表征非阴影像素点被误分类为阴影点的可能性。本研究采用这两个指标在多个图像序列中的平均值作为他们各自的统计值。

需要注意的是,本研究进行阴影检测的基础是前期已经检测到了ViBe掩码区域。将该掩码区域和ground truth求与之后的结果作为本研究统计阴影检测与目标掩码增长性能指标的ground truth。这样做的目的在于突出阴影检测算法在ViBe中的检测精度。如果ViBe掩码检测率较低,在这个掩码的基础上进行阴影检测时,检测到的阴影像素点必然少,若以原始ground truth作为统计精确率的基础,必然会掩盖所提算法在ViBe中的检测率。反之,如果将ViBe掩码与ground truth求与之后的结果作为新的ground truth,并仅仅用于计算阴影检测率,会彰显出在所提方法在ViBe基础上的阴影检测精度。所提算法仅仅统计包含在原始ground truth中的并且被ViBe检测到的部分的阴影检测率。

表1所示为5种方法在Campus、Hallway、Highway I、Lab和BusStation等5个视频序列中的实验统计结果。

表 1. 5种算法的评价结果

Table 1. Appraisal results of five algorithms%

Method	Performance
	Campus		Hallway		Highway I		Lab		BusStation
	r_s	ξ	r_s	ξ	r_s	ξ	r_s	ξ	r_s	ξ
Ref. [26]	35.33	86.82	78.43	69.49	57.84	82.48	46.33	85.88	80.79	63.5
Ref. [27]	57.38	48.08	82.53	81.72	86.23	58.68	82.87	75.08	88.61	61.5
Ref. [28]	79.99	58.92	55.17	79.8	64.05	82.29	52.49	80.54	85.3	53.52
Ref. [29]	78.67	58.14	84.56	78.75	91.00	58.14	59.12	81.35	73.24	84.24
Proposed method	80.98	88.2	83.13	85.79	86.01	82.53	79.54	85.81	83.13	88.95

查看所有表

由表1可以看出,采用了4种经典的算法进行定量对比实验:文献[ 26]的SRtexture 方法, 文献[ 28]的Geometry方法,文献[ 29]的 LRtexture 方法和文献[ 27]的Chromacity 方法。采用了Campus, Hallway, Highway I, Lab 和BusStation场景进行了定量实验。所提方法在阴影检测准确率和阴影识别率中的表现能够同时达到最好,由图6可知,由于浅阴影对背景信息的保留程度较大,所以这一类的阴影检测率偏高,而深度阴影的检测率相对偏低。其他4个算法在这两个指标中均不能同时保证最佳。

为了衡量所提方法在掩码增长中的表现,定义目标增长率γ和增长准确率δ,对应的表达式为

\begin{array}{l} γ = \frac{O_{TP}}{O_{TP} + O_{TP}^{MASK}}, (22) \\ δ = \frac{{\bar{O}}_{TP}}{O_{TP} + S_{FN}}, (23) \end{array}

式中, O_TP表示相对于ViBe目标掩码而言所提方法对目标区域增长的像素点个数, $O_{TP}^{MASK}$ 表示ViBe掩码中属于目标的像素点个数, ${\bar{O}}_{TP}$ 表示增长的像素点中真正属于目标的像素点个数, S_FN表示增长的像素点中属于阴影或背景的像素点个数。这样,γ表示增长的强度,而δ表示目标前景区域增长率为γ时对应的准确率。

对比实验结果表明,在相同的测试序列下,所提方法的阴影检测率与阴影识别率最高。与此同时,由表2可以看出,所提方法还对运动目标进行了增长,增长部分有较高的准确率。图7所示为所提方法与其他4种算法在输入图像相同时得到的检测结果。可以看出,在另外4种方法中Chromacity方法有较高的阴影检测率,而所提算法在7个场景中均表现优异。

表 2. 目标掩码增长率与精度

Table 2. Growth rate and accuracy of object mask

Parameter	Video sequence
Parameter	Campus	Hallway	Highway I	Lab	BusStation
γ	11.44	8.69	3.93	11.83	8.32
δ	96.75	95.52	96.81	95.34	94.25

查看所有表

图 7. 5种算法下的检测结果

Fig. 7. Test results of 5 algorithms

下载图片查看所有图片

5 结论

为了解决移动阴影检测的难题,提出了一个新的阴影检测与目标掩码增长框架。提出的阴影区域辐射一致性属性及统计参数有助于准确区分真实运动目标区域与移动阴影区域。提出了在超像素内部和PCC边缘的掩码生长策略,使用该策略实现了完整阴影区域的检测和运动目标前景区域的增长,提升了阴影区域和目标区域的完整性。采用阴影检测率、阴影识别率和目标增长率等定量评价指标,将所提算法与4种阴影检测算法进行定量对比,验证了所提算法的移动阴影的检测精度较好,目标掩码增长的准确性较高。

所提方法的不足之处在于没有实现PCC分类中的参数自适应化,以及没有给出如何针对过小的PCC进行准确分类。后续研究将重点针对以上不足进行方法改进。

参考文献

[1] 李双双, 赵高鹏, 王建宇. 基于特征融合和尺度自适应的干扰感知目标跟踪[J]. 光学学报, 2017, 37(5): 0515005.

李双双, 赵高鹏, 王建宇. 基于特征融合和尺度自适应的干扰感知目标跟踪[J]. 光学学报, 2017, 37(5): 0515005.

Li S S, Zhao G P, Wang J Y. Distractor-aware object tracking based on multi-feature fusion and scale-adaption[J]. Acta Optica Sinica, 2017, 37(5): 0515005.

[2] 莫邵文, 邓新蒲, 王帅, 等. 基于改进视觉背景提取的运动目标检测算法[J]. 光学学报, 2016, 36(6): 0615001.

莫邵文, 邓新蒲, 王帅, 等. 基于改进视觉背景提取的运动目标检测算法[J]. 光学学报, 2016, 36(6): 0615001.

Mo S W, Deng X P, Wang S, et al. Moving object detection algorithm based on improved visual background extractor[J]. Acta Optica Sinica, 2016, 36(6): 0615001.

[3] 刘峰, 沈同圣, 马新星. 特征融合的卷积神经网络多波段舰船目标识别[J]. 光学学报, 2017, 37(10): 1015002.

刘峰, 沈同圣, 马新星. 特征融合的卷积神经网络多波段舰船目标识别[J]. 光学学报, 2017, 37(10): 1015002.

Liu F, Shen T S, Ma X X. Convolutional neural network based multi-band ship target recognition with feature fusion[J]. Acta Optica Sinica, 2017, 37(10): 1015002.

[4] Wu Y Y, He X H, Nguyen T Q. Moving object detection with a freely moving camera via background motion subtraction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(2): 236-248.

Wu Y Y, He X H, Nguyen T Q. Moving object detection with a freely moving camera via background motion subtraction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(2): 236-248.

[5] Amato A, Mozerov M G, Bagdanov A D, et al. Accurate moving cast shadow suppression based on local color constancy detection[J]. IEEE Transactions on Image Processing, 2011, 20(10): 2954-2966.

Amato A, Mozerov M G, Bagdanov A D, et al. Accurate moving cast shadow suppression based on local color constancy detection[J]. IEEE Transactions on Image Processing, 2011, 20(10): 2954-2966.

[6] Sanin A, Sanderson C, Lovell B C. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4): 1684-1695.

Sanin A, Sanderson C, Lovell B C. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4): 1684-1695.

[7] Nadimi S, Bhanu B. Physical models for moving shadow and object detection in video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1079-1087.

Nadimi S, Bhanu B. Physical models for moving shadow and object detection in video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1079-1087.

[8] Zhang Y, Li X, Gao X, et al. A simple algorithm of superpixel segmentation with boundary constraint[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(7): 1502-1514.

Zhang Y, Li X, Gao X, et al. A simple algorithm of superpixel segmentation with boundary constraint[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(7): 1502-1514.

[9] Yang J, Price B, Shen X H, et al. Fast appearance modeling for automatic primary video object segmentation[J]. IEEE Transactions on Image Processing, 2016, 25(2): 503-515.

Yang J, Price B, Shen X H, et al. Fast appearance modeling for automatic primary video object segmentation[J]. IEEE Transactions on Image Processing, 2016, 25(2): 503-515.

[10] Russell M, Zou J J, Fang G, et al. Feature-based image patch classification for moving shadow detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 14(8): 1-14.

Russell M, Zou J J, Fang G, et al. Feature-based image patch classification for moving shadow detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 14(8): 1-14.

[11] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.

Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.

[12] Chen CT, Su CY, Kao WC. An enhanced segmentation on vision-based shadow removal for vehicle detection[C]∥The 2010 International Conference on Green Circuits and Systems, June 21-23, 2010, Shanghai, China. New York: IEEE, 2010: 679- 682.

Chen CT, Su CY, Kao WC. An enhanced segmentation on vision-based shadow removal for vehicle detection[C]∥The 2010 International Conference on Green Circuits and Systems, June 21-23, 2010, Shanghai, China. New York: IEEE, 2010: 679- 682.

[13] WuQ, Zhang WD, Vijaya Kumar B V K. Strong shadow removal via patch-based shadow edge detection[C]∥2012 IEEE International Conference on Robotics and Automation, May 14-18, 2012, Saint Paul, MN, USA. New York: IEEE2012: 2177- 2182.

WuQ, Zhang WD, Vijaya Kumar B V K. Strong shadow removal via patch-based shadow edge detection[C]∥2012 IEEE International Conference on Robotics and Automation, May 14-18, 2012, Saint Paul, MN, USA. New York: IEEE2012: 2177- 2182.

[14] Wang J, Wang Y H, Jiang M, et al. Moving cast shadow detection using online sub-scene shadow modeling and object inner-edges analysis[J]. Journal of Visual Communication and Image Representation, 2014, 25(5): 978-993.

Wang J, Wang Y H, Jiang M, et al. Moving cast shadow detection using online sub-scene shadow modeling and object inner-edges analysis[J]. Journal of Visual Communication and Image Representation, 2014, 25(5): 978-993.

[15] Huang JB, Chen CS. Moving cast shadow detection using physics-based features[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE, 2009: 2310- 2317.

Huang JB, Chen CS. Moving cast shadow detection using physics-based features[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA. New York: IEEE, 2009: 2310- 2317.

[16] Joshi A J, Papanikolopoulos N P. Learning to detect moving shadows in dynamic environments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(11): 2055-2063.

Joshi A J, Papanikolopoulos N P. Learning to detect moving shadows in dynamic environments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(11): 2055-2063.

[17] RussellM, Zou JJ, FangG. A novel region-based method for moving shadow detection[C]∥2016 International Conference on Digital Image Computing: Techniques and Applications, November 30-December 2, 2016, Gold Coast, QLD, Australia. New York: IEEE, 2016: 1- 6.

RussellM, Zou JJ, FangG. A novel region-based method for moving shadow detection[C]∥2016 International Conference on Digital Image Computing: Techniques and Applications, November 30-December 2, 2016, Gold Coast, QLD, Australia. New York: IEEE, 2016: 1- 6.

[18] Dai J Y, Han D Y. Region-based moving shadow detection using affinity propagation[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2015, 8(3): 65-74.

Dai J Y, Han D Y. Region-based moving shadow detection using affinity propagation[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2015, 8(3): 65-74.

[19] Barnich O, van Droogenbroeck M. ViBe: A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

Barnich O, van Droogenbroeck M. ViBe: A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

[20] Dornaika F, El Traboulsi Y. Learning flexible graph-based semi-supervised embedding[J]. IEEE Transactions on Cybernetics, 2015, 46(1): 206-218.

Dornaika F, El Traboulsi Y. Learning flexible graph-based semi-supervised embedding[J]. IEEE Transactions on Cybernetics, 2015, 46(1): 206-218.

[21] AqelS, HmimidA, Sabri MA, et al. Road traffic: Vehicle detection and classification[C]∥2017 Intelligent Systems and Computer Vision (ISCV), April 17-19, 2017, Fez, Morocco. New York: IEEE, 2017: 1- 5.

AqelS, HmimidA, Sabri MA, et al. Road traffic: Vehicle detection and classification[C]∥2017 Intelligent Systems and Computer Vision (ISCV), April 17-19, 2017, Fez, Morocco. New York: IEEE, 2017: 1- 5.

[22] Russell M, Fang G, Zou J J. Real-time vehicle shadow detection[J]. Electronics Letters, 2015, 51(16): 1253-1255.

Russell M, Fang G, Zou J J. Real-time vehicle shadow detection[J]. Electronics Letters, 2015, 51(16): 1253-1255.

[23] Amirmazlaghani M, Rezghi M, Amindavar H. A novel robust scaling image watermarking scheme based on Gaussian Mixture Model[J]. Expert Systems with Applications, 2015, 42(4): 1960-1971.

Amirmazlaghani M, Rezghi M, Amindavar H. A novel robust scaling image watermarking scheme based on Gaussian Mixture Model[J]. Expert Systems with Applications, 2015, 42(4): 1960-1971.

[24] GoyetteN, Jodoin PM, PorikliF, et al. Changedetection. net: A new change detection benchmark dataset[C]∥2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1- 8.

GoyetteN, Jodoin PM, PorikliF, et al. Changedetection. net: A new change detection benchmark dataset[C]∥2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1- 8.

[25] Prati A, Mikic I, Trivedi M M, et al. Detecting moving shadows: Algorithms and evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(7): 918-923.

Prati A, Mikic I, Trivedi M M, et al. Detecting moving shadows: Algorithms and evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(7): 918-923.

[26] Leone A, Distante C. Shadow detection for moving objects based on texture analysis[J]. Pattern Recognition, 2007, 40(4): 1222-1233.

Leone A, Distante C. Shadow detection for moving objects based on texture analysis[J]. Pattern Recognition, 2007, 40(4): 1222-1233.

[27] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337-1342.

[28] Hsieh J W, Hu W F, Chang C J, et al. Shadow elimination for effective moving object detection by Gaussian shadow modeling[J]. Image and Vision Computing, 2003, 21(6): 505-516.

Hsieh J W, Hu W F, Chang C J, et al. Shadow elimination for effective moving object detection by Gaussian shadow modeling[J]. Image and Vision Computing, 2003, 21(6): 505-516.

[29] SaninA, SandersonC, Lovell BC. Improved shadow removal for robust person tracking in surveillance scenarios[C]∥2010 20th International Conference on Pattern Recognition, August 23-26, 2010, Istanbul, Turkey. New York: IEEE, 2010: 141- 144.

SaninA, SandersonC, Lovell BC. Improved shadow removal for robust person tracking in surveillance scenarios[C]∥2010 20th International Conference on Pattern Recognition, August 23-26, 2010, Istanbul, Turkey. New York: IEEE, 2010: 141- 144.

2.3 基于统计参数的目标超像素区域PCC分类

陈海永, 郄丽忠, 刘坤. 基于区域辐射一致性的移动阴影检测[J]. 光学学报, 2019, 39(3): 0315003. Haiyong Chen, Lizhong Qie, Kun Liu. Moving Shadow Detection Based on Regional Radiation Consistency[J]. Acta Optica Sinica, 2019, 39(3): 0315003.

基于区域辐射一致性的移动阴影检测下载： 873次

1 引言

2 区域辐射一致性及移动阴影检测

2.1 阴影一致性属性证明

2.2 一致性属性与统计参数

2.3 基于统计参数的目标超像素区域PCC分类

图 1. PCC分类过程示意图

Fig. 1. Illustration of PCC classification process

3 阴影检测与目标掩码增长

3.1 完整阴影检测与目标掩码增长框架

图 2. 阴影检测与目标掩码增长框架

Fig. 2. Framework of shadow detection and object mask growth

3.2 完整阴影检测与目标掩码增长算法

图 3. 区域生长和ViBe目标掩码融合示意图

Fig. 3. Illustration of region growth and Vibe object mask fusion

图 4. 区域生长与目标掩码融合结果。(b) Ground truth图像; (b)超像素分割图; (c)运动目标分割图; (d)分类后的PCC结果; (e)阴影PCC一阶段生长结果(绿色部分); (f)阴影PCC二阶段生长结果(红色部分); (g)目标PCC生长结果; (h)目标掩码融合结果

4 实验结果与分析

4.1 参数分析

图 5. highway I序列实验结果

Fig. 5. Experimental results of highway I sequence

4.2 实验验证

图 6. 不同场景下的算法处理过程

Fig. 6. Algorithm processing in different scenarios

表 1. 5种算法的评价结果

Table 1. Appraisal results of five algorithms%

表 2. 目标掩码增长率与精度

Table 2. Growth rate and accuracy of object mask

图 7. 5种算法下的检测结果

Fig. 7. Test results of 5 algorithms

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于区域辐射一致性的移动阴影检测 下载： 873次

1 引言

2 区域辐射一致性及移动阴影检测

2.1 阴影一致性属性证明

2.2 一致性属性与统计参数

2.3 基于统计参数的目标超像素区域PCC分类

图 1. PCC分类过程示意图

Fig. 1. Illustration of PCC classification process

3 阴影检测与目标掩码增长

3.1 完整阴影检测与目标掩码增长框架

图 2. 阴影检测与目标掩码增长框架

Fig. 2. Framework of shadow detection and object mask growth

3.2 完整阴影检测与目标掩码增长算法

图 3. 区域生长和ViBe目标掩码融合示意图

Fig. 3. Illustration of region growth and Vibe object mask fusion

图 4. 区域生长与目标掩码融合结果。(b) Ground truth图像; (b)超像素分割图; (c)运动目标分割图; (d)分类后的PCC结果; (e)阴影PCC一阶段生长结果(绿色部分); (f)阴影PCC二阶段生长结果(红色部分); (g)目标PCC生长结果; (h)目标掩码融合结果

4 实验结果与分析

4.1 参数分析

图 5. highway I序列实验结果

Fig. 5. Experimental results of highway I sequence

4.2 实验验证

图 6. 不同场景下的算法处理过程

Fig. 6. Algorithm processing in different scenarios

表 1. 5种算法的评价结果

Table 1. Appraisal results of five algorithms%

表 2. 目标掩码增长率与精度

Table 2. Growth rate and accuracy of object mask

图 7. 5种算法下的检测结果

Fig. 7. Test results of 5 algorithms

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于区域辐射一致性的移动阴影检测下载： 873次