基于改进GMM和多特征融合的视频火焰检测算法

张驰; 孟庆浩; 井涛

doi:doi:10.3788/LOP202158.0410006

激光与光电子学进展, 2021, 58 (4): 0410006, 网络出版: 2021-02-24

基于改进GMM和多特征融合的视频火焰检测算法下载： 900次

Video Flame Detection Algorithm Based on Improved GMM and Multi-Feature Fusion

论文大纲

张驰孟庆浩井涛 ^*

作者单位

天津大学电气自动化与信息工程学院天津大学机器人与自主系统研究所, 天津市过程检测与控制重点实验室, 天津 300072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对现有视频图像火焰检测算法前景提取不完整、准确率低和误检率高等问题,提出一种基于改进混合高斯模型(GMM)和多特征融合的视频火焰检测算法。首先针对背景建模,提出了自适应高斯分布数和学习率的改进GMM方法,以提高前景提取效果和算法实时性;然后利用火焰颜色特征筛选出疑似火焰区域,再通过融合改进局部二值模式纹理和边缘相似度特征用于火焰检测。基于支持向量机设计火焰融合特征分类器并进行对比实验,在公开数据集上的实验结果表明,所提算法有效提高了背景建模效果,火焰检测准确率可达到92.26%,误检率低至2.43%。

Abstract

Aiming at the problems of incomplete foreground extraction, low accuracy, and high false detection rate of the existing video image flame detection algorithms, a video flame detection algorithm based on improved Gaussian mixture model (GMM) and multi-feature fusion was proposed. Firstly, for background modeling, an improved GMM method with adaptive Gaussian distribution number and learning rate was proposed to improve the foreground extraction effect and algorithm real-time performance. Then the flame color characteristics were used to filter out the suspected flame regions, and local binary pattern texture and edge similarity features were used for flame detection. Based on support vector machine, a flame fusion feature classifier was designed and compared. Experimental results on the public datasets show that the algorithm proposed in this paper effectively improved the background modeling effect. The flame detection accuracy reached 92.26%, and the false detection rate was as low as 2.43%.

1 引言

火灾作为一种破坏力极强的灾害,对社会经济发展和人民生命财产安全构成了严重威胁。国民经济发展的新形势下,随着“智慧消防”建设的推进,公共视频监控发展迅速,诸多火灾高风险区域安装了视频监控^[1]。以视频监控为基础的火灾检测,可以克服传统接触式火焰探测器检测范围有限和易受外界干扰等缺点^[2]。火灾发生时常伴随火焰和烟雾产生,基于视频的火灾探测方法主要包括火焰和烟雾检测两种形式,火焰检测相较于烟雾有目标可见度高、实时性好和抗干扰性强等优点,成为火灾检测报警的重要研究方向^[3]。

基于视频的火焰检测将图像中的火焰部分作为前景进行提取,其他部分作为背景区域。刘立等^[4]基于YIQ(Y表示亮度,I和Q代表色彩分量)颜色空间识别火焰,利用火焰颜色和亮度的阈值分割图像获得火焰区域,但是分割效果受设定阈值影响较大,火焰检测准确率较低;邵良杉等^[5]提出一种基于Codebook的火焰识别方法,在YUV(Y表示亮度,U和V表示色度)空间利用Codebook模型提取火焰区域,定时更新背景,在复杂场景中取得了较高的识别准确率,但该方法侧重于动态特征提取,需要输入较长的视频序列,算法实时性有待提升,并且基于YUV空间提取的疑似火焰区域存在部分丢失情况,即出现空洞;贾阳等^[6]利用改进层次聚类和支持向量机(SVM)识别火焰,根据火焰像素累积结果对火焰进行初步分割,利用改进层次聚类得到疑似火焰区域,减少了算法计算量,但提取到的火焰区域面积偏小,因此增加了特征提取难度,误报率偏高;张丹丹等^[7]基于改进YCbCr(Y表示亮度,Cb和Cr表示色彩)和区域生长的多特征融合算法识别火焰,将场景分为反光和非反光区域,避免噪声对分割效果的影响,前景提取精度较高,但没有考虑各特征的优势,只是对同类火焰目标如蜡烛、车灯等进行区分,适用场景有限;唐岩岩等^[8]利用混合高斯模型(GMM)提取前景目标,同时对背景和前景建模,提高背景模型的适应性,但该方法采用固定学习率,因此背景模型收敛缓慢,易出现拖影、虚假目标等情况;吴茜茵等^[9]提出多特征融合的火焰识别算法,基于改进的颜色特征模型提取疑似火焰区域,融合多种形状结构特征并输入到SVM中进行分类,特征提取较简单,实时性较好,但是没有提取火焰的动态特征,易对部分类火焰目标造成误检。

随着深度学习在计算机视觉领域的广泛应用,基于深度神经网络的火焰识别成为重点研究方向,如Muhammad等^[10] 基于SqueezeNet提出了一种火焰识别方法,在ImageNet图像数据集上预训练图像分类网络,而后利用火焰图片数据集进行参数调整。深度学习方法一般需要大量的标注数据,相比于传统特征提取方法,在一定程度上提高了火焰识别率。由于火灾是偶发性事件,难以获得大量标注过的视频数据,缺少通用的火灾视频数据集,因此目前很多深度学习火焰识别方法是基于图像数据进行训练和预测^[3],即只利用图像的空间信息而没有利用视频时序信息。

本文针对GMM背景建模存在前景信息丢失、火焰检测准确率低和误检率高等问题,提出一种基于改进GMM和多特征融合的火焰检测算法,给出自适应高斯分布数和学习率的GMM背景建模算法,以增强算法实时性和避免出现“鬼影”等现象,提升背景建模效果;基于SVM融合改进了局部二值模式(LBP)纹理和边缘相似度特征,以改善单一特征不能准确检测火焰区域的问题。

2 改进的GMM背景建模

算法检测流程如图1所示。GMM能较好描述复杂背景,但该方法存在一些问题,一是对像素点建立多个高斯分布,计算量大,算法实时性差;二是由于固定的学习率导致GMM对光照、突发运动等干扰较敏感,当目标场景变化时,背景模型建模过程难以适应运动物体位置的变化,不能精确区分前景和背景,易出现拖影、虚假目标等现象,俗称“鬼影”^[11-12]。针对上述问题,本文提出一种改进GMM背景建模算法,一是自适应选择背景建模高斯分布数量以减少算法运算量;二是自适应学习率,避免“鬼影”现象的产生,同时提高前景提取的完整度。

图 1. 基于改进GMM和多特征融合的检测流程图

Fig. 1. Detection flowchart based on improved GMM and multi-feature fusion

下载图片查看所有图片

2.1 GMM背景建模原理

GMM背景建模将图像中每个像素建模为K个高斯分布,时刻t的观测值是X_t的概率为

P (X_{t}) = \overset{K}{\sum_{k = 1}} ω_{k, t} η (X_{t,} μ_{k, t,} C_{k, t}), (1)

式中:K为高斯分布数量(一般取3~5);ω_k_,_t和μ_k_,_t分别是t时刻第k个高斯分布的权重和均值。η(X_t_,μ_k_,_t_,C_k_,_t)表示高斯概率密度函数^[13],具体表示为

\begin{array}{l} η (X_{t,} μ_{k, t,} C_{k, t}) = \frac{1}{{(2 π)}^{D / 2} {|C_{k, t}|}^{1 / 2}} \times \\ \exp \{- \frac{1}{2} (X_{t} - μ_{k, t})^{T} C_{k, t}^{- 1} (X_{t} - μ_{k, t})\}, (2) \end{array}

式中:D表示X_t的维数;C_k_,_t是t时刻K个高斯分布的协方差。

GMM中K个高斯分布根据ω_k_,_t/σ_k_,_t(σ_k_,_t是t时刻第k个高斯分布的标准差)按从大到小排序,取前B个高斯分布作为背景模型,B确定方法为

B = \underset{b}{\arg \min} (\overset{b}{\sum_{k = 1}} ω_{k, t} > T_{th}), (3)

式中:T_th是设定的高斯分布权重阈值,取值影响高斯分布中背景所占比重,当T_th取值较大时,可以提高背景建模抗干扰能力,但同时也加大了运动目标漏检可能性;当T_th取值较小时,可以提高对运动目标提取的灵敏度,但同时降低了抗干扰能力。

处理一帧新的图像时,把每个新观测值X_t₊₁轮流与K个高斯分布匹配,若对第k个高斯分布有 $|(X_{t + 1} - μ_{k, t})|$ ≤2.5σ_k_,_t,则该高斯分布被新观测值X_t₊₁更新,其余高斯分布不变^[14],更新方程为

\begin{array}{l} ω_{k, t + 1} = (1 - α) \cdot ω_{k, t} + α \cdot M_{k, t + 1}, (4) \\ μ_{k, t + 1} = (1 - ρ) \cdot μ_{k, t} + ρ \cdot X_{t + 1}, (5) \\ σ_{k, t + 1}^{2} = (1 - ρ) σ_{k, t}^{2} + ρ (X_{t + 1} - μ_{k, t + 1})^{T} \times \\ (X_{t + 1} - μ_{k, t + 1}), (6) \\ M_{k, t + 1} = \{\begin{array}{l} 1, matched Gaussian distribution \\ 0, others \end{array}, (7) \\ ρ = α / ω_{k, t}, (8) \end{array}

式中:α为学习率;ρ为参数更新速率。如果观测值X_t₊₁与K个高斯分布都不匹配,则用一个新的均值为X_t₊₁、低权重和高方差的高斯分布替代末尾高斯分布^[15]。

2.2 自适应高斯分布数

在GMM背景建模过程中,与观测值匹配的高斯分布权重逐渐增大,不匹配的高斯分布随着权重减小逐渐落入前景部分,当某个高斯分布权重ω_k_,_t小于初始权重ω_init,ω_k_,_t/σ_k_,_t小于初始ω_init/σ_init时,经过排序,此高斯分布会排到序列尾部(对背景建模贡献较小);后续若新一帧观测值与此高斯分布匹配,则更新该高斯分布参数消耗的时间比生成一个与观测值对应的新高斯分布更长,这些小权重高斯分布对计算资源造成浪费,在背景建模时应当删除。由此本文提出一种自适应选择高斯分布数量的算法,用较少的高斯分布表示观测值,以减少背景建模的计算量。具体算法步骤如下。

1) 对于初始观测值X₁,用相同参数初始化N_u个高斯分布,

N_{u} = 1, μ_{k, 1} = X_{1}, σ_{k, 1} = σ_{0}, ω_{k, 1} = 1 / N_{u}, (9)

式中:N_u表示模型参数已更新的高斯分布数量,初始化时取1;μ_k_,1、σ_k_,1和ω_k_,1分别表示根据观测值X₁初始化第k个高斯分布的均值、标准差和权重,k=1,2,…,K,K为N_u的上限。

2) 新观测值X_t轮流与N_u个高斯分布匹配,若该观测值与第k个高斯分布匹配,则根据(4)~(8)式更新对应高斯分布参数,按照ω_k_,_t/σ_k_,_t从大到小排序。

若新观测值与序列中所有高斯分布都不匹配,则生成一个新高斯分布,当N_u<K时,其参数设置为

\begin{array}{l} ω_{new, t} = (1 - λ) \times ω_{ave}, (10) \\ μ_{new, t} = X_{t}, (11) \\ σ_{new, t}^{2} = (1 + λ) \times σ_{ave}^{2}, (12) \end{array}

式中:λ为平衡系数(0<λ<1),目的是将新高斯分布的方差和权重控制在较合理范围内;ω_ave和 $σ_{ave}^{2}$ 分别为分布序列中N_u个高斯分布权重和方差的均值。

当N_u达到上限K时(N_u=K),不立即替换末尾高斯分布,而是当新的高斯分布权重大于某一阈值T_w时才替换,替换之前,该新高斯分布按(4)~(8)式更新,为了能够有效替换末尾高斯分布,应尽量避免前景和背景信息丢失以及提高抗噪能力,新高斯分布权重更新取值应逐渐增大,设新高斯分布的权重更新方程(4)式中M_k_,_t₊₁恒为1,新高斯分布的学习率α_new公式为

α_{new} = 1 / \{1 + \exp [0.25 (C_{cons} - q)]\}, (13)

式中:C_cons是常数;q是高斯分布被观测值匹配的次数,匹配次数增多,权重提升较慢。当新高斯分布权重大于阈值T_w时,替换末尾高斯分布,权重归一化后,q置零。

3) 对视频前F帧图像学习后,按照ω_k_,_t/σ_k_,_t排序,将排在尾部的高斯分布的权重与其前一个高斯分布的权重相减,如果差值的绝对值小于阈值M,并且视频序列中连续P帧此末尾高斯分布都没有被匹配,则删除末尾高斯分布,重复该步骤,直至完成。

4) 高斯分布权重归一化,表示为

ω_{k} = ω_{k} / \overset{N_{u}}{\sum_{i = 1}} ω_{i}, k = 1,2, \dots, N_{u} 。 (14)

为验证改进GMM的建模效果,选取三段视频进行对比实验,视频序列大小是720 pixel×480 pixel,如图2所示。在相同平台(CPU为i5-4210U,频率为1.7 GHz)下比较背景建模算法处理速度。表1统计了改进GMM和传统GMM算法的处理速度,算法采用的参数为K=4,T_th=0.5,σ_init=30,ω_init=0.25,λ=0.15,F=150,T_w∈(0.15,0.25),M=0.006,P=15,C_cons=75,α=0.004。传统GMM每帧平均处理时间为47.2 ms(21 frame/s),而改进GMM每帧平均处理时间为31.9 ms(31 frame/s),相对于传统GMM处理速度提高大约10 frame/s,有效加快了背景建模速度,提高了算法实时性。

图 2. 火焰视频序列截取帧。(a)室内火焰;(b)室外火焰;(c)森林火焰

Fig. 2. Frame capture of flame video sequence. (a) Indoor flame; (b) outdoor flame; (c) forest flame

下载图片查看所有图片

表 1. 算法处理速度对比

Table 1. Comparison of algorithm processing speed unit: ms/frame

Algorithm	Fig. 2(a)	Fig. 2(b)	Fig. 2(c)	Average value
GMM	44.5	47.8	49.3	47.2
Improved GMM	33.7	30.4	31.6	31.9

查看所有表

2.3 自适应学习率

视频中环境复杂,天气以及行人都易造成场景变化,GMM背景建模对突发运动、光照突变和噪声等干扰较敏感。传统GMM算法的学习率α值固定,当背景模型在目标环境下发生变化时,难以适应运动目标位置变化,不能精确建模前景和背景。当学习率α设定较大时,背景快速收敛,因此间歇停顿或运动缓慢的目标易更新为背景,导致模型鲁棒性变差;当学习率设定较小时,当前像素点观测值匹配的高斯分布参数更新速率小,使得场景不稳定,背景更新速率变慢,增加了背景建模时间,甚至出现“鬼影”现象。由此,本文提出自适应学习率方法,代表前景和背景的高斯分布采用不同的学习率进行参数更新,背景部分的学习率相对较高,前景部分的学习率相对较低。

具体方法如下:GMM背景建模时,通过对前F帧图像的学习(固定学习率α_F=0.006),表示背景的高斯分布学习率较大,较大学习率有利于加速背景建模,在t时刻当原运动前景区域像素观测值匹配第i个高斯分布时,学习率α_t按下式更新。

α_{t} = \max (α_{0}, ω_{i} \cdot β), (15)

式中:ω_i为匹配的高斯分布权重(0<ω_i<1);α₀和β为常数(本文中α₀=0.00001,β=0.01)。(15)式主要通过ω_i·β项实现自适应学习率,通常情况下ω_i·β比α₀大,表示背景的高斯分布有着较大权重,当观测值匹配的高斯分布权重ω_i较大时,该高斯分布倾向于表示背景部分,ω_i·β项较大,此时较大的学习率有利于加速背景建模,以适应光照、突变运动等情况;当观测值匹配的高斯分布权重ω_i较小时,该高斯分布倾向于表示前景部分,ω_i·β较小,此时较小的学习率有利于减慢模型收敛速度,以提高抗干扰能力和增强模型鲁棒性。如果匹配的高斯分布权重太小,ω_i·β项过小(接近0),则导致静止下来的运动目标难以更新到背景模型,引入学习率下限α₀能够避免出现极小学习率,改善背景建模的“鬼影”问题。

在相同测试平台下,选取视频进行背景建模实验。图3为传统GMM和改进GMM在不同场景下的前景提取图以及原图,其中算法采用参数与上述实验一致,图3(a)和(b)视频场景分别为室外火焰(1450 frame)和森林火灾(547 frame),图3(c)和(d)分别为传统GMM的前景提取图,图3(e)和(f)分别为改进GMM的前景提取图。

图 3. 原图以及前景提取图。(a)(b)原图;(c)(d)传统GMM前景提取图;(e)(f)改进GMM前景提取图

Fig. 3. Original and foreground renderings.(a)(b) Original image; (c)(d) traditional GMM foreground extraction map; (e)(f) improved GMM foreground extraction map

下载图片查看所有图片

从图3(c)和(d)可以看出,由于GMM建模过程中学习率固定,当受到光照变化或人物运动影响时,由于背景模型更新不及时,导致光照变化和人物运动区域部分背景点被误检为前景点。如图3(c)中出现“鬼影”现象,同时还存在前景目标提取不完整的问题;图3(d)中运动目标提取不完整,背景建模效果较差。图3(e)和(f)由于采用自适应学习率更新背景模型,图中基本没有干扰白斑,人物及火焰前景提取效果较好,图3(e)中没有出现“鬼影”现象,同时提高了背景建模效果。

表2和表3给出了传统GMM、基于纹理的混合高斯背景建模(TBGMM)^[15]和本文提出的改进混合高斯背景建模(IGMM)三种算法对上述三个视频检测结果的定量评价,评价指标采用了文献[ 15]的方法,分别统计了算法的虚警数(FP)和漏检数(FN),漏检数是指前景被错误检测为背景的像素个数,虚警数是指背景被错误检测为前景的像素个数。

表 2. 虚警数比较

Table 2. Comparison of false alarms

Algorithm	Fig. 2(a)	Fig. 2(b)	Fig. 2(c)	Average
GMM	1233	674	521	809
TBGMM	426	587	403	472
IGMM	269	391	137	266

查看所有表

表 3. 漏检数比较

Table 3. Comparison of missed inspections

Algorithm	Fig. 2(a)	Fig. 2(b)	Fig. 2(c)	Average
GMM	563	601	731	632
TBGMM	411	398	759	523
IGMM	518	489	501	503

查看所有表

从表2和表3可以看出,本文IGMM算法的虚警数远低于GMM算法,与TBGMM算法相比也相对较低;TBGMM算法是基于纹理特征的前景提取方法,每个像素被建模为一组自适应局部二值模式直方图,图2(a)和(b)背景相对简单,TBGMM算法能够有效减小动态背景的影响,因此TBGMM算法漏检数在图2(a)和(b)中要低于GMM和IGMM算法,而图2(c)易受环境等干扰因素影响,导致目标分割不够精确,因此TBGMM算法漏检数在图2(c)中高于GMM和IGMM算法;在平均检测效果上,本文IGMM算法在所有检测视频序列中要优于GMM和TBGMM,本文IGMM算法在保持较低漏检数的同时,有效减少了虚警数的检测数,背景建模的准确率较高。

3 火焰特征提取与识别

通过GMM背景建模后,获得运动目标区域,在实际火焰检测过程中,仅通过运动目标检测无法将一些类火运动目标如夕阳、车灯和蜡烛等与火焰目标区分开,为了区分火焰和类火运动目标,结合火焰颜色、纹理特性以及形状特性作为火焰检测的依据以获得较好的识别准确率,充分考虑了各特征之间的优势以及视频图像原有特性,能够有效地实现特征互补。

特征流程图如图4所示,首先根据获取的运动前景利用颜色特征加权得到疑似火焰区域,排除部分类火运动目标(如行人等)的干扰,然后提取改进LBP纹理和边缘相似度等火焰动态静态特征,将其进行串联融合作为特征向量输入SVM分类器进行训练和测试。

图 4. 特征提取流程图

Fig. 4. Feature extraction flowchart

下载图片查看所有图片

3.1 颜色特征

颜色是火焰最直观的静态特征,利用颜色模型可以排除部分汽车、行人等运动物体的干扰。在红绿蓝(RGB)颜色模型中,火焰颜色在红黄之间相对集中,并且红色分量占比较大;在色调、饱和度、亮度(HSI)颜色模型中,则表现为红色分量的饱和度较大^[16],本文采用文献[ 17]提出的如下火焰颜色规则来检测疑似火焰区域。

\begin{array}{l} R > R_{T}, (16) \\ R \geq G > B, (17) \\ S \geq (255 - R) \times \frac{S_{T}}{R_{T}} 。 (18) \end{array}

该颜色规则将RGB和HSI两种颜色空间的规则融合,其中R_T和S_T分别为红色分量和饱和度阈值,当像素点都满足上述规则时,则判定该点是火焰像素点,否则,为非火焰像素点。经过颜色模型加权检测,可以排除非火焰运动物体的干扰,如图3(a)和(b)中行人等。

3.2 纹理特征

纹理特征主要反映图像局部区域像素灰度值的变化情况,能较好描述物体表面局部的粗糙度特性。某些类火目标(如燃烧的蜡烛等)具有和火焰目标类似的形状和颜色,但在纹理特征上有明显区分度,因此可用纹理特征区分火焰和类火目标。

多数纹理特征描述方法(如灰度共生矩阵等)易受到光照、旋转等因素影响。LBP算法是关于图像局部纹理特征的一种描述方法,其优点是具有灰度不变性和旋转不变性,受光照、旋转等因素的影响较小。LBP原理是在一个给定图像的窗口内,以窗口中心像素为阈值,比较中心像素与邻域像素之间的灰度值,若邻域内像素灰度值大于等于中心像素灰度值,则邻域像素值设置为1,否则设置为0,从而可以得到一个二进制序列(位数与窗口大小有关,即LBP码),将该值设为中心像素点的LBP码,用于反映该区域的纹理信息^[18]。

Ojala等^[19]定义了旋转不变均匀模式LBP来改进LBP特征,在准确反映图像纹理信息的基础上,减小了计算量,同时使特征具有旋转不变性,记为LBP^riu。相应计算方法为

\begin{array}{l} LB P_{P, R}^{riu} = \{\begin{array}{l} \overset{P - 1}{\sum_{i = 0}} s (g_{i} - g_{c}), & i f U (LB P_{P, R}) \leq 2 \\ P + 1, & else \end{array}, (19) \\ U (LB P_{P, R}) = |s (g_{i - 1} - g_{c}) - s (g_{i} - g_{c})| + \\ \overset{P - 1}{\sum_{i = 1}} |s (g_{i} - g_{c}) - s (g_{i - 1} - g_{c})|, (20) \end{array}

式中:s(x)= $\{\begin{array}{l} 1, & x \geq 0 \\ 0, & otherwise \end{array}$ ;g_c为区域中心的灰度值;g_i表示区域中心邻域半径为R的各点的灰度值;U为首尾相连的P位二进制序列在1和0之间的跳变次数。为了达到信息保留和计算时间的平衡,本文选取P=8,R=1,相应的LBP^riu编码种类为10种。

为了验证LBP^riu提取特征的有效性,统计火焰以及类火目标(摇晃的蜡烛和墙壁)等框内各点LBP^riu直方图。

如图5所示,直方图横轴代表纹理特征取值,纵轴代表纹理特征取值所对应的像素点数量。LBP^riu统计直方图中,表示火焰的图5(e)、(f)在整个特征值取值范围上分布较均匀,表示类火目标的图5(g)、(h)显示出明显的分布不均匀性。由此可见,LBP^riu提取的纹理特征直方图能较好地区分火焰和类火目标。

图 5. 原图和LBP直方图。(a)(b)火焰图像;(c)(d)类火图像;(e)对(a)提取的直方图;(f)对(b)提取的直方图;(g)对(c)提取的直方图;(h)对(d)提取的直方图

Fig. 5. Original images and LBP histograms. (a)(b) Flame images; (c)(d) fire-like images; (e) histogram extracted from Fig. (a); (f) histogram extracted from Fig. (b); (g) histogram of extracted from Fig. (c); (h) histogram of extracted from Fig. (d)

下载图片查看所有图片

3.3 边缘相似度特征

火焰燃烧时边缘呈现无规则变化,而相邻帧之间前景区域的面积变化,但整体轮廓边缘相似。边缘相似度特征可以用于区分火焰和车灯、夕阳等类火目标。视频序列中,E_k表示第k帧图像的前景边缘,定义第c帧和第k帧图像前景(假定提取到单一前景区域,多前景区域分别计算)边缘相似度计算公式为

S_{Ω} (c, k) = \frac{\sum_{(x, y) \in Ω} E_{c} (x, y) ⋂ E_{k} (x, y)}{\sum_{(x, y) \in Ω} E_{c} (x, y) ⋃ E_{k} (x, y)}, (21)

式中:(x,y)表示像素坐标;Ω为图像区域。将视频中某前景区域连续n帧图像的平均边缘相似度特征作为该前景区域的边缘相似度特征,计算公式为

S_{Ω} = \frac{1}{n} \overset{k - 1}{\sum_{c = k - n}} S_{Ω} (c, k) 。 (22)

为了验证边缘相似度特征的有效性,选取5段分别含有火焰、路灯、夕阳、闪烁的车灯和摇晃的蜡烛等目标视频进行相似度特征提取实验,连续选取视频中的8帧图像,得到7个相似度值,计算的平均相似度如表4所示。

表 4. 目标相似度比较

Table 4. Target similarity comparison

Target	1	2	3	4	5	6	7	Average value
Flame	0.7020	0.7764	0.6986	0.7356	0.7204	0.8016	0.7932	0.7468
Sunrise	0.5075	0.5108	0.5596	0.5845	0.5655	0.6019	0.4912	0.5459
Headlight	0.2301	0.2422	0.2499	0.3047	0.3881	0.1963	0.2943	0.2722
Candle flame	0.9457	0.8536	0.8983	0.8203	0.8915	0.8294	0.8231	0.8660

查看所有表

由表4可知,车灯随着车移动,平均相似度最小;日出由于受到外界因素如晨雾等影响,平均相似度约为0.5;蜡烛火焰燃烧时产生轻微的抖动,也可以看作静止状态,平均相似度最高;边缘相似度特征可以区分与火焰相似度值差别较大的类火目标(如移动的车灯、夕阳等),但无法区分如蜡烛火焰等与火焰边缘相似度值相近的类火目标,为此本文需结合其他特征如纹理特征等来进行区分。

4 实验结果及分析

为了验证本文算法的效果,在相同数据集上与其他文献火焰检测算法(如文献[ 6,9,5])进行火焰检测对比实验。

本文火焰检测实验使用的视频数据来自韩国启明大学CVPR实验室^[20]、土耳其比尔肯大学SPG工作组^[21]和美国NIST火灾研究实验室^[22]等数据集,同时包括部分从网上获取的视频数据,包括火焰视频39段(9764 frame)、干扰视频12段(1825 frame),视频中包含室内、室外不同背景下亮度有差别、形状不同的火焰以及蜡烛、车灯、行人和广告牌等干扰目标。

从视频中疑似火焰区域提取颜色、改进LBP纹理和边缘相似度特征,首先通过颜色特征排除部分类火运动目标的干扰,串联融合改进LBP纹理和边缘相似度特征,构成11维向量X=[H₁,H₂,…,H₁₀,E_sim],作为SVM的输入特征向量进行火焰分类,选择径向基核函数,惩罚因子和核参数选取通过K折交叉验证法获得,最终取C=7.2318,ρ=0.0817。从视频中选取800 frame样本,其中训练集480 frame,包含260 frame火焰样本,220 frame非火焰样本;测试集320 frame,包含180 frame火焰样本,140 frame非火焰样本。

表 6. 非火视频检测结果对比

Table 6. Comparison of non-fire video detection results

Video	Videoframe	Fireframe	Ref. [6]		Ref. [9]		Ref. [5]		Proposed method
Video	Videoframe	Fireframe	FF	FN /%	FF	FN /%	FF	FN /%	FF	FN /%
Fig. 6(d)	148	0	5	3.38	3	2.03	4	2.70	3	2.03
Fig. 6(e)	187	0	9	4.81	12	6.42	10	5.35	3	1.60
Fig. 6(f)	273	0	15	5.49	5	1.83	18	6.59	10	3.66
Average	--	--	--	4.56	--	3.43	--	4.88	--	2.43

查看所有表

表 5. 火焰视频检测结果对比

Table 5. Comparison of flame video detection results

Video	Videoframe	Fireframe	Ref. [6]		Ref. [9]		Ref. [5]		Proposed method
Video	Videoframe	Fireframe	MF	TP /%	MF	TP /%	MF	TP /%	MF	TP /%
Fig. 6(a)	208	198	6	92.31	9	90.87	10	90.38	4	93.27
Fig. 6(b)	368	350	5	93.75	4	94.02	8	92.93	2	94.57
Fig. 6(c)	217	199	14	85.25	1	91.24	15	84.79	6	88.94
Average	--	--	--	90.44	--	92.04	--	89.37	--	92.26

查看所有表

为了评价本文火焰检测算法的整体性能,选取多个视频进行验证,部分视频样本如图6所示。

图 6. 实验视频。(a)室外火焰;(b)室内火焰;(c)森林火焰;(d)走动行人;(e)闪烁的车灯;(f)闪烁的霓虹灯

Fig. 6. Experimental videos. (a) Outdoor flame; (b) indoor flame; (c) forest flame; (d) walking pedestrians; (e) flashing car lights; (f) flashing neon lights

下载图片查看所有图片

对比算法包括文献[ 6]改进层次聚类的视频火焰识别算法、文献[ 9]多特征融合的火焰识别算法和文献[ 5]Codebook的视频火焰识别算法,选取6段典型视频的识别结果进行对比,如表5和6所示。其中MF代表漏检帧数,即火焰错误检测为非火焰的帧数,TP代表火焰正确分类为火焰的帧数占总帧数的百分比。表6为非火焰视频的检测结果,FF代表误检帧数,即非火焰错误检测为火焰的帧数,FN代表非火焰错误分类为火焰的帧数占总帧数的百分比。

文献[ 6]利用改进层次聚类提取疑似区域,然后融合红绿分量比、面积变化率、平均亮度、相邻帧间相关性和质心偏移距离作为特征向量输入SVM进行分类,对于视频中只包含唯一火焰区域并且火焰燃烧稳定的场景[图6(b)],检测效果较好;对于含有多个疑似火焰区域的场景[图6(c)],难以准确提取面积变化率、相邻帧间相关性和质心偏移距离等特征,检测效果欠佳。文献[ 9]方法融合了重心高度系数、矩形度和圆形度等三种形状结构特征,对于视频中含有多个火焰区域且轮廓变化较大时,检测效果较好,例如对图6(c)文献[ 9]方法的检测准确率最高;图6(a)中火焰受风吹的影响使得形状变化程度较大,有时重心高度系数接近于0.5,即火焰重心靠近中央,导致文献[ 9]方法的火焰检测准确率较低;图6(e)中行驶的汽车车灯以及车灯照射区域与火焰颜色相似,并且形状结构特征差别不大,造成文献[ 9]方法的误检率较高。文献[ 5]基于YUV颜色空间利用Codebook背景模型提取疑似火焰前景,在背景建模过程中,学习和陈旧时间的阈值设定具有局限性,并且需要定时删除陈旧条目,可能导致前景和背景信息丢失,造成前景提取完整度不高,增加了特征提取难度。文献[ 5]方法选取了火焰质心位移、区域重叠率和面积变化率等特征训练网络,可知该方法侧重于动态特征的提取,对部分变化程度较小的类火目标[图6(f)]误检率较高。

本文算法基于改进GMM获得提取运动前景区域,利用颜色特征筛选出疑似火焰目标区域;分别提取目标区域的旋转均匀LBP特征(表征纹理的静态特征)和边缘相似度特征(表征轮廓变化的动态特征)并进行串联融合,融合后的特征具有旋转不变性和灰度不变性,利用训练数据集进行参数调优,获得了较好的特征表达和识别能力,能够较准确地识别火焰区域以及排除类火目标。对比实验中,本文算法对火焰视频的平均识别率为92.26%,高于对比算法;对非火焰视频的平均误检率为2.43%,低于对比算法,即本文算法在火焰识别率和非火焰误检率上都取得较好效果。

5 结论

本文围绕视频火焰检测的问题,提出了改进的GMM和多特征融合的视频火焰检测算法。针对传统火焰前景提取方法运算时间过长、易出现“鬼影”等问题,提出改进GMM背景建模算法,采用自适应高斯分布数和学习率的方法,提升了算法实时性和背景建模效果。针对单一特征无法准确检测出火焰且误检率高等问题,对火焰区域提取颜色、LBP纹理和边缘相似度等特征,有效排除不同特点的类火运动目标干扰,既保持了颜色特征对于火焰色彩变化的敏感性,又具有LBP特征的灰度不变性、旋转不变性和相似度特征对处理轮廓相似区域的有效性。实验结果表明,本文算法有较高检测准确率,同时误检率较低。

参考文献

[1] 王英. 全力维护火灾形势稳定: 新中国成立70年火灾防控综述[J]. 中国消防, 2019( 10): 28- 31.

WangY. Full efforts to maintain the stability of the fire situation: a summary of fire prevention and control in the 70 years since the founding of new China[J]. China Fire, 2019( 10): 28- 31.

[2] 谭勇, 谢林柏, 冯宏伟, 等. 基于图像的火焰检测算法[J]. 激光与光电子学进展, 2019, 56(16): 161012.

Tan Y, Xie L B, Feng H W, et al. Flame detection algorithm based on image processing technology[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161012.

[3] 曹江涛, 秦跃雁, 姬晓飞. 基于视频的火焰检测算法综述[J]. 数据采集与处理, 2020, 35(1): 35-52.

Cao J T, Qin Y Y, Ji X F. Review on video based flame detection algorithm[J]. Journal of Data Acquisition and Processing, 2020, 35(1): 35-52.

[4] 刘立, 曾花. 基于YIQ颜色空间的火焰轮廓提取算法[J]. 南华大学学报(自然科学版), 2016, 30(2): 72-77, 82.

Liu L, Zeng H. A method of flame contour extraction based on YIQ color space[J]. Journal of University of South China (Science and Technology), 2016, 30(2): 72-77, 82.

[5] 邵良杉, 郭雅婵. 基于Codebook的视频火焰识别算法[J]. 计算机应用, 2015, 35(5): 1483-1487.

Shao L S, Guo Y C. Flame recognition algorithm based on Codebook in video[J]. Journal of Computer Applications, 2015, 35(5): 1483-1487.

[6] 贾阳, 王慧琴, 胡燕, 等. 基于改进层次聚类和SVM的图像型火焰识别[J]. 计算机工程与应用, 2014, 50(5): 165-168, 194.

Jia Y, Wang H Q, Hu Y, et al. Flame detection algorithm based on improved hierarchical cluster and support vector machines[J]. Computer Engineering and Applications, 2014, 50(5): 165-168, 194.

[7] 张丹丹, 章光, 陈西江, 等. 改进YCbCr和区域生长的多特征融合的火焰精准识别算法[J]. 激光与光电子学进展, 2020, 57(6): 061022.

Zhang D D, Zhang G, Chen X J, et al. Flame identification algorithm based on improved multi-feature fusion of YCbCr and region growth[J]. Laser & Optoelectronics Progress, 2020, 57(6): 061022.

[8] 唐岩岩, 严云洋, 刘以安. 应用GMM的快速火焰检测[J]. 计算机科学, 2012, 39(11): 283-285, 297.

Tang Y Y, Yan Y Y, Liu Y A. Fast flame detection with GMM[J]. Computer Science, 2012, 39(11): 283-285, 297.

[9] 吴茜茵, 严云洋, 杜静, 等. 多特征融合的火焰检测算法[J]. 智能系统学报, 2015, 10(2): 240-247.

Wu X Y, Yan Y Y, Du J, et al. Fire detection based on fusion of multiple features[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2): 240-247.

[10] Muhammad K, Ahmad J, Lv Z, et al. Efficient deep CNN-based fire detection and localization in video surveillance applications[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(7): 1419-1434.

[11] Han X F, Jin J S, Wang M J, et al. Video fire detection based on Gaussian mixture model and multi-color features[J]. Signal Image & Video Processing, 2017: 1419-1425.

[12] Sun Y D, Yuan B Z. Hierarchical GMM to handle sharp changes in moving object detection[J]. Electronics Letters, 2004, 40(13): 801-802.

[13] Qi YJ, LiH, Wang YJ, et al.Spinning tri-layer-circle memory-based Gaussian mixture model for background modeling[C]∥2016 IEEE 13th International Conference on Signal Processing (ICSP), November 6-10, 2016, Chengdu, China.New York: IEEE Press, 2016: 943- 948.

[14] Xie XX, Huang WZ, Wang HH, et al.Image de-noising algorithm based on Gaussian mixture model and adaptive threshold modeling[C]∥2017 International Conference on Inventive Computing and Informatics (ICICI), November 23-24, 2017, Coimbatore, India.New York: IEEE Press, 2017: 226- 229.

[15] Pietikainen M. Heikkila M A. texture-based method for modeling the background and detecting moving objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 657-662.

[16] 孙琛. 基于视频图像的火灾检测算法研究与设计[D]. 济南: 山东大学, 2018.

SunC. Research and design of fire detection algorithm based on video image[D]. Jinan: Shandong University, 2018.

[17] Chen TH, Wu PH, Chiou YC. An early fire-detection method based on image processing[C]∥Image Processing, 2004. ICIP'04. 2004 International Conference on. IEEE, 2004: 1707- 1710.

[18] 刘晓悦, 王云明, 马伟宁. 融合FHOG和LBP特征的尺度自适应相关滤波跟踪算法[J]. 激光与光电子学进展, 2020, 57(4): 041512.

Liu X Y, Wang Y M, Ma W N. Scale-adaptive correlation filter tracking algorithm based on FHOG and LBP features[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041512.

[19] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971-987.

[20] CVPR Lab. KeimyungUniversity, Korea [EB/OL]. [2019-01-05].https:∥cvpr.kmu.ac.kr/.

[21] Bilkent E E signal processing group [EB/OL]. [2019-01-05].http:∥signal.cc.bilkent,edu.tr/VisiFire/.

[22] NIST. NIST fire research laboratory [EB/OL].[2019-01-05]. http:∥www.nist.gov/video-category/fire.

张驰, 孟庆浩, 井涛. 基于改进GMM和多特征融合的视频火焰检测算法[J]. 激光与光电子学进展, 2021, 58(4): 0410006. Chi Zhang, Qinghao Meng, Tao Jing. Video Flame Detection Algorithm Based on Improved GMM and Multi-Feature Fusion[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410006.

基于改进GMM和多特征融合的视频火焰检测算法下载： 900次

1 引言

2 改进的GMM背景建模

图 1. 基于改进GMM和多特征融合的检测流程图

Fig. 1. Detection flowchart based on improved GMM and multi-feature fusion

2.1 GMM背景建模原理

2.2 自适应高斯分布数

图 2. 火焰视频序列截取帧。(a)室内火焰;(b)室外火焰;(c)森林火焰

Fig. 2. Frame capture of flame video sequence. (a) Indoor flame; (b) outdoor flame; (c) forest flame

表 1. 算法处理速度对比

Table 1. Comparison of algorithm processing speed unit: ms/frame

2.3 自适应学习率

图 3. 原图以及前景提取图。(a)(b)原图;(c)(d)传统GMM前景提取图;(e)(f)改进GMM前景提取图

Fig. 3. Original and foreground renderings.(a)(b) Original image; (c)(d) traditional GMM foreground extraction map; (e)(f) improved GMM foreground extraction map

表 2. 虚警数比较

Table 2. Comparison of false alarms

表 3. 漏检数比较

Table 3. Comparison of missed inspections

3 火焰特征提取与识别

图 4. 特征提取流程图

Fig. 4. Feature extraction flowchart

3.1 颜色特征

3.2 纹理特征

图 5. 原图和LBP直方图。(a)(b)火焰图像;(c)(d)类火图像;(e)对(a)提取的直方图;(f)对(b)提取的直方图;(g)对(c)提取的直方图;(h)对(d)提取的直方图

Fig. 5. Original images and LBP histograms. (a)(b) Flame images; (c)(d) fire-like images; (e) histogram extracted from Fig. (a); (f) histogram extracted from Fig. (b); (g) histogram of extracted from Fig. (c); (h) histogram of extracted from Fig. (d)

3.3 边缘相似度特征

表 4. 目标相似度比较

Table 4. Target similarity comparison

4 实验结果及分析

表 6. 非火视频检测结果对比

Table 6. Comparison of non-fire video detection results

表 5. 火焰视频检测结果对比

Table 5. Comparison of flame video detection results

图 6. 实验视频。(a)室外火焰;(b)室内火焰;(c)森林火焰;(d)走动行人;(e)闪烁的车灯;(f)闪烁的霓虹灯

Fig. 6. Experimental videos. (a) Outdoor flame; (b) indoor flame; (c) forest flame; (d) walking pedestrians; (e) flashing car lights; (f) flashing neon lights

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于改进GMM和多特征融合的视频火焰检测算法 下载： 900次

1 引言

2 改进的GMM背景建模

图 1. 基于改进GMM和多特征融合的检测流程图

Fig. 1. Detection flowchart based on improved GMM and multi-feature fusion

2.1 GMM背景建模原理

2.2 自适应高斯分布数

图 2. 火焰视频序列截取帧。(a)室内火焰;(b)室外火焰;(c)森林火焰

Fig. 2. Frame capture of flame video sequence. (a) Indoor flame; (b) outdoor flame; (c) forest flame

表 1. 算法处理速度对比

Table 1. Comparison of algorithm processing speed unit: ms/frame

2.3 自适应学习率

图 3. 原图以及前景提取图。(a)(b)原图;(c)(d)传统GMM前景提取图;(e)(f)改进GMM前景提取图

Fig. 3. Original and foreground renderings.(a)(b) Original image; (c)(d) traditional GMM foreground extraction map; (e)(f) improved GMM foreground extraction map

表 2. 虚警数比较

Table 2. Comparison of false alarms

表 3. 漏检数比较

Table 3. Comparison of missed inspections

3 火焰特征提取与识别

图 4. 特征提取流程图

Fig. 4. Feature extraction flowchart

3.1 颜色特征

3.2 纹理特征

图 5. 原图和LBP直方图。(a)(b)火焰图像;(c)(d)类火图像;(e)对(a)提取的直方图;(f)对(b)提取的直方图;(g)对(c)提取的直方图;(h)对(d)提取的直方图

Fig. 5. Original images and LBP histograms. (a)(b) Flame images; (c)(d) fire-like images; (e) histogram extracted from Fig. (a); (f) histogram extracted from Fig. (b); (g) histogram of extracted from Fig. (c); (h) histogram of extracted from Fig. (d)

3.3 边缘相似度特征

表 4. 目标相似度比较

Table 4. Target similarity comparison

4 实验结果及分析

表 6. 非火视频检测结果对比

Table 6. Comparison of non-fire video detection results

表 5. 火焰视频检测结果对比

Table 5. Comparison of flame video detection results

图 6. 实验视频。(a)室外火焰;(b)室内火焰;(c)森林火焰;(d)走动行人;(e)闪烁的车灯;(f)闪烁的霓虹灯

Fig. 6. Experimental videos. (a) Outdoor flame; (b) indoor flame; (c) forest flame; (d) walking pedestrians; (e) flashing car lights; (f) flashing neon lights

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进GMM和多特征融合的视频火焰检测算法下载： 900次