激光与光电子学进展, 2019, 56 (16): 161012, 网络出版: 2019-08-05   

基于图像的火焰检测算法 下载: 1187次

Flame Detection Algorithm Based on Image Processing Technology
作者单位
1 江南大学物联网工程学院, 江苏 无锡 214122
2 无锡职业技术学院, 江苏 无锡 214122
摘要
在传统的火焰检测算法中,火焰前景提取容易出现火焰轮廓不完整和抗干扰性较差的情况。为此,融合红/绿/蓝(RGB)、色调/饱和度/亮度(HSI)和最大类间方差法(Otsu)提出一种新的火焰前景提取算法,利用双颜色空间融合的算法能够提取较完整的火焰轮廓,使火焰轮廓所受干扰影响程度尽量小。获得前景图像后用灰度共生矩阵提取纹理特征,在YCbCr颜色空间中提取颜色特征,用于最终的火焰判断。同时提出一种改进的概率神经网络(PNN),将传统PNN中单一固定值的平滑因子改进为多变量参数,用条件期望最大化(ECM)算法对PNN中平滑因子进行参数优化,再将提取的特征输入改进后的PNN中训练测试。仿真结果表明,该算法具有良好的抗干扰能力,能够提高对火焰识别的精度。
Abstract
The traditional flame detection algorithm often achieves incomplete contour and poor anti-interference performance in the process of flame foreground extraction. This paper proposes a new flame foreground extraction algorithm, which combines RGB, HSI, and Ostu (maximum between-cluster variance method). The developed algorithm can extract flame contour completely and eliminate the smallest possible interference. Then, static features such as textures and colors in YCbCr are extracted by using a co-occurrence matrix and used for final flame judgment. Finally, an improved probabilistic neural network (PNN) method is developed to adjust the traditional smoothing factor from a single fixed value to a parameter that contains multi-variables, after which the expectation/conditional maximization (ECM) algorithm is used to find the optimal parameters. The extracted features are input in the advanced PNN and used for the training test. Simulation results show that the proposed algorithm can improve the accuracy of flame identification with good anti-interference performance.

1 引言

火灾作为常见的重大灾害,严重威胁着人身和财产安全,有效地检测和避免火灾发生一直是研究的重点内容。传统的点型火灾检测装置[1]在探测距离和探测场所方面有着较大的局限性,通常在室外和复杂的环境中难以稳定工作。随着监控摄像头的普及以及数字图像处理技术的发展,通过数字图像来检测火灾的方式有着成本低、精度高和适用范围广等优点。

目前基于图像的火焰检测算法成为了国内外的研究重点。洪伟等[2]通过全卷积网络结合残差网络的方法进行火焰识别;栾方军等[3]通过提取火焰的颜色、面积变化及纹理特征,采用后向传输(BP)神经网络进行火焰判别;Borges等[4]将火焰动态特征与贝叶斯分类器相结合来识别火焰;Truong等[5]用自适应混合模型来检测运动区域,再通过模糊C均值(FCM)结合支持向量机(SVM)进行火焰判断;Töreyin等[6]除了使用动态特征和颜色特征外,还使用隐马尔可夫模型检测火焰闪烁过程;Rong等[7]通过颜色空间模型提取疑似区域,再通过建立累积几何独立分量分析(C-GICA)模型来实现运动目标的跟踪,最后通过BP神经网络模型对火灾目标进行识别。上述方法提取特征种类繁多、算法复杂度较高,同时在提取火焰疑似区域时抗干扰性较差,完整度较低,不能满足火灾检测实时性及准确性的要求。

针对传统算法的局限性,本文提出一种双颜色空间与最大类间方差法[8](Otsu)相结合的火焰前景提取算法,该算法在完整度和抗干扰性上都有所改进。同时提出一种概率神经网络(PNN)的改进算法,即条件期望最大化-概率神经网络(ECM-PNN),以提高火焰识别精度和算法的可实现性。

2 火焰前景提取

传统的火焰前景提取算法有颜色空间模型和动态背景建模。用单一颜色空间模型提取的火焰前景通常不完整,同时抗干扰的能力较弱;而动态提取火焰前景的算法,如Vibe动态检测、光流法[9]、帧差法、基于梯度运动(GMHI)[10]等,因火焰燃烧时主体部分并无变化,所以只能提取火焰焰尖闪烁部分,得到的火焰前景也不理想。本文将红/绿/蓝(RGB)颜色空间与色调/饱和度/亮度(HSI)颜色空间结合起来进行火焰前景的粗分割,然后再用Otsu进行精准分割。

RGB模型与HIS模型的转换公式为[11]

H=θ,GB2π-θ,G<B,(1)θ=arccos(R-G)+(R-B)2(R-G)2+(R-B)(G-B),(2)I=13(R+G+B),(3)S=1-3min(R,G,B)R+G+B,(4)

式中:H为色调分量;θ为色调分量的角度;S为饱和度分量;I为强度分量;R为红色分量;G为绿色分量;B为蓝色分量。

根据火焰RGB像素直方图得到了RGB模型的火焰前景提取判据[12]:

Rule1:R>G>B,Rule2:R>180

基于以上RGB颜色判据分割出来的火焰前景并不完整,同时图像边缘信息丢失或存在干扰,严重影响后续对火焰特征的提取。

Horng等[13]提出了基于HSI模型的火焰前景提取判据,具体判据如下:

Rule1:0°<H<60°,Rule2:40<S<100,Rule3:127<I<255

用以上HSI判据提取出的火焰前景同样不完整,与RGB判据所提取的前景的区别是:用HSI提取出的前景容易出现中心部分不完整的现象,用RGB提取出的前景容易出现边缘部分不完整的现象。如将两张前景直接相加并用阈值进行分割,可能存在泛化性能差等局限性,而加权后用Otsu进行自适应分割能够提高算法的泛化性。

图像加权融合规则如下:

Igres=ω1*IgRGB+ω2*IgHSI5

式中:Igres为融合后的图像;IgRGBIgHSI分别为RGB模型和HSI模型提取的前景进行模糊化后的图像;ω1ω2为权重,可根据经验选取。因融合后的前景图像在融合前进行过模糊化,故融合后仍是边界模糊图像。所提出的前景提取流程图如图1所示。

图 1. 火焰前景提取流程图

Fig. 1. Flow chart of flame foreground extraction

下载图片 查看所有图片

先用RGB模型和HSI模型对火焰前景进行粗提取,再将得到的两个前景图片进行模糊化,之后再进行加权融合,得到一张融合后的前景图片。由于两个模型对火焰的判据不同,所以得到的融合前景局部会有亮度差异,最后利用Otsu阈值自适应的特性进行前景的精准分割。图2为单一颜色空间提取的火焰前景图与本文方法提取的火焰前景图。

图 2. 单一颜色模型与本文方法提取结果的比较。(a)(f)(k)原图;(b)(g)(l) RGB模型结果;(c)(h)(m) HSI模型结果;(d)(i)(n)双颜色空间模型模糊化再融合的结果;(e)(j)(o)本文方法的最终结果

Fig. 2. Comparison of results obtained by single-color model and proposed method. (a)(f)(k) Original images, (b)(g)(l) images obtained by RGB model; (c)(h)(m) images obtained by HSI model; (d)(i)(n) images obtained by Fuzzy Re-fusion of double-color spatial model; (e)(j)(o) images obtained by proposed method

下载图片 查看所有图片

图2(f)(k)中的网址为公开数据库网址,由图2可知,本文方法提取的火焰前景,其完整度和抗干扰性要比单一颜色模型的提取效果有很大提升,为随后提取特征创造了良好的条件,保证了火焰识别算法的准确性。

3 火焰特征提取

首先用双颜色空间模型融合的方法提取较完整的火焰前景,再对火焰前景进行特征提取。考虑到特征种类越多,算法复杂度越高,耗时越长的问题,只提取两类特征来对火焰进行识别,其一是另一颜色空间YCbCr中的色度Cb、Cr分量的均值与标准差,其二是用灰度共生矩阵提取纹理信息。

3.1 颜色特征

颜色是火焰最基本的特征之一,在火焰检测的干扰中最常见的为红色和黄色物体,如红衣行人、红色气球、红黄广告牌和昏黄路灯等,尽管火焰和火焰类似物的颜色大致相同,但是其色度比例有所差别,所以选用YCbCr颜色空间中两个色度分量作为火焰进一步识别的特征之一。

在颜色空间YCbCr中,Y为亮度分量,Cb为蓝色色度分量,Cr为红色色度分量。图3为火焰、火焰类似物、无火三种情况下Cb、Cr分量值所占像素比例的直方图。

图3可以看出,三种情况下的Cb、Cr分量值所占像素比例各不相同:火焰在Cb分量中所占区间大致为40~110,类似火焰物在Cb分量中所占区间大致为80~110,而无火情况下Cb分量集中在100~120之间;而在Cr分量中,三种情况所占主要区间分别为140~175、120~155和100~140,由此可说明色度Cb、Cr分量可作为有效特征进行火焰识别。

XYCbCr为提取的颜色特征向量,则

XYCbCr=xM1xM2xS1xS2,(6)

式中:xM1xS1为Cb分量的均值与标准差;xM2xS2为Cr分量的均值与标准差。

3.2 纹理特征

纹理是火焰与其他干扰有明显区分度的特征,目前常用的纹理特征提取算法有局部二值模式(LBP)、灰度共生矩阵(GLDM)等。本文选用GLDM作为纹理特征提取的算法,因为它能反映图像灰度关于方向、相邻间隔、变化幅度等综合信息。GLDM最早在1979由Haralick[14]提出,Haralick提出了14种基于灰度共生矩阵计算出来的统计量,在此选取其中的4种作为纹理特征,它们分别为能量(ASM)、熵(ENT)、对比度(CON)、相关性(COR)的均值与标准差。

图 3. Cb、Cr分量值所占比例。(a)(d)火焰;(b)(e)火焰类似物;(c)(f)无火

Fig. 3. Proportions of Cb and Cr component values. (a)(d) Flame; (b)(e) flame analogue; (e)(f) without flame

下载图片 查看所有图片

P为归一化之后的灰度共生矩阵,其中i,j表示矩阵的维度。以上4种统计量的计算公式为

ASM=n=0im=0jP(n,m)2,(7)ENT=-n=0im=0jP(n,m)lgP(n,m),(8)CON=n=0im=0j(n-m)2P(n,m),(9)COR=n=0im=0j(nm)P(n,m)-μnμmσnσm,(10)

式中:μnμm为均值;σnσm为标准差;mn为灰度共生矩阵的第n行、第m列;P(n,m)为灰度共生矩阵中第n行、第m列的元素。

ASM反映图像灰度分布的均匀程度和纹理的粗细度,当能量值比较大时,说明纹理分布比较规则。

ENT反映图像中纹理的复杂程度,当图像越复杂、纹理随机性越大时,熵也就越大。

CON反映图像的清晰度和纹理沟纹深浅的程度,也称之为反差。图像中纹理的纹沟越深,对比度值越大,直观上表现为图片越清晰。

COR表示图像灰度共生矩阵元素在行或列方向上的相关性。当矩阵元素分布均匀时,相关性越大。令XGLDM为提取的纹理特征向量,则

XGLDM=xM3xM4xM5xM6xS3xS4xS5xS6,(11)

式中:xM3xM4xM5xM6为ASM、ENT、CON、COR的均值;xS3xS4xS5xS6为ASM、ENT、CON、COR的标准差。

综合以上两类特征,最终的样本特征X

X=XYCbCrXGLDM

4 基于改进PNN的识别算法

PNN是在1990年由Specht[15]提出的一种有监督的机器学习算法,广泛用于模式识别、分类等问题。在分类问题上,其选择的判定准则为贝叶斯最小风险准则。PNN由输入层、模式层、求和层、输出层组成,二分类PNN结构如图4所示。

图 4. PNN 基本结构图

Fig. 4. Basic structural diagram of PNN

下载图片 查看所有图片

设训练样本维数为(M,N),其中输入层的神经元个数等于输入特征向量的维数N;模式层的神经元个数为训练样本的个数M,M共有两类;求和层的神经元个数为类别数,本文中为2;输出层神经元个数为1。

令特征向量X= (x1,x2,x3,,xo)T,其中o为特征向量的维数,则模式层的输出Ouv

Ouv=1(2πσ2)o2exp-(X-Xuv)T(X-Xuv)2σ2,(12)

式中:Xuv表示第u类的第v个样本;σ为平滑因子,其值决定了以样本点为中心的曲线宽度;Ouv表示输入的训练样本属于各类的概率。在求和层中计算Ouv的加权和,即

Gu=v=1NuωuvOuv,(13)

式中:Nu为第u类样本的个数;ωuv为权重,且满足所有权重和为1。令类别数为K(K=2),根据贝叶斯最小风险准则在输出层进行最终决策,表达式为

Y=argmax1uKGu

传统PNN中的平滑因子σ为单一固定值,且为人工选取,带有一定主观性。常用的参数优化方法有期望最大化(EM)算法,但是EM算法的收敛速度很慢,影响训练效率。采用ECM算法对平滑因子进行参数优化,ECM在EM的基础上施加函数约束,能够加速收敛,提高训练效率,同时保留了EM算法的简单性和稳定性。

X为样本数据(也称为可观察数据),S为缺失数据(也称为随机变量),待优化的参数为θ=(σ1,σ2,…,σh) (h为待优化参数的维度),则P(X|θ)和P(S|θ)分别为X,S的参数θ条件概率密度。

ECM算法步骤如下:

1) E步:求得Q函数,即Q(θ,θt)=E[lg f(X,S|θ)|X,θt],其中θt为参数的第t次估计;lg f(X,S|θ)为样本数据的对数似然估计。

2) CM步:将Q(θ,θt)极大化,找到θt+1=argmax Q(θ,θt),与EM不同的是ECM将参数划分为θ=(θ1,θ2,…,θl),再在约束函数下进行l次条件极大化得到优化参数。

3) 以θt+1作为θt的更新值重复以上步骤,当‖θt+1-θt‖达到要求时停止迭代。

ECM的优势如下:1)保留了EM的简单性和稳定性[16],其中M步仅涉及完全数据极大似然,通常计算比较简单;2)收敛是稳定的,因为每次迭代似然函数是不断增加的。同时CM步通常有显式表达式,而EM算法中的M步没有,并且ECM算法更加稳定,因为它的极大化是在更低维度的参数空间中进行的。所以用ECM算法进行参数优化,收敛速度较快,收敛的稳定性较好。

5 仿真结果与分析

仿真实验所用图片一部分来源于美国NIST火灾研究实验室[17]、韩国启明大学CVPR实验室[18]和Bilkent大学的公开火灾视频库[19],还有部分来源于网络素材,总共900张图片,包含红衣行人、气球、广告牌、路灯等干扰[20];其中600张用来训练,300张进行测试。训练测试结果如图5图6所示。

图 5. ECM-PNN训练拟合结果

Fig. 5. ECM-PNN training fitting result

下载图片 查看所有图片

图 6. ECM-PNN测试结果

Fig. 6. ECM-PNN test result

下载图片 查看所有图片

有火标签为1,无火标签为-1,由图5可知在训练过程中的拟合效果为100%,同时由图6可知在测试过程中只有两张图片出现误报,其余均识别正确。

仿真实验环境为Intel i5-7200U CPU、主频为2.50 GHz。传统PNN训练10次平均所用时间为79 ms,而ECM-PNN训练10次平均所用时间为46 ms,由此可见改进后的收敛速度较之前有所改善。

用正类预测正确率(TPR)与反类预测正确率(TNR)来描述实验结果的准确性,定义如下

TPR=TPTP+FN,(14)TNR=TNFP+TN,(15)

式中:TP表示预测结果为正类,实际上是正类;FP表示预测结果为正类,实际上是反类;FN表示预测结果为反类,实际上是正类;TN表示预测结果为反类,实际上是反类。

本文方法与传统PNN、最新改进的算法结果比较如表1所示。

表 1. 算法测试数据比较

Table 1. Comparison of test data of different algorithms

AlgorithmTPR /%TNR /%
R-FCN+ResNet[2]98.2596.3
Naive Bayes[4]94.4198.15
FCM+SVM[5]94.7898.68
BP Neural Network[7]99.197.3
GMHI+SVM[9]97.02100
Traditional PNN9898
ECM-PNN99.3399.33

查看所有表

表1可知ECM-PNN网络在火焰判断中的正类预测正确率要高于R-FCN+ResNet[2]、Naive Bayes[4]、FCM+SVM[5]、BP Neural Network[7]、GMHI+SVM[9]及Traditional PNN,同时反类预测正确率也高于R-FCN+ResNet[2]、Naive Bayes[4]、FCM+SVM[5]、BP Neural Network[7]及Traditional PNN。由此可见,ECM-PNN网络有效降低了火焰检测的漏报与误报率,增强了火焰检测的有效性。

6 结论

针对传统火焰前景提取不完整、抗干扰性差的问题,提出了基于双颜色空间融合的火焰前景提取算法。相比于传统的火焰前景提取算法,所提算法提取的火焰前景完整度较高,且对火焰类似物的抗干扰能力较传统方法有所增强。提出一种基于PNN的改进算法ECM-PNN,该算法将传统PNN中的平滑因子由单一固定值改进为多参数变量,同时用ECM算法进行参数优化。仿真实验表明,该算法在训练速度和识别效率上较传统PNN有所提高,在特征种类较少的情况下火焰识别率仍然维持较高的水平,比传统火焰检测算法在精度和稳健性上有所提高。

参考文献

[1] 李旸, 张国生, 许燕. IUR76-I/IUR76-II型火焰探测器综合测试系统及相关国家标准的稳定性分析与研究[J]. 激光与光电子学进展, 2010, 47(6): 060401.

    Li Y, Zhang G S, Xu Y. Stability of IUR76-I/IUR76-II test systems for flame detectors and related national standards[J]. Laser & Optoelectronics Progress, 2010, 47(6): 060401.

[2] 洪伟, 李朝锋. 基于区域全卷积网络结合残差网络的火焰检测方法[J]. 激光与光电子学进展, 2018, 55(4): 041011.

    Hong W, Li C F. Flame detection method based on regional fully convolutional networks with residual network[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041011.

[3] 栾方军, 李扬, 刘真全. 基于视频图像的火焰多特征检测[J]. 测控技术, 2015, 34(6): 27-30.

    Luan F J, Li Y, Liu Z Q. Multi-feature flame detection based on video image[J]. Measurement & Control Technology, 2015, 34(6): 27-30.

[4] Borges P V K, Izquierdo E. A probabilistic approach for vision-based fire detection in videos[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(5): 721-731.

[5] Truong T X, Kim J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372.

[6] Töreyin BU, Dedeo lu Y, Çetin A E. Flame detection in video using hidden Markov models [C]∥IEEE International Conference on Image Processing 2005, September 14, 2005, Genova, Italy. New York: IEEE, 2005: 8845998.

[7] Rong J Z, Zhou D C, Yao W, et al. Fire flame detection based on GICA and target tracking[J]. Optics & Laser Technology, 2013, 47: 283-291.

[8] 马骕, 邓喀中, 庄会富, 等. 中低分辨率合成孔径雷达影像多纹理特征的Otsu变化检测[J]. 激光与光电子学进展, 2017, 54(6): 062804.

    Ma S, Deng K Z, Zhuang H F, et al. Otsu change detection of low and moderate resolution synthetic aperture radar image by using multi-texture features[J]. Laser & Optoelectronics Progress, 2017, 54(6): 062804.

[9] Mueller M, Karasev P, Kolesov I, et al. Optical flow estimation for flame detection in videos[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2786-2797.

[10] Chi R, Lu Z M, Ji Q G. Real-time multi-feature based fire flame detection in video[J]. IET Image Processing, 2017, 11(1): 31-37.

[11] Kong S G, Jin D L, Li S Z, et al. Fast fire flame detection in surveillance video using logistic regression and temporal smoothing[J]. Fire Safety Journal, 2016, 79: 37-43.

[12] 戴静. 火焰图像快速检测方法研究及应用[D]. 绵阳: 西南科技大学, 2017.

    DaiJ. Research and application on the algorithm of fast fire detection[D]. Mianyang: Southwest University of Science and Technology, 2017.

[13] Horng WB, Peng JW, Chen CY. A new image-based real-time flame detection method using color analysis[C]∥2005 IEEE Networking, Sensing and Control, March 19-22, 2005, Tucson, AZ, USA. New York: IEEE, 2005: 100- 105.

[14] Haralick R M. Statistical and structural approaches to texture[J]. Proceedings of the IEEE, 1979, 67(5): 786-804.

[15] Specht D F. Probabilistic neural networks[J]. Neural Networks, 1990, 3(1): 109-118.

[16] 姚红娟, 赵子龙, 王会娟. EM算法及其推广的几种算法[J]. 科教导刊, 2016( 2): 80.

    Yao HJ, Zhao ZL, Wang HJ. EM algorithm and several algorithms for its promotion[J]. The Guide of Science & Education, 2016( 2): 80.

[17] NIST. NIST fire research laboratory[OL].[2019-01-05]. https:∥www.nist.gov/video-category/fire.

[18] CVPRLab, KeimyungUniversity, Korea[OL]. [2019-01-05].https:∥cvpr.kmu.ac.kr/.

[19] Bilkent EE signal processing group[OL]. [2019-01-05].http:∥signal.ee.bilkent.edu.tr/VisiFire/.

[20] Li Z L, Mihaylova L S, Isupova O, et al. Autonomous flame detection in videos with a Dirichlet process Gaussian mixture color model[J]. IEEE Transactions on Industrial Informatics, 2018, 14(3): 1146-1154.

谭勇, 谢林柏, 冯宏伟, 彭力, 张正道. 基于图像的火焰检测算法[J]. 激光与光电子学进展, 2019, 56(16): 161012. Yong Tan, Linbo Xie, Hongwei Feng, Li Peng, Zhengdao Zhang. Flame Detection Algorithm Based on Image Processing Technology[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161012.

本文已被 3 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!