基于图像的火焰检测算法 下载: 1187次
1 引言
火灾作为常见的重大灾害,严重威胁着人身和财产安全,有效地检测和避免火灾发生一直是研究的重点内容。传统的点型火灾检测装置[1]在探测距离和探测场所方面有着较大的局限性,通常在室外和复杂的环境中难以稳定工作。随着监控摄像头的普及以及数字图像处理技术的发展,通过数字图像来检测火灾的方式有着成本低、精度高和适用范围广等优点。
目前基于图像的火焰检测算法成为了国内外的研究重点。洪伟等[2]通过全卷积网络结合残差网络的方法进行火焰识别;栾方军等[3]通过提取火焰的颜色、面积变化及纹理特征,采用后向传输(BP)神经网络进行火焰判别;Borges等[4]将火焰动态特征与贝叶斯分类器相结合来识别火焰;Truong等[5]用自适应混合模型来检测运动区域,再通过模糊C均值(FCM)结合支持向量机(SVM)进行火焰判断;Töreyin等[6]除了使用动态特征和颜色特征外,还使用隐马尔可夫模型检测火焰闪烁过程;Rong等[7]通过颜色空间模型提取疑似区域,再通过建立累积几何独立分量分析(C-GICA)模型来实现运动目标的跟踪,最后通过BP神经网络模型对火灾目标进行识别。上述方法提取特征种类繁多、算法复杂度较高,同时在提取火焰疑似区域时抗干扰性较差,完整度较低,不能满足火灾检测实时性及准确性的要求。
针对传统算法的局限性,本文提出一种双颜色空间与最大类间方差法[8](Otsu)相结合的火焰前景提取算法,该算法在完整度和抗干扰性上都有所改进。同时提出一种概率神经网络(PNN)的改进算法,即条件期望最大化-概率神经网络(ECM-PNN),以提高火焰识别精度和算法的可实现性。
2 火焰前景提取
传统的火焰前景提取算法有颜色空间模型和动态背景建模。用单一颜色空间模型提取的火焰前景通常不完整,同时抗干扰的能力较弱;而动态提取火焰前景的算法,如Vibe动态检测、光流法[9]、帧差法、基于梯度运动(GMHI)[10]等,因火焰燃烧时主体部分并无变化,所以只能提取火焰焰尖闪烁部分,得到的火焰前景也不理想。本文将红/绿/蓝(RGB)颜色空间与色调/饱和度/亮度(HSI)颜色空间结合起来进行火焰前景的粗分割,然后再用Otsu进行精准分割。
RGB模型与HIS模型的转换公式为[11]
式中:
根据火焰RGB像素直方图得到了RGB模型的火焰前景提取判据[12]:
基于以上RGB颜色判据分割出来的火焰前景并不完整,同时图像边缘信息丢失或存在干扰,严重影响后续对火焰特征的提取。
Horng等[13]提出了基于HSI模型的火焰前景提取判据,具体判据如下:
用以上HSI判据提取出的火焰前景同样不完整,与RGB判据所提取的前景的区别是:用HSI提取出的前景容易出现中心部分不完整的现象,用RGB提取出的前景容易出现边缘部分不完整的现象。如将两张前景直接相加并用阈值进行分割,可能存在泛化性能差等局限性,而加权后用Otsu进行自适应分割能够提高算法的泛化性。
图像加权融合规则如下:
式中:
先用RGB模型和HSI模型对火焰前景进行粗提取,再将得到的两个前景图片进行模糊化,之后再进行加权融合,得到一张融合后的前景图片。由于两个模型对火焰的判据不同,所以得到的融合前景局部会有亮度差异,最后利用Otsu阈值自适应的特性进行前景的精准分割。
图 2. 单一颜色模型与本文方法提取结果的比较。(a)(f)(k)原图;(b)(g)(l) RGB模型结果;(c)(h)(m) HSI模型结果;(d)(i)(n)双颜色空间模型模糊化再融合的结果;(e)(j)(o)本文方法的最终结果
Fig. 2. Comparison of results obtained by single-color model and proposed method. (a)(f)(k) Original images, (b)(g)(l) images obtained by RGB model; (c)(h)(m) images obtained by HSI model; (d)(i)(n) images obtained by Fuzzy Re-fusion of double-color spatial model; (e)(j)(o) images obtained by proposed method
3 火焰特征提取
首先用双颜色空间模型融合的方法提取较完整的火焰前景,再对火焰前景进行特征提取。考虑到特征种类越多,算法复杂度越高,耗时越长的问题,只提取两类特征来对火焰进行识别,其一是另一颜色空间YCbCr中的色度Cb、Cr分量的均值与标准差,其二是用灰度共生矩阵提取纹理信息。
3.1 颜色特征
颜色是火焰最基本的特征之一,在火焰检测的干扰中最常见的为红色和黄色物体,如红衣行人、红色气球、红黄广告牌和昏黄路灯等,尽管火焰和火焰类似物的颜色大致相同,但是其色度比例有所差别,所以选用YCbCr颜色空间中两个色度分量作为火焰进一步识别的特征之一。
在颜色空间YCbCr中,Y为亮度分量,Cb为蓝色色度分量,Cr为红色色度分量。
由
令
式中:
3.2 纹理特征
纹理是火焰与其他干扰有明显区分度的特征,目前常用的纹理特征提取算法有局部二值模式(LBP)、灰度共生矩阵(GLDM)等。本文选用GLDM作为纹理特征提取的算法,因为它能反映图像灰度关于方向、相邻间隔、变化幅度等综合信息。GLDM最早在1979由Haralick[14]提出,Haralick提出了14种基于灰度共生矩阵计算出来的统计量,在此选取其中的4种作为纹理特征,它们分别为能量(ASM)、熵(ENT)、对比度(CON)、相关性(COR)的均值与标准差。
图 3. Cb、Cr分量值所占比例。(a)(d)火焰;(b)(e)火焰类似物;(c)(f)无火
Fig. 3. Proportions of Cb and Cr component values. (a)(d) Flame; (b)(e) flame analogue; (e)(f) without flame
令
式中:
ASM反映图像灰度分布的均匀程度和纹理的粗细度,当能量值比较大时,说明纹理分布比较规则。
ENT反映图像中纹理的复杂程度,当图像越复杂、纹理随机性越大时,熵也就越大。
CON反映图像的清晰度和纹理沟纹深浅的程度,也称之为反差。图像中纹理的纹沟越深,对比度值越大,直观上表现为图片越清晰。
COR表示图像灰度共生矩阵元素在行或列方向上的相关性。当矩阵元素分布均匀时,相关性越大。令
式中:
综合以上两类特征,最终的样本特征
4 基于改进PNN的识别算法
PNN是在1990年由Specht[15]提出的一种有监督的机器学习算法,广泛用于模式识别、分类等问题。在分类问题上,其选择的判定准则为贝叶斯最小风险准则。PNN由输入层、模式层、求和层、输出层组成,二分类PNN结构如
设训练样本维数为(
令特征向量
式中:
式中:
传统PNN中的平滑因子
令
ECM算法步骤如下:
1) E步:求得
2) CM步:将
3) 以
ECM的优势如下:1)保留了EM的简单性和稳定性[16],其中M步仅涉及完全数据极大似然,通常计算比较简单;2)收敛是稳定的,因为每次迭代似然函数是不断增加的。同时CM步通常有显式表达式,而EM算法中的M步没有,并且ECM算法更加稳定,因为它的极大化是在更低维度的参数空间中进行的。所以用ECM算法进行参数优化,收敛速度较快,收敛的稳定性较好。
5 仿真结果与分析
仿真实验所用图片一部分来源于美国NIST火灾研究实验室[17]、韩国启明大学CVPR实验室[18]和Bilkent大学的公开火灾视频库[19],还有部分来源于网络素材,总共900张图片,包含红衣行人、气球、广告牌、路灯等干扰[20];其中600张用来训练,300张进行测试。训练测试结果如
有火标签为1,无火标签为-1,由
仿真实验环境为Intel i5-7200U CPU、主频为2.50 GHz。传统PNN训练10次平均所用时间为79 ms,而ECM-PNN训练10次平均所用时间为46 ms,由此可见改进后的收敛速度较之前有所改善。
用正类预测正确率(
式中:
本文方法与传统PNN、最新改进的算法结果比较如
表 1. 算法测试数据比较
Table 1. Comparison of test data of different algorithms
|
由
6 结论
针对传统火焰前景提取不完整、抗干扰性差的问题,提出了基于双颜色空间融合的火焰前景提取算法。相比于传统的火焰前景提取算法,所提算法提取的火焰前景完整度较高,且对火焰类似物的抗干扰能力较传统方法有所增强。提出一种基于PNN的改进算法ECM-PNN,该算法将传统PNN中的平滑因子由单一固定值改进为多参数变量,同时用ECM算法进行参数优化。仿真实验表明,该算法在训练速度和识别效率上较传统PNN有所提高,在特征种类较少的情况下火焰识别率仍然维持较高的水平,比传统火焰检测算法在精度和稳健性上有所提高。
[1] 李旸, 张国生, 许燕. IUR76-I/IUR76-II型火焰探测器综合测试系统及相关国家标准的稳定性分析与研究[J]. 激光与光电子学进展, 2010, 47(6): 060401.
[2] 洪伟, 李朝锋. 基于区域全卷积网络结合残差网络的火焰检测方法[J]. 激光与光电子学进展, 2018, 55(4): 041011.
[3] 栾方军, 李扬, 刘真全. 基于视频图像的火焰多特征检测[J]. 测控技术, 2015, 34(6): 27-30.
Luan F J, Li Y, Liu Z Q. Multi-feature flame detection based on video image[J]. Measurement & Control Technology, 2015, 34(6): 27-30.
[4] Borges P V K, Izquierdo E. A probabilistic approach for vision-based fire detection in videos[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(5): 721-731.
[6] Töreyin BU, Dedeo lu Y, Çetin A E. Flame detection in video using hidden Markov models [C]∥IEEE International Conference on Image Processing 2005, September 14, 2005, Genova, Italy. New York: IEEE, 2005: 8845998.
[7] Rong J Z, Zhou D C, Yao W, et al. Fire flame detection based on GICA and target tracking[J]. Optics & Laser Technology, 2013, 47: 283-291.
[8] 马骕, 邓喀中, 庄会富, 等. 中低分辨率合成孔径雷达影像多纹理特征的Otsu变化检测[J]. 激光与光电子学进展, 2017, 54(6): 062804.
[10] Chi R, Lu Z M, Ji Q G. Real-time multi-feature based fire flame detection in video[J]. IET Image Processing, 2017, 11(1): 31-37.
[11] Kong S G, Jin D L, Li S Z, et al. Fast fire flame detection in surveillance video using logistic regression and temporal smoothing[J]. Fire Safety Journal, 2016, 79: 37-43.
[12] 戴静. 火焰图像快速检测方法研究及应用[D]. 绵阳: 西南科技大学, 2017.
DaiJ. Research and application on the algorithm of fast fire detection[D]. Mianyang: Southwest University of Science and Technology, 2017.
[13] Horng WB, Peng JW, Chen CY. A new image-based real-time flame detection method using color analysis[C]∥2005 IEEE Networking, Sensing and Control, March 19-22, 2005, Tucson, AZ, USA. New York: IEEE, 2005: 100- 105.
[14] Haralick R M. Statistical and structural approaches to texture[J]. Proceedings of the IEEE, 1979, 67(5): 786-804.
[15] Specht D F. Probabilistic neural networks[J]. Neural Networks, 1990, 3(1): 109-118.
[16] 姚红娟, 赵子龙, 王会娟. EM算法及其推广的几种算法[J]. 科教导刊, 2016( 2): 80.
Yao HJ, Zhao ZL, Wang HJ. EM algorithm and several algorithms for its promotion[J]. The Guide of Science & Education, 2016( 2): 80.
[17] NIST. NIST fire research laboratory[OL].[2019-01-05]. https:∥www.nist.gov/video-category/fire.
[18] CVPRLab, KeimyungUniversity, Korea[OL]. [2019-01-05].https:∥cvpr.kmu.ac.kr/.
[19] Bilkent EE signal processing group[OL]. [2019-01-05].http:∥signal.ee.bilkent.edu.tr/VisiFire/.
[20] Li Z L, Mihaylova L S, Isupova O, et al. Autonomous flame detection in videos with a Dirichlet process Gaussian mixture color model[J]. IEEE Transactions on Industrial Informatics, 2018, 14(3): 1146-1154.
谭勇, 谢林柏, 冯宏伟, 彭力, 张正道. 基于图像的火焰检测算法[J]. 激光与光电子学进展, 2019, 56(16): 161012. Yong Tan, Linbo Xie, Hongwei Feng, Li Peng, Zhengdao Zhang. Flame Detection Algorithm Based on Image Processing Technology[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161012.