基于深度学习和最大相关最小冗余的火焰图像检测方法

李梓瑞; 王慧琴; 胡燕; 卢英

doi:doi:10.3788/LOP57.101015

激光与光电子学进展, 2020, 57 (10): 101015, 网络出版: 2020-05-08

基于深度学习和最大相关最小冗余的火焰图像检测方法下载： 1471次

Flame Image Detection Method Based on Deep Learning with Maximal Relevance and Minimal Redundancy

论文大纲

李梓瑞王慧琴 ^*胡燕卢英

作者单位

西安建筑科技大学信息与控制工程学院, 陕西西安 710055

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了解决基于浅层特征的火焰识别模型对环境变化敏感且鲁棒性较低的问题,提出了一种基于卷积神经网络串行特征融合模型与最大相关最小冗余(MRMR)的火焰图像检测方法。为了从有限样本集中训练卷积神经网络获取更加全局性的特征,对使用预训练方法提取的火焰图像深层特征进行串行融合;再针对融合后的特征维度高、冗余大且未包含动态特征的问题,利用MRMR特征选择算法,去除与火焰相关性低的特征,获得相关性高的串行特征后与动态特征进行融合,得到最优子集的重构特征向量;最后通过支持向量机分类器完成对火焰目标的检测。实验结果表明,所提方法具有良好的泛化能力,对火焰的检测效果较好。

Abstract

A flame image detection method is proposed based on convolutional neural network using serial feature fusion model with maximal relevance and minimal redundancy (MRMR) to address the issue that the flame recognition model based on shallow features is susceptible to environmental changes and has low robustness. First, to obtain more global features from the finite sample set training convolutional neural network, the pre-training method was used to extract the deep features from the flame image for serial fusion. Then, to solve the problem of high dimensions of fusion feature, large redundancy, and lack of dynamic features after fusion, the MRMR feature-selection algorithm was used to remove features with low relevance to the flame, obtain highly relevant serial features, and merge with dynamic features to obtain a superior subset of the reconstructed feature vector. Finally, the flame target was detected using the support vector machine classifier. Experimental results show that the proposed method has good generalization ability and flame detection capability.

1 引言

随着大空间建筑不断增多,新的消防隐患也在增加,原有的温度传感器和烟雾传感器远不能满足复杂环境的需要^[1]。随着计算机视觉技术的发展,基于视频的火灾探测技术逐渐得到应用,通过监控系统采集图像,分析图像变化特征来探测火灾的发生,克服了传统探测技术在大空间应用的困难^[2]。

在火焰图像分析与检测方面,传统方法关注较多的是人工提取火焰特征与分类器设计,且火焰特征提取的准确性和有效性对检测精度和效率有着重要影响。文献[ 3]先利用RGB(红、绿、蓝)颜色模型和HIS(色度、亮度、饱和度)颜色模型提取火焰轮廓,再对前景图像提取火焰的纹理和颜色特征,最后使用改进概率神经网络(PNN)进行检测。文献[ 4]提出将高斯混合模型、概率显著性分析和小波变换分别用于提取火焰颜色、动态和闪烁特征的火焰检测框架。文献[ 5]利用几何矩和离散正交(Tchebichef)矩间的相关性,计算Tchebichef矩的平移、旋转和缩放不变量以构建特征向量,最后在支持向量机(SVM)中完成检测。文献[ 6-9]将人工提取火焰的颜色、纹理、圆形度、面积、周长变化、质心位移和Hu不变矩等静态与动态特征进行融合以识别。上述方法所得结果的准确性对手动选择的特征参数依赖性较高^[10]。

由于卷积神经网络(CNN)模型能从输入数据中自动提取相关特征,在图像分类和物体检测等计算机视觉领域得到广泛应用^[11]。已有学者使用深度学习技术对火焰图像进行识别。文献[ 12]利用CNN对RGB模型分割得到火焰候选区,再进行特征提取和分类。文献[ 13]提出基于更快速的区域卷积神经网络(Faster R-CNN)的火焰识别方法,使用预训练CNN中的AlexNet模型作为特征提取网络,通过迁移学习实现对小样本分类。文献[ 14]提出先通过预训练残差网络(ResNet50)自动提取特征,再利用全卷积网络确定火焰位置,最后对火焰进行二次检测。文献[ 15]将预训练的CNN作为特征提取器,并利用极限学习机(ELM)分类器完成火焰识别。上述方法在一定程度上实现了火焰图像的识别,但CNN模型提取特征维度较高,使得分类器的泛化性能降低,并且所提取特征缺乏动态特征。

针对上述问题,本文提出一种结合CNN特征提取与最大相关最小冗余(MRMR)的火焰检测方法。该方法先使用预训练的VGG16(Visual Geometry Group 16)和ResNet50提取深层特征后进行串行融合,再利用MRMR特征选择算法对其进行自适应降维,最后与火焰动态特征相结合作为SVM分类器的输入以完成对火焰图像的检测。

2 相关算法概述

2.1 CNN的基本结构

CNN通过反向传播和随机梯度下降完成训练,相比于传统神经网络,CNN能够提取更加复杂抽象的特征,网络自动提取特征优于传统手工提取方法^[16]。CNN的基本结构如图1所示,图中K、L和F分别为卷积层、池化层和全连接层的数量。

图 1. CNN结构图

Fig. 1. CNN structure diagram

下载图片查看所有图片

若第l层为卷积层,则第j个特征映射为

\begin{matrix} F_{j}^{l} = φ (\sum_{i \in M^{l - 1}} F_{i}^{l - 1} * k_{ij}^{l} + b_{j}^{l}), (1) \end{matrix}

式中:*为卷积操作; $\begin{matrix} F_{i}^{l - 1} \end{matrix}$ 和 $\begin{matrix} F_{j}^{l} \end{matrix}$ 分别为第l-1层的第i个输入和第l层的第j个输出数据;φ(·)为激活函数;M^l^-1为输入数据的集合; $\begin{matrix} k_{ij}^{l} \end{matrix}$ 和 $\begin{matrix} b_{j}^{l} \end{matrix}$ 分别为卷积核和偏置项。

若第l层为采样层,则第j个特征映射为

\begin{matrix} F_{j}^{l} = φ [α_{j}^{l} d_{down} (F_{j}^{l - 1}) + b_{j}^{l}], (2) \end{matrix}

式中:d_down(·)为下采样函数; $\begin{matrix} α_{j}^{l} \end{matrix}$ 为 $\begin{matrix} F_{j}^{l} \end{matrix}$ 的采样参数。

若第l层为输出层,则第j个特征映射为

\begin{matrix} F_{j}^{l} = φ (υ w_{j}^{l} + b_{j}^{l}), (3) \end{matrix}

式中:υ为上一层输出结果; $\begin{matrix} w_{j}^{l} \end{matrix}$ 为权值。

2.2 MRMR算法

MRMR是一种滤波式特征选择算法,能最大化特征和目标间的相关性,减少相关特征之间冗余^[17]。该算法将每个特征和输出类别作为单独变量,使用互信息I(a,b)衡量两个变量间的相似度,表达式为

\begin{matrix} I (a, b) = \iint p (a, b) lo g_{2} [\frac{p (a, b)}{p (a) p (b)}] dadb, (4) \end{matrix}

式中:p(a)和p(b)分别为变量a和b的概率密度;p(a,b)为变量a和b的联合概率密度。

定义f_i为由m个样本构成的特征向量,f_i=[f₍_i_,1),f₍_i_,2),…,f₍_i_,_m₎]^T,通过I(f_i,f_j)计算样本中第i个特征和第j个特征的相关性,其中i=1,2,3,…,n,j=1,2,3,…,n,n表示特征向量的数量。计算I(f_i,O)得到特征与输出类别O间的相关性,其中O=[O₁,O₂,O₃,…,O_m]^T,O_m∈{-1,+1}。

利用最大相关标准式max D(S,O),选择与类别O相关性大的特征,其中

\begin{matrix} D = \frac{1}{|S|} I (f_{i}, O), (5) \end{matrix}

式中: $\begin{matrix} |S| \end{matrix}$ 为特征子集S中所选特征数量。

使用最小冗余标准式min R(S),去除S中的冗余向量,其中

\begin{matrix} R = \frac{1}{|S |^{2}} \sum_{fi, fj \in S} I (f_{i}, f_{j}) 。 (6) \end{matrix}

综合考虑上述两个条件,MRMR算法的计算公式为max θ(D,R),其中

\begin{matrix} θ = D - R 。 (7) \end{matrix}

由于计算样本特征之间的互信息I(f_i,f_j)比较耗时,实验使用增量搜索算法来得到合适的特征集合。给定具有N-1个特征的集合S_N_-1,通过

\begin{matrix} X_{MRMR} = \max_{fj \in F - SN - 1} {I (f_{j}, O) - [\sum_{fi \in SN - 1} I (f_{i}, f_{j}) / (N - 1)]}, (8) \end{matrix}

计算从集合{F-S_N_-1}中选择的第N个特征,使得(7)式中的θ(·)值最大。式中:X_MRMR为最大相关最小冗余特征集;F为总特征集合。

3 基于深度学习与MRMR算法的火焰检测模型

3.1 算法整体流程

深度学习在自然语言、图像处理和语音识别等方面取得了巨大成功,但深度学习的良好效果无法否定传统机器学习理论^[18]。SVM算法能够克服维度灾难且对小样本具有很高的预测准确率^[8]。因此,将传统机器学习方法和深度CNN结合,整体框架如图2所示。通过串行融合两种典型CNN模型获取火焰图像的深度特征,采用特征选择算法对融合后的深度特征进行降维,得到最佳串行特征,最后将其与动态特征融合作为机器学习分类器的输入向量,增强算法在复杂背景环境中,能有效避免单一CNN对火焰特征表达不全面的缺点,同时融合动态特征克服CNN模型只能提取图像静态特征,从而提高模型在火焰识别中的准确率。所提算法的具体流程如图3所示。所提算法具体流程如下。

Step1:选取多种场景下火焰及干扰物的视频图像作为实验样本,构造火灾图像数据样本集D=[D₀,D₁,…,D_i,D'₀,D'₁,…,D'_i],对应样本标签为L=[L₀,L₁,…,L_i,L'₀,L'₁,…,L'_i],其中D_i和D'_i分别为第i个正样本和负样本,L_i和L'_i分别为正负样本对应标签,i为样本数量。

Step2:将训练集Training和测试集Test样本尺寸调整为224 pixel×224 pixel,并减去预训练CNN模型定义的平均值。处理后的样本通过迁移学习,得到VGG16的全连接层输出F_VA,ResNet50的最后卷积层输出Conv1。

Step3:将Step2中计算得到的输出结果Conv1,通过全局平均池化变形为二维矩阵F_VB,并与F_VA融合成新的二维矩阵,二维矩阵中的每一行代表一个火灾样本所对应的特征向量。

Step4:对Step1中得到的训练集Training和测试集Test样本进行预处理,通过动态特征提取算法获得特征向量D_T。

Step5:利用MRMR的特征选择算法对火灾信息系统中串行融合特征向量进行特征排序,并用SVM确定最佳串行特征向量维度。

Step6:将Step4中获得的动态特征向量与Step5中最优串行特征向量集进行融合,作为SVM的输入向量。

图 2. 所提算法的整体框架图

Fig. 2. Overall framework of proposed algorithm

下载图片查看所有图片

图 3. 所提算法流程图

Fig. 3. Flow chart of proposed algorithm

下载图片查看所有图片

Step7:构造SVM分类器模型,确定核函数及其参数,将融合后的特征向量归一化后,训练该分类模型。

Step8:使用训练好的SVM对火灾测试样本集进行检测,得到识别结果。

3.2 特征提取

图像特征的提取是火焰识别的关键步骤。当图像背景简单且火焰特征较为明显时,传统手工提取的特征,如颜色特征和纹理特征等可获得比较理想的识别率,但火焰的轮廓和面积等特征对环境的变化较为敏感,使得这些特征难以满足火焰识别的需求。深度学习是一种端到端的系统,可直接在原始图像数据上自动地进行特征学习与提取。与传统方法相比,深度学习提取的特征更抽象,表达能力更强^[16]。实验使用预训练CNN模型VGG16和ResNet50来获取火灾样本图像深度特征,为了弥补CNN仅提取静态特征缺陷,同时提取火焰的动态特征,具体流程如图4所示。

3.2.1 CNN特征提取

近年来,深度学习模型作为一种高层图像特征提取器已被广泛应用于图像处理领域,模型有VGG、Inception与ResNet等。CNN模型是一种通过模拟人眼视觉信息处理的多层结构,可获取具有深度语义信息的图像特征,每个CNN模型中都有多个卷积层,不同层提取的特征所表达的性能不同。较浅的卷积层提取的特征表示诸如边缘和纹理等浅层特征,随着网络层数的增加,提取的特征越来越抽象,语义特征越来越明显^[19]。CNN的研究表明,在大规模数据集上训练的CNN具有强大的泛化能力,通过迁移学习可作为特征提取器,用于图像分类和物体检测^[20]。

图 4. 特征提取流程图

Fig. 4. Flow chart of feature extraction process

下载图片查看所有图片

由于训练CNN需要大量的火焰数据样本,因此利用迁移学习策略,通过在Image数据集上训练的网络1(VGG16)和网络2(ResNet50)模型构成特征提取网络。大多数研究使用完全连接(FC)层来提取特征,然而CNN模型中的卷积层特征也可表达高级语义特征,并取得了更好的实验结果^[21]。文献[ 20]验证了提取第一个FC层特征的有效性,文献[ 15]分别将VGG16的一个全连接和分类层及ResNet50的分类层替换为机器学习分类器进行识别。因此,受文献[ 15]和文献[ 20]的启发,使用网络1的首个全连接层和网络2的最后卷积层进行特征提取,在特征提取过程中为了弥补火焰图像的缺乏,保持模型预训练权重。

VGG16是使用大小为3×3的卷积核组成16层深度学习网络模型,如图5所示,该模型由13个卷积层、5个池化层、2个全连接层和1个输出层组成^[22]。特征提取过程中,VGG16均采用相同大小的卷积核,即大小为3×3的卷积核,可更好地保持图像性质,且多个3×3的卷积核堆叠在一起增加网络对特征的学习能力。通过提取VGG16首个全连接层的特征得到4096维特征向量,记为F_VA。

图 5. VGG16网络结构图

Fig. 5. VGG16 network structure diagram

下载图片查看所有图片

ResNet50结构由卷积层、池化层和多个残差块组成,如图6所示^[23]。其中残差块由3个大小分别为1×1、3×3和1×1卷积核组成,使用1×1卷积核的计算量很小,并能增加一层特征变换和非线性化。将该网络模型与之前的CNN结构对比发现,ResNet50和直连CNN结构的最大区别在于,其可直接将输入信息沿着捷径传到输出层,这种方式能够在一定程度上增加信息的完整性。将ResNet50模型最后卷积层用于提取火焰图像特征,经全局平均池化操作后得到2048维特征向量,记为F_VB。

图 6. ResNet50结构图

Fig. 6. ResNet50 structure diagram

下载图片查看所有图片

3.2.2 动态特征提取

火焰图像的动态特征已被证明对于其识别有着重要作用,对输入图像预处理后提取特征,应用的火焰动态特征统计如下^[8]。

1) 相关性。火焰燃烧在时域上具有连续性,其亮度会发生改变,通过计算相关系数R获得燃烧时亮度变化情况,其特征表达式为

\begin{matrix} R = \frac{\sum \sum (X_{i, j} - \bar{X}) (Y_{i, j} - \bar{Y})}{\sqrt[]{\sum \sum {(X_{i, j} - \bar{X})}^{2}} \sqrt[]{\sum \sum {(Y_{i, j} - \bar{Y})}^{2}}}, (9) \end{matrix}

式中:X_i_,_j、Y_i_,_j为同组中相邻两帧图像在位置(i,j)处亮度; $\begin{matrix} \bar{X} \end{matrix}$ 和 $\begin{matrix} \bar{Y} \end{matrix}$ 为平均亮度。

2) 面积变化率。火焰燃烧过程中,火焰面积的连续变化不同于非火焰区域,其特征表达式为

\begin{matrix} γ = \frac{|A_{X} - A_{Y}|}{A_{X}}, (10) \end{matrix}

式中:A_X、A_Y为从同组中相邻两帧图像可疑区域内分割的火焰面积;X,Y为相邻两帧图像。

3)整体移动性。随着火势的蔓延其位置在不断移动,表现在整体上为连续移动,同时火焰移动不是跳跃的,满足相对稳定性,因此火焰的整体移动距离可通过火焰质心距离来得到,设图像f(x,y)大小为M×N,其特征表达式为

\begin{matrix} \{\begin{matrix} \bar{x} = \frac{1}{MN} \overset{M}{\sum_{x = 1}} \overset{N}{\sum_{y = 1}} xf (x, y) \\ \bar{y} = \frac{1}{MN} \overset{M}{\sum_{x = 1}} \overset{N}{\sum_{y = 1}} yf (x, y) \end{matrix}, (11) \end{matrix}

式中:(x,y)为图像的像素坐标。设(x₁,y₁)和(x₂,y₂)分别为当前帧和下一帧的质心点,目标区域相邻两帧的质心距离d用欧氏(Euclidean)距离表示为

\begin{matrix} d = \sqrt[]{(x_{1} - x_{2})^{2} + (y_{1} - y_{2})^{2}} 。 (12) \end{matrix}

3.3 多特征融合与选择

3.3.1 CNN串行特征融合模型结合MRMR特征选择算法

由3.2.1节得到特征向量F_VA和F_VB,将这两组特征向量进行融合。采用的融合方式为特征级数据融合,将多个特征融合为一个综合特征向量,包括两种方法:一是将多个特征向量进行串接,形成高维特征;二是将多个特征向量映射到复向量空间中组成不同的复向量,在复向量空间进行并行融合。实验采用融合方式简单且易于实时处理数据的串行特征融合,按顺序将F_VA和F_VB进行串行组成融合特征向量[F_VA,F_VB],该特征向量包含不同CNN模型下的火焰图像的深度特征信息。

CNN串行特征融合(CSFF)模型一般包含高度密集的特征,不仅含有丰富的火焰相关信息,而且还包含不相关或多余特征,若能将特征间的复杂关系解开并转换成稀疏特征,则特征的鲁棒性会随之提升。因此,分析特征间的关系并选择有价值的输入特征对结果非常重要,利用合理的特征选择方法去除高维特征向量中的冗余和噪声信息,可在减小计算量的同时提高识别准确率。采用基于MRMR的特征选择算法按照设定阈值根据特征的重要性进行排序,实现对特征的自适应降维。主要步骤描述如下。

给定CSFF向量数据集是具有m个样本的集合D={f_i,i=1,…,n},其中f_i=[f₍_i_,1),f₍_i_,2),…,f₍_i_,_m₎]^T表示m个样本的第i列特征向量,对应的类标签O=[O₁,O₂,O₃,…,O_m]^T,O_m∈{-1,+1}表示图片有无火焰信息。

Step1:初始化特征向量的数目k=1及具有k个特征向量的候选子集S_k。

Step2:令S₁←{f'₁},其中←是将所选特征存放入候选特征子集中,{f'₁}代表CSFF集合{f_i}中与类别标签O相关性最大的第一个特征。

Step3:令k=k+1,根据(8)式选择下一个特征f_k,得到候选特征子集排序S_k←{f'₁,f'₂,f'₃,…,f'_k}。

Step4:计算候选特征子集S_k的识别准确率(ACCR),返回Step3,直至k达到设定阈值k',即k=k'时,停止循环。

Step5:输出最高准确率所对应的最优CSFF特征子集S'_k及特征维度 $\begin{matrix} |S'_{k}| \end{matrix}$ 。

使用SVM分类器来计算Step4中所选子集的识别准确率。

3.3.2 多特征融合的火焰识别

SVM是一种基于统计学理论和结构风险最小化原理的机器学习方法,与神经网络学习相比,SVM解决了过拟合和陷入局部最优的问题,同时可有效解决小样本的分类问题,并且可解决高维度和非线性的问题^[7-8]。通过非线性映射将线性不可分的样本转换到高维空间,在新的特征空间中得到最佳分类面,使得火灾实验样本中正负两类样本能正确识别。SVM最优分类面的判别公式为

\begin{matrix} f (x) = sgn [\overset{n}{\sum_{i}} α_{i} y_{i} k (x, x_{i}) + b], (13) \end{matrix}

式中:α_i为拉格朗日(Lagrange)因子;b为偏置;x_i和y_i为第i个样本的输入和输出,其中y_i∈{-1,+1};k(x,x_i)为核函数,其中x和x_i是不同样本的特征向量。由于k(x,x_i)是SVM的关键参数,其选择会直接影响模型的学习能力和泛化能力。目前,已有几种核函数可用,如多项式核、Sigmoid核、线性核和径向基函数(RBF)核。其中RBF内核具有计算复杂度低和参数少等优点,因此选择RBF作为核函数的SVM分类器,可表达为

\begin{matrix} k (x, x_{i}) = \exp (- \frac{‖ x - x_{i} ‖^{2}}{2 σ^{2}}), (14) \end{matrix}

式中:σ为RBF的核宽度参数。

综合3.3.1节最优子集S'_k与3.2.2节动态特征D_T,得到多维特征F_{feature(fire)}作为SVM分类器的输入,表达式为

\begin{matrix} F_{feature (fire)} = [S'_{k}, D_{T}] 。 (15) \end{matrix}

确定了多维特征F_{feature(fire)}和完成SVM分类器的设计后即可进行火焰检测。至此,完成了基于深度学习和MRMR特征选择算法火焰检测模型的搭建。

4 实验结果与分析

4.1 实验设置

为了验证所提算法的有效性,从课题组拍摄的火焰视频及网络公开视频中截取火焰图像,选取不同场景下的火焰正样本及干扰物负样本进行火灾识别实验。场景分为室内大空间与室外开阔空间两种环境,白天和夜晚两种情况,干扰物有强烈的太阳光、行人、红色衣物、警灯、架子灯和环形灯。总样本为1200张,其中800张进行训练,400张用作测试。样本尺寸为224 pixel×224 pixel,部分样本如图7所示。

实验环境为Windows10的64位操作系统和8 GB内存,处理器(CPU)为Intel Core i5-9400F,图形处理器(GPU)为NVIDIA GTX 1060 6 G,深度学习框架为TensorFlow,前端使用Keras。在Python和MATLAB环境下进行编程实验。

4.2 评价指标

为了测试所提方法的性能,使用准确率(ACCR)、火焰检出率(DR)和误报率(FAR)作为评价指标,表达公式如下:

ACCR的表达式为

\begin{matrix} X_{ACCR} = \frac{T_{p} + T_{n}}{T_{p} + T_{n} + F_{p} + F_{n}} \times 100 %, (16) \end{matrix}

式中:T_p(True Positive)为预测为正样本,实际为正样本;T_n(True Negative)为预测为负样本,实际为负样本;F_p(False Positive)为预测为正样本,实际为负样本;F_n(False Negative)为预测为负样本,实际为正样本。

火焰DR也称为召回率,被定义为火焰正样本总数除以准确识别为火焰的正样本数,反映了算法检测火焰目标的能力,表达式为

\begin{matrix} X_{DR} = \frac{T_{p}}{T_{p} + F_{n}} \times 100 % 。 (17) \end{matrix}

由于大多数情况下,各种监测环境中没有火灾,因此在火灾探测中,FAR是检测的重要指标,FAR的表达式为

\begin{matrix} X_{FAR} = \frac{F_{p}}{F_{p} + T_{n}} \times 100 % 。 (18) \end{matrix}

4.3 实验结果与讨论

进行火焰图像识别前,对网络1和网络2进行可视化操作,进一步说明深度CNN火焰图像特征提取的本质。从火灾实验样本数据集中挑选一幅火焰图像样本[图7(a)]进行可视化操作,如图8所示。

为了方便展示,图8仅显示每层前25张特征图。比较图8可以看到:图8(a)和8(c)输出结果可分辨火焰轮廓和纹理;图8(b)和8(d)输出结果完全无法分辨图像中的具体内容。这充分表明,网络1和网络2深层卷积输出特征的抽象程度比浅层更高。

图 7. 部分样本数据集。(a)~(e)正样本;(f)~(i)负样本

Fig. 7. Partial sample datasets. (a)-(e) Positive samples; (f)-(i) negative samples

下载图片查看所有图片

图 8. 卷积层的输出特征映射图。浅层卷积:(a)网络1,(c)网络2;深层卷积:(b)网络1,(d)网络2

Fig. 8. Convolutional layers output feature maps. Shallow convolution layer: (a) network 1, (c) network 2; deep convolution layer: (b) network 1, (d) network 2

下载图片查看所有图片

分析CNN融合特征向量中不同维度对火焰识别率的影响,确定实验选取的融合特征维度可得到最优特征子集。根据3.3.1节使用CNN对火焰图像深度特征的提取描述可知,所提的深度特征向量经串行融合后维数过高且包含许多无关噪声信息,这对火焰识别准确率和效率产生影响,通过MRMR特征选择算法对火焰融合特征进行自适应降维,进而确定最佳融合特征S'_k。为了验证所提特征选择算法去除冗余特征的有效性,使用相关性特征选择(RFS)算法,以下简称方法1,即在所提特征选择算法的基础上,根据相关性标准按照特征与目标变量间的相关性进行特征排序,并将其输入SVM分类器中进行实验对比。

火灾实验样本的融合特征维度对识别准确率和计算时间有直接影响,可通过实验确定融合特征向量S'_k。图9的横轴表示两种算法所选特征数量,纵轴表示总样本的ACCR。图9是在不同特征维度下,使用所提方法和方法1进行特征选择,并使用SVM分类器分类结果的识别准确率对比。从图9可以看到,在不同维度下使用所提方法进行特征选择时,火焰实验的识别效果均优于方法1。

图 9. 火焰检测性能随特征数量变化曲线

Fig. 9. Variation curve of flame detection performance with number of features

下载图片查看所有图片

此外,随着所选特征数量的增加,火焰图像的识别准确率先呈上升趋势后逐渐趋于稳定,但中间也出现了下降波动。分析其原因是,利用MRMR特征选择算法对串行特征进行排序后,串行特征向量增多,其中包含的冗余噪声特征信息也在增加,对SVM的识别造成了干扰。同时随着所选特征数量不断增加,模型的计算时间逐渐增长,因此进行有效的特征选择,可提高CNN融合特征的识别效果。综合考虑融合特征维度对火焰图像的识别准确率和计算时间的影响,选取 $\begin{matrix} |S'_{k}| \end{matrix}$ =16作为火焰图像CNN融合的特征维度。表1统计了两种算法中最优特征子集的各性能对比,可得到所提特征选择算法的各性能优于基于方法1的特征选择算法,且所选的最优特征子集数量远少于方法1。

表 1. 不同特征选择算法对识别的影响

Table 1. Influence of different feature selection algorithms on recognition

Method	Number of features	ACCR /%	DR /%	FAR /%
Method 1	117	95.00	90.0	0
Ours	16	98.25	96.5	0

查看所有表

为了说明CNN串行融合特征的有效性,现分别将网络1、网络2和所提特征选择算法的结果进行对比,如表2所示。从表2发现使用CNN串行融合特征,不仅识别效果优于单独使用网络1和网络2,并且所选特征子集的数量也有所降低。

表 2. CNN串行融合特征对识别的影响

Table 2. Influence of CNN serial fusion features on recognition

Method	Number offeatures	ACCR /%	DR /%	FAR /%
Network 1	32	93.50	92.0	5.0
Network 2	27	96.00	95.5	3.5
Ours	16	98.25	96.5	0

查看所有表

将CNN提取的深度特征与火焰动态特征进行融合,同时为了验证融合效果,将其与单独使用动态特征D_T(算法1),单独使用优选后特征向量S'_k(算法2)及将D_T与S'_k融合(所提算法)三种方法作对比,如表3所示。

表 3. 三种检测算法性能对比

Table 3. Performance comparison of three detection algorithms

Algorithm	Number offeatures	ACCR /%	DR /%	FAR /%
Algorithm 1	3	76.25	84.0	31.5
Algorithm 2	16	98.25	96.5	0
Ours	19	99.75	100.0	0.5

查看所有表

通过SVM分类器利用各输入特征进行状态识别,由实验对比结果可知,算法2的识别准确率与所提算法相近,但所提算法的识别精度始终高于其他两种算法,相对于算法2的识别准确率提高了1.5个百分点,火焰检出率提高了3.5个百分点。在大量基数下,1.5个百分点和3.5个百分点的提升率在其识别中具有重要意义。基于算法1和算法2的识别结果可知,单独使用深度特征提取算法的识别准确率和火焰检出率分别高出传统特征算法22个百分点和12.5个百分点,同时误报率降为0。原因在于传统特征提取主要基于浅层特征,无法得到更抽象特征,而使用CNN对火焰图像进行特征提取可更好地得到映射火焰的本质特征。同时深度特征也未全面反映火焰的特征信息,仅反映了火焰图像的静态特征,因此有必要融合最优深度特征子集与动态特征,通过多维特征融合提高了检测结果的准确率和可靠性。

为了进一步验证所提算法的识别效果,将其与其他检测算法的结果进行比较,如表4所示。所提算法对比文献[ 7]、文献[ 9]和文献[ 14]的结果有所提高,在模型框架设计方面,能提取更具代表性的特征,使得所提算法效果较好。

表 4. 不同检测算法的结果对比

Table 4. Results comparison of different detection algorithms

Algorithm	ACCR /%	DR /%	FAR /%
Ref. [7]	86.88	91.85	18.10
Ref. [9]	96.73	94.78	1.32
Ref. [14]	97.28	98.25	3.70
Ours	99.75	100.00	0.50

查看所有表

5 结论

近年来,深度学习在人工智能领域获得了很好的应用效果,以CNN为核心的深度学习技术应用于火焰识别具有较大的发展空间。为了更有效地提取大空间火焰图像特征,提出了一种基于CNN与MRMR的火焰识别方法。在自建的大空间火焰数据集上进行实验,采用识别准确率、火焰检出率和误报率对实验结果进行评价。实验结果表明,通过特征选择算法,解决了深度特征冗余大的问题,能有效地获得表达能力更强的特征。同时将其与动态特征进行融合,实现两者在识别中的互补作用,提高了火焰检测的性能。虽所提方法在大空间建筑火焰图像检测问题中有效地提高了检测效果,达到了检测图像中火焰的目的,但仍有改进的空间:自建大空间火焰数据集来源于课题组拍摄和互联网,实验样本的数量及质量直接影响模型的识别效果,所以需要继续扩充大空间火焰数据集样本;CNN所提特征仅限于样本图像的静态特征,忽略火焰样本本身的动态特征,本文仅考虑了样本三个动态特征,所以可尝试将样本更多的动态特征应用于火焰图像的检测。

参考文献

[1] Gunawaardena AE, Ruwanthika R M M, Jayasekara A. Computer vision based fire alarming system[C]∥2016 Moratuwa Engineering Research Conference (MERCon), April 5-6, 2016, Moratuwa, Sri Lanka. New York: IEEE, 2016: 325- 330.

[2] 胡燕, 王慧琴, 马宗方, 等. 复杂大空间建筑火灾烟雾图像分割算法研究[J]. 计算机仿真, 2015, 32(8): 387-390.

Hu Y, Wang H Q, Ma Z F, et al. Segmentation algorithm of fire smoke image in complex large space buildings[J]. Computer Simulation, 2015, 32(8): 387-390.

[3] 谭勇, 谢林柏, 冯宏伟, 等. 基于图像的火焰检测算法[J]. 激光与光电子学进展, 2019, 56(16): 161012.

Tan Y, Xie L B, Feng H W, et al. Flame detection algorithm based on image processing technology[J]. Laser & Optoelectronics Progress, 2019, 56(16): 161012.

[4] Li Z L, Mihaylova L S, Isupova O, et al. Autonomous flame detection in videos with a dirichlet process Gaussian mixture color model[J]. IEEE Transactions on Industrial Informatics, 2018, 14(3): 1146-1154.

[5] Bian Y M, Yang M, Fan X Y, et al. A fire detection algorithm based on Tchebichef moment invariants and PSO-SVM[J]. Algorithms, 2018, 11(6): 79.

[6] Maksymiv O, Rak T, Peleshko D, et al. Video-based flame detection using LBP-based descriptor: influences of classifiers variety on detection efficiency[J]. International Journal of Intelligent Systems and Applications, 2017, 9(2): 42-48.

[7] 戴静, 严云洋, 范勇, 等. 基于BEMD和SVM的火焰检测算法[J]. 常州大学学报(自然科学版), 2017, 29(2): 71-77.

Dai J, Yan Y Y, Fan Y, et al. Fire detection based on bidimensional empirical mode decomposition and support vector machine[J]. Journal of Changzhou University(Natural Science Edition), 2017, 29(2): 71-77.

[8] 贾阳, 王慧琴, 胡燕, 等. 基于改进层次聚类和SVM的图像型火焰识别[J]. 计算机工程与应用, 2014, 50(5): 165-168, 194.

Jia Y, Wang H Q, Hu Y, et al. Flame detection algorithm based on improved hierarchical cluster and support vector machines[J]. Computer Engineering and Applications, 2014, 50(5): 165-168, 194.

[9] Xuan Truong T, Kim J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372.

[10] Zhao Y, Ma J L, Li X H, et al. Saliency detection and deep learning-based wildfire identification in UAV imagery[J]. Sensors, 2018, 18(3): 712.

[11] Rawat W, Wang Z H. Deep convolutional neural networks for image classification: a comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[12] Zhong Z, Wang M J, Shi Y K, et al. A convolutional neural network-based flame detection method in video sequence[J]. Signal, Image and Video Processing, 2018, 12(8): 1619-1627.

[13] 回天. 哈力旦·阿布都热依木, 杜晗. 结合Faster R-CNN的多类型火焰检测[J]. 中国图象图形学报, 2019, 24(1): 73-83.

Hui T, Du H. Multi-type flame detection combined with Faster R-CNN[J]. Journal of Image and Graphics, 2019, 24(1): 73-83.

[14] 洪伟, 李朝锋. 基于区域全卷积网络结合残差网络的火焰检测方法[J]. 激光与光电子学进展, 2018, 55(4): 041011.

Hong W, Li C F. Flame detection method based on regional fully convolutional networks with residual network[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041011.

[15] SharmaJ, Granmo OC, GoodwinM. Deep CNN-ELM hybrid models for fire detection in images[M] ∥K rková V, Manolopoulos Y, Hammer B, et al. Artificial neural networks and machine learning-ICANN 2018. Lecture notes in computer science. Cham: Springer , 2018, 11141: 245- 259.

[16] CanzianiA, PaszkeA, Culurciello E. An analysis of deep neural network models for practical applications[EB/OL]. ( 2017-04-14)[2019-08-15]. https:∥arxiv.org/abs/1605. 07678.

[17] Peng H C, Long F H, Ding C. Feature selection based on mutual information criteria of max-dependency, max-relevance, and Min-redundancy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1226-1238.

[18] 尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015, 41(1): 48-59.

Yin B C, Wang W T, Wang L C. Review of deep learning[J]. Journal of Beijing University of Technology, 2015, 41(1): 48-59.

[19] 辛鹏, 许悦雷, 唐红, 等. 全卷积网络多层特征融合的飞机快速检测[J]. 光学学报, 2018, 38(3): 0315003.

Xin P, Xu Y L, Tang H, et al. Fast airplane detection based on multi-layer feature fusion of fully convolutional networks[J]. Acta Optica Sinica, 2018, 38(3): 0315003.

[20] Razavian AS, AzizpourH, SullivanJ, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 806- 813.

[21] Ng Joe YH, YangF, Davis LS. Exploiting local features from deep networks for image retrieval[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 53- 61.

[22] SimonyanK, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. ( 2015-04-10)[2019-08-15]. https:∥arxiv.org/abs/1409. 1556.

[23] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

3 基于深度学习与MRMR算法的火焰检测模型

李梓瑞, 王慧琴, 胡燕, 卢英. 基于深度学习和最大相关最小冗余的火焰图像检测方法[J]. 激光与光电子学进展, 2020, 57(10): 101015. Zirui Li, Huiqin Wang, Yan Hu, Ying Lu. Flame Image Detection Method Based on Deep Learning with Maximal Relevance and Minimal Redundancy[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101015.

基于深度学习和最大相关最小冗余的火焰图像检测方法 下载： 1471次

1 引言

2 相关算法概述

2.1 CNN的基本结构

图 1. CNN结构图

Fig. 1. CNN structure diagram

2.2 MRMR算法

3 基于深度学习与MRMR算法的火焰检测模型

3.1 算法整体流程

图 2. 所提算法的整体框架图

Fig. 2. Overall framework of proposed algorithm

图 3. 所提算法流程图

Fig. 3. Flow chart of proposed algorithm

3.2 特征提取

图 4. 特征提取流程图

Fig. 4. Flow chart of feature extraction process

图 5. VGG16网络结构图

Fig. 5. VGG16 network structure diagram

图 6. ResNet50结构图

Fig. 6. ResNet50 structure diagram

3.3 多特征融合与选择

4 实验结果与分析

4.1 实验设置

4.2 评价指标

4.3 实验结果与讨论

图 7. 部分样本数据集。(a)~(e)正样本;(f)~(i)负样本

Fig. 7. Partial sample datasets. (a)-(e) Positive samples; (f)-(i) negative samples

图 8. 卷积层的输出特征映射图。浅层卷积:(a)网络1,(c)网络2;深层卷积:(b)网络1,(d)网络2

Fig. 8. Convolutional layers output feature maps. Shallow convolution layer: (a) network 1, (c) network 2; deep convolution layer: (b) network 1, (d) network 2

图 9. 火焰检测性能随特征数量变化曲线

Fig. 9. Variation curve of flame detection performance with number of features

表 1. 不同特征选择算法对识别的影响

Table 1. Influence of different feature selection algorithms on recognition

表 2. CNN串行融合特征对识别的影响

Table 2. Influence of CNN serial fusion features on recognition

表 3. 三种检测算法性能对比

Table 3. Performance comparison of three detection algorithms

表 4. 不同检测算法的结果对比

Table 4. Results comparison of different detection algorithms

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于深度学习和最大相关最小冗余的火焰图像检测方法下载： 1471次