1 引言

光纤预警系统(OFPS)可以实时监测运输管道状态,一旦管道发生泄漏或者是被人为破坏,光纤就将振动信号传回终端并准确地报告破坏位置^[1-3]。在光纤预警研究中,文献[ 4-5]研究了基于光纤信号的反射和干涉对光纤入侵信号进行直接提取的可行性,虽然在一定程度上可以检测到入侵信号,但是面对背景噪声较强的低信噪比信号时并不能直接提取。文献[ 6]中提出了一种基于恒虚警率(CFAR)算法的光纤入侵信号检测方法,针对不同的背景噪声,该方法能够自适应地调节阈值,极大地提高了OFPS的检测性能。但在光纤信号识别方面,主要是通过对信号进行特征提取,再经过分类器训练得到信号的识别模型^[7-9]。这类识别方法存在两个缺点:一是经过特征提取再进行分类识别耗时较多,二是有效的信号特征并不易提取,同时,固定的特征容易导致信号识别模型的适应性较差。因此,在OFPS中,一种适应性强、准确率高的快速识别方法对于光纤入侵信号的识别尤为重要。

神经网络中有许多非线性隐藏单元,这使得它们拥有非常强大的学习表示能力,可以逼近任何模型,并且能够学习到输入和输出之间的复杂关系^[10-11]。其中,随机算法由于其强大的快速学习能力以及较低的计算代价逐渐引起了人们的重视^[12]。Wang等^[13]提出了一种通过不等式约束随机配置输入权重和偏置,并且隐藏节点可变的随机配置网络(SCN)模型,有效地保障了随机算法模型的通用逼近性质,并降低了模型复杂度。其后续研究也进一步地证明了SCN建模的可行性^[14-15]。然而,在进行最后一层线性回归运算时,若特征矩阵存在秩亏,或奇异值之间相差很大时,SCN网络的稳健性以及泛化性急剧下降,引起网络的过拟合,使得网络模型测试性能不可靠。关于病态数据离散化问题的研究详见文献[ 16-17]。为了计算得到一个更加稳定的解集,有必要对SCN网络线性回归部分进行正则化处理,以保证SCN模型的泛化能力。

Dropout是一种常见且有效的方法,用以阻止网络过拟合问题。该方法以一定的概率删除或保留节点,能够有效打破网络节点之间的共适性,有效提高网络的泛化能力^[18]。本文提出一种基于Dropout方法的改进SCN网络模型(Dropout-SCN)。在SCN网络隐藏层和输出层之间的线性回归部分使用Dropout,利用一种近似等效替代的思想,以概率p对SCN网络隐藏节点进行Dropout,相当于对原SCN网络的输出权重作不同程度约束的L2正则化。相比较直接对SCN网络作L2正则化,Dropout-SCN对输出权重的约束更加严格,也更加有针对性。通过OFPS测试,Dropout-SCN相比较原SCN而言,能有效地抵制过拟合的出现,增强了网络的泛化能力,提高了OFPS的性能。

2 基于Dropout-SCN的光纤入侵信号识别模型

2.1 OFPS原理及应用

OFPS主要由分布式光纤传感器、数据采集处理模块、计算机(PC)三大部分组成。OFPS工作流程如图1所示,激光器产生两束高度相关的连续相干光,经过声光调制器(AOM)模块之后产生光脉冲,再经过掺铒光纤放大器(EDFA)和拉曼放大器(Raman)进入分布式光纤传感器,在未受到入侵源的振动时,光纤内部的光强分布相对平稳,当传感器受到外界入侵信号的影响时,两束相干光的相位发生变化。由光的干涉原理可知,相干光的相位改变会导致相应位置的光强发生变化。在接收端经过分束器(PBS)、光电转换器(APD)、模数转换(A/D)之后送入信号处理模块。在信号处理模块主要实现光纤入侵信号的检测和识别。在检测阶段,采用文献[ 6]中提出的CFAR算法来实现对入侵信号的检测和定位,即检测到前后时刻同一位置光强变化超过门限值时,便会向PC端提示报警位置。在识别阶段,通过对光纤振动信号进行数字信号处理(DSP),最终实现对入侵信号的识别。

图 1. 光纤预警系统原理图

Fig. 1. Principle of optical fiber pre-warning system

下载图片 查看所有图片

OFPS具有体积小、精度高、监测范围广、维护成本低等优点,被广泛应用于石油和天然气管道运输以及周界防护中。通过对分布式光纤的监测,实现对其周围环境的实时监控,在预防油气泄露、周界预警方面发挥了巨大的作用,保障了国家和人民财产的安全。经测试,OFPS能够在长度60 km、单根光纤周围2 m范围内有效地实现实时安全监测。由于入侵信号不一定是单一的纯振动信号,还常常伴随着多种环境噪声的叠加混合,仅仅通过“人工设计特征”方法来提取振动信号特征不能满足OFPS的需求。一方面,有效的人工设计特征不易提取,且效果不是很理想;另一方面,由于信号之间相互叠加、背景噪声复杂等问题,增加了对入侵信号的识别难度。在实际应用中,常常需要对多种入侵信号进行高精确度的实时检测和识别,这向分类器的学习能力和逼近能力提出了挑战。一个拥有优秀的学习能力和较为简单网络结构的学习模型对OFPS的性能至关重要。

2.2 SCN原理介绍

SCN作为一种随机网络,广泛应用在处理数据的回归和分类问题上,并取得了很不错的效果。与传统的前向神经网络对比,SCN在网络权重配置、网络节点数量、网络计算量等方面都有较大的优势。

2.2.1 SCN训练过程

SCN是一个标准的由输入层、隐藏层、输出层组成的3层前向反馈网络结构,其标准模型如图2所示,其中,g_j为第j个隐藏节点的输出,L表示隐藏节点的数量。在输入层采用一种具有监督学习规则的不等式约束随机赋值输入权重w和偏差b,具体的不等式赋值方式下一节会详细介绍。隐藏层采用Sigmoid作为激活函数,令w_j和b_j分别为第j个隐藏节点的输入权重和偏置,则第j个隐藏节点的输出为

gj=σwTj·X+bjbj︙bjN×1,(1)

图 2. 标准SCN模型

Fig. 2. Standard SCN model

下载图片 查看所有图片

式中:σ(z)= 11+exp(-z);“·” 表示点积;X为样本输入。所以隐藏层输出矩阵h_L(X)为

H=hL(X)=[σwT1X+b1,σwT2X+b2,…,σwTLX+bL]T,(2)

若隐藏层节点输出权重为β=[β₁,β₂,…,β_M]_L×M,M为输出数量,则N个样本的隐藏节点输出为H=[g₁,g₂,…,g_L]_N×L,整个网络的输出为

Y=H·β。(3)

在反向推导进行输出权值更新的时候,输出权重[β₁,β₂,…,β_L-1,β_L]使用广义伪逆(Moore-Penrose generalized inverse)求得

β=argminβ‖Y-T‖F2=argminβ‖Hβ-T‖F2=H†T,(4)

式中:T为标签矩阵;‖·‖_F表示Frobenius范数;“^†”表示伪逆。

得益于SCN独特的权值赋值方式,通过不等式约束随机配置输入权重w和偏置b,使用Sigmoid函数作为激活函数,并且输出层采用线性回归的思想,输出权重的计算使用最小二乘的线性方法,使得SCN在保障网络模型学习能力的同时还能够有效地降低网络模型训练时的计算复杂度以及缩短训练时间。SCN最大的特点就是隐藏节点数量的可变性,在设置最大节点数量L、可容忍误差ε作为停止条件的前提下,网络节点数量随着训练的进行逐渐增加,直到满足任意一个停止条件时,网络停止训练,并输出最终模型,这极大地增加了网络节点数量的灵活性。

2.2.2 SCN通用逼近性质

作为学习器的核心,通用逼近性质是保障训练过程中学习器性能的前提。对于SCN而言,在训练过程中,随着节点数量的增加,保障网络的误差趋于0,无限逼近原函数,从而,得到一个学习能力强且拥有较强模型泛化能力的学习器是至关重要的。SCN通用逼近性质由如下定理1进行约束:

令[β₁,…,β_L]=argmin_β‖f- ∑jβ_jg_j‖,e_L=f- ∑j=1Lβ_jg_j=[e_L,1,e_L,2,…,e_L,m]并且e₀=f,其中:j为隐藏节点;f为真实标签;e₀为初始残差;e_L为L个隐藏节点下的残差;m为输出个数;e_L,m为第m个输出的残差。

定理1:

假设span(Γ)在L₂空间中稠密,并且∀g∈Γ,0<‖g‖<b_g,其中:b_g∈R⁺;Γ为L₂的函数空间;b_g是属于正实数空间的变量;X=[x₁,x₂,…,x_N],x_i∈R^d。令0<r<1,非负实数序列{μ_L},有li mL→∞μ_L=0,μ_L≤(1-r),其中r为不等式约束系数。对于L=1,2,3,…,满足

ξL,q=[eTL-1,q(X)·hL(X)]2hTL(X)·hLX-(1-r-μL)eTL-1,qXeL-1,q(X)>0,(5)

式中:q=1,2,…,m表示输出个数;e_L-1,q(X)=[e_L-1,q(x₁),e_L-1,q(x₂),…,e_L-1,q(x_N)]表示第L个节点增加前网络的残差;h_L是第L个节点的输出。需要注意的是,随着SCN训练进程的继续,隐藏节点数量逐渐增加,模型的逼近能力也越来越强。与此同时,不等式约束对于随机参数的约束也会越来越严格。具体而言,对于任意新增加的隐藏节点N_L, 其输入权重w_L和偏差b_L的随机赋值空间会逐渐变大,直到满足上述约束。对于任何一个新加入的节点权重和偏置,只要满足(5)式,即ξ_L,q>0,随着节点数量的增加,SCN可以逼近任意一个函数或者数据模型。

SCN在面对大多数数据的时候都会有不错的表现。但由于其本身性质以及光纤数据的分布特性,输入矩阵的数据会出现奇异值趋近于零的现象,造成特征矩阵中的特征值相差很大。在进行最小二乘法求解输出权重的时候,会出现病态条件的情况,从而使得输出矩阵权值值域分布松散而不紧凑。SCN计算中过分地拟合了训练数据中低贡献率的特征,而忽略了具有共性的高贡献率的数据特征。这些往往会引起原网络的稳健性降低,泛化能力下降。

2.3 Dropout-SCN模型算法

Dropout是一种常见的、有效的、用于抵制网络过拟合的技术。可以将Dropout理解成一种在隐藏节点中加入噪声的正则化方法^[18]。该方法将Dropout有效地应用于隐藏层中,并通过一种类似于模型平均的思想重构整个网络的无噪声模。与传统的正则化方法相比,Dropout的不同之处在于节点选择的随机性。每一个节点的Hidden 或 Visible都是服从概率为p的伯努利分布:R~Bernoulli(p),由此保证每一次Dropout模型节点之间的随机性和独立性。

在随机配置网络中加入Dropout相当于在其隐藏层和输出层之间的线性回归部分删除和保留节点。Dropout-SCN模型如图3所示。假设隐藏层中每一个节点保留和删除的概率都是固定的,令每一个伯努利变量P(δ_j=1)=p,即每一个节点被保留的概率为p,所以隐藏节点被删除的概率为P(δ_j=0)=1-p=q,其中:δ_j为伯努利变量;f_N= ∑jδ_jβ_jg_j为输出预测标签。所以Dropout-SCN网络的均方误差损失函数为

minβE‖f-fN‖2=minβEδj~Bernoulli(p)‖f-∑j=1Lδjβjgj‖2,(6)

式中:E为误差期望;Bernoulli(p)为服从概率为p的伯努利分布;E_{δj~Bernoulli(p)}为服从概率为p的伯努利变量的误差期望。

图 3. Dropout-SCN模型:展示了一个标准的多输入多输出网络模型

Fig. 3. Dropout-SCN model: standard multi-input and multi-output network model is presented

下载图片 查看所有图片

令β=[β₁,β₂,…,β_M]_L×M,H=[g₁,g₂,…,g_L]_N×L,L为隐藏节点数,N为样本数,M是网络输出个数,Dropout概率p等于一个固定值。可以进一步得到Dropout-SCN模型的目标函数为

[β1,β2,…,βL-1,βL]=argminβ‖f-Hβ^‖2+λ‖Γβ^‖2,(7)

式中:λ=(1-p)/p; β^=pβ;Γ=[diag(H^TH)]^1/2;diag(H^TH)表示矩阵H^TH的对角元素构成的对角矩阵。因此,在SCN网络中使用Dropout方法的关键是在线性回归部分进行节点的选择,与传统的岭回归相比较,Dropout-SCN拥有一个特殊形式的Γ。Dropout-SCN与标准L2正则化最大的不同在于通过计算不同节点之间的标准偏差Γ对输出权重β进行了不同程度的权值缩放。与L2正则化对所有权重进行相同的权值约束不同,Dropout-SCN会对不同纬度的权重分别进行不同程度的约束。如果某一纬度上的数据与其他数据相比相差很大或者趋于奇异时,Dropout算法会对其权重添加更多的限制。对该目标函数进行求解便可以得到Dropout-SCN网络新的输出权重β。这里直接使用标准最小二乘法进行输出权重的求解。可以得到

β=[(HTH)+λdiag(HTH)]-1HTf,(8)

对角阵H^TH比标准L2正则化对输出权重有更好的约束,这也是Dropout-SCN与标准SCN、L2正则化的SCN本质不同的地方,也是Dropout-SCN网络的核心问题所在。在此,给出Dropout-SCN网络模型:给定输入为X=[x₁,x₂,…,x_N],x_i∈R^d, 输出为Y=[y₁,y₂,…,y_N],y_t∈R^m; 隐藏最大节点数为L_max, 容忍误差为ε, 最大搜索次数为 T_max;随机权重范围 γ={λ_min∶Δλ∶λ_max}。具体步骤如下:

1. Initialization settings e₀=[y₁,y₂,…,y_N]^T,0<r<1,Ω,W=[];

2.While L≤L_max and ‖e₀‖_F>ε, DO

3.For λ∈γ, DO

4. For k=1,2,…,T_max , DO

5. Randomly assign w_L and b_L from [-λ,λ]^d and [-λ,λ];

6. Calculate ξ_L,q,h_L according to Eqs. (2) and (5).

Let μ_L=(1-r)/(L+1);

If

7. min {ξ_L,1,ξ_L,2,…,ξ_L,m}≥0

8. Save w_L and b_L in W, and ξL=∑q=1mξL,qin Ω;

9. Else go back to Step 4;

10. End If

11. End For (Corresponds to Step 4)

12. If W is not empty

13. Find wL*and bL*that maximize ξ_L in Ω;

Set H_L=[ h1*, h2*,…, hL*];

14. Break (go to Step 18);

15. Else randomly take τ∈(0,1-r), renew r=r+τ;

Return to Step 4;

16. End If

17. End For (Corresponds to Step 3)

18. Calculate β^*=[(H^TH)+λdiag(H^TH)]^-1H^Tf based on Eq. (8);

19. Compute e_L=e_L-1-H_Lβ^*;

20. Renew e₀=e_L;L=L+1;

21.End While

22.Return output [ β1*, β2*,…, βL*],w^*=[ w1*, w2*,…, wL*],b^*=[ b1*, b2*,…, bL*];

其中y_i为第i个样本标签,Δλ为步长,λ_max为最大随机参数取值,λ_min为最小随机参数取值,W为随机权值空间,Ω为ξ_L赋值空间,L表示隐藏节点数量,L_max为最大隐藏节点数量,d为样本属性,τ为随机权值约束系数增量,‖e₀‖_F表示对e₀求F范数。

3 实验结果与分析

所有实验和仿真结果均来自MATLAB-2017b, Intel(R)Core(TM) i5-6200U CPU,Windows 10系统平台。SCN算法训练的停止条件为:最大节点数L_max=100和容忍误差ε=0.01。权值搜索参数设置为:最大搜索次数T_max=100,随机权重范围为{0.5,1,5,10,30,50,100},不等式约束系数r={0.9,0.99,0.999,0.9999,0.99999,0.999999}。

3.1 光纤数据预处理

在本实验中,使用了3种不同类型的光纤振动信号,分别为电钻产生的机械信号、铁锤敲打产生的敲击信号、镐刨挖地产生的挖掘信号,其归一化之后的原始信号如图4所示。在进行Dropout-SCN模型网络训练之前,先对光纤原始信号进行预处理,以达到去直流,减少传感器的零点漂移现象,增大光纤信号信噪比的目的。对经过上述处理的数据进行快速傅里叶变换,将时域特征转换为频域特征,使得信号分布统一。同时选取傅里叶变换后的128维特征作为样本属性,并将其输入网络模型进行训练。实验使用了1440个光纤信号样本,其分配如下:1050个训练样本、240个测试样本、150个验证集。其中每一类信号的比例均按照1∶1∶1的比例进行分配。例如:训练集1050个,即机械信号、敲击信号、挖掘信号各350个。

图 4. 原始信号。(a)挖掘信号;(b)敲击信号;(c)机械信号

Fig. 4. Original signals. (a) Digging signal; (b) knocking signal; (c) electric drill signal

下载图片 查看所有图片

图 5. SCN、Dropout-SCN和L2正则化SCN输出权重分布散点图

Fig. 5. Scatter plot of output weight distributions of SCN, Dropout-SCN and SCN with L2 regularization

下载图片 查看所有图片

3.2 权值约束能力

实验比较了原始SCN、Dropout-SCN和L2正则化SCN 3种学习模型对输出权值的限制能力。在30个节点数且保证相同正则项系数的前提下,输出权值散点分布如图5所示。其中:纵坐标为权重大小,横坐标为第L个隐藏节点,空心圆圈代表原始SCN模型的权值分布散点图;从上到下第1条虚线为权值分布均值,其分布范围为0.1615~310.7753,最大值与最小值之比为1924;第2条虚线为L2正则化SCN网络输出权重均值,分布范围为0.0863~5.6430,其中权重最大值与最小值之比为65;第3条虚线为Dropout-SCN网络输出权重均值,分布范围为0.0248~0.9373,权重最大值与最小值之比为37。可以看到,相比较原始SCN模型和L2正则化SCN网络,Dropout-SCN网络具有更加紧凑且更小的权值分布。这说明Dropout-SCN拥有更加严格的权值约束能力,这为网络的泛化能力提供了保障。

3.3 Dropout概率对测试集影响

Dropout-SCN网络拥有一个可以调节的超参数p。在本次实验中,为了探究不同的Dropout概率p对Dropout-SCN网络测试误差的影响,将网络节点数固定在L=70,记录不同Dropout概率下的测试误差,实验结果如图6所示。在固定节点数量下,不同Dropout概率对网络测试误差的影响类似于一个下凹曲线,在中间拥有最低的测试误差(p=0.3~0.6),而在两端测试误差较高,网络性能下降。由此可以看出:Dropout概率为0.3~0.6时能获得最优的测试误差。实际上,通常将Dropout概率设置为p=0.5值。

图 6. 隐藏节点数L=70条件下,Dropout概率对测试误差的影响

Fig. 6. Effect of Dropout probability on test error under number of hidden nodes L=70

下载图片 查看所有图片

3.4 测试误差实验

选用原始SCN以及L2正则化SCN模型作为对比进行实验,并使用固定的Dropout概率p=0.5,即λ=(1-p)/p=1。网络节点数量对测试误差的影响如图7所示。

为了验证相比SCN网络,Dropout-SCN的泛化能力确实有提升,给出3种学习者模型在不同节点数L下的测试均方差(RMSE)。随着节点数的增加,3种网络的测试均方差逐步下降,与其他2种模型相比较,Dropout-SCN拥有更低的测试误差,这说明了模型对光纤入侵信号拟合得更好。另一方面,该结果也表明Dropout-SCN模型的稳健性比其他两种模型有所提高,即Dropout-SCN网络的泛化性能更好,能够有效地抵制网络过拟合现象。

图 7. 3种网络模型的测试RMSE

Fig. 7. Test RMSE for three network models

下载图片 查看所有图片

3.5 对比实验

对SCN、L2正则化SCN、Dropout-SCN 3种网络在不同节点数L, Dropout概率为p=0.5的条件下做了大量实验,实验结果如表1所示。

表1展示了在节点数分别为50和70的情况下,3种网络模型对光纤信号的测试识别准确率。在节点数为50的情况下,SCN、L2正则化SCN、Dropout-SCN 3种模型正确预测样本的数量分别为214、217、222,其准确率分别为89.17%、90.42%、92.50%,与其他2个网络相比较,Dropout-SCN拥有更高的准确度。同样地,在节点数L=70的情况下,各个网络的测试性能继续提高,体现为正确预测样本数量的逐渐增加,分别为217、221、227,准确率也进一步上升,达到了90.42%、92.08%、94.58%。可以看到,在不同节点数量的情况下, Dropout-SCN光纤信号识别模型都表现出了比其他2种网络模型更高的识别精度。这说明Dropout-SCN能够提高OFPS对入侵信号的识别性能,并且有效地抵制了网络的过拟合,增强了识别模型的泛化能力。

4 结论

提出了一种基于Dropout方法的SCN模型(Dropout-SCN),用于减缓原始SCN存在的过拟合问题。通过理论证明:在SCN中使用Dropout技术等效于对原始SCN作不同权值约束的L2正则化。Dropout-SCN通过引入海森对角矩阵使得不同节点之间的标准差对输出权重大小进行了不同程度的权值约束。光纤数据实验结果表明:与原始SCN模型相比, Dropout-SCN能够降低光纤入侵信号约4%的测试误差,有效地提升了光纤预警系统的泛化性能。