1 引言

臭氧激光雷达是一种结合激光技术、光电技术和信号处理技术的观测技术,具有细节变化能力强、自动化程度高等优点,已被广泛应用于环境监测、空气质量预报和大气探测等方面。随着臭氧激光雷达在大气探测领域重要性的不断提升,激光雷达组网应运而生,提供了更多的大气探空数据。而雷达数据的质量对上述应用的准确性有重要的影响,只有进行质量控制,才能保证探测数据的可靠性,进而满足各种业务的应用需求。然而,臭氧激光雷达的发射系统和接收系统等硬件出现的故障,常常会导致错误探测数据的产生,这将直接影响回波数据的可靠性;异常的回波数据,也将会直接影响后续反演结果的准确性。

雷达数据质量控制方法研究,目前主要集中在对多普勒天气雷达等气象数据的数据质量控制方法的研究^[4-9],刘洋等^[10]研究了低盲区杂散光对激光雷达系统信号质量的影响,李博等^[11]研究了拉曼激光雷达测温的综合多级质量控制技术,而对臭氧激光雷达的数据质量控制方法的研究较少。在雷达硬件故障对数据的影响研究方面,潘新民等^[12]研究了多普勒雷达强度定标故障的回波特征和诊断方法,胡东明等^[13]对私服系统故障的回波特征进行了分析,这些研究主要是对故障原因的排除方法进行总结,并没有给出雷达故障数据的识别和控制方法。随着臭氧激光雷达站点的不断增加及雷达资料的广泛应用,故障数据对其他业务系统的影响也越来越大,因此对硬件故障导致的臭氧激光雷达数据质量控制的方法研究也就愈发紧迫和重要。

臭氧激光雷达作为一种长时间连续运行的设备,受工作环境和配件质量等因素的影响,硬件故障不可避免。臭氧雷达在外场的运行过程中出现的硬件故障主要包括:激光器能量下降、高反镜片损坏、光路失调、拉曼管损坏,这4种硬件故障占臭氧雷达所有硬件故障的90%以上。同样,出现的这些部件故障都会导致回波形态的异常。本文所用的大气臭氧探测激光雷达是由中国科学院安徽光学精密机械研究所自主研制的一款利用差分吸收技术探测大气中不同高度臭氧浓度的高精度设备。本文对大气臭氧探测雷达在2016年1月至2018年7月期间由雷达硬件故障导致的异常回波数据特征进行分析,经过统计,从2016年1月至2018年7月雷达正常开机时段,平均每年出现3~5次硬件故障。并给出了基于模糊逻辑^[1-3]的雷达硬件故障导致错误回波数据的质量控制方法。

2 硬件故障数据识别方法

硬件故障常常导致雷达数据回波形态和回波强度发生突变,与正常的回波相比,硬件故障导致的雷达数据错误具有突发性,常常使相邻的回波形态发生较大的变化,而正常的回波信号在时间和空间上的发展均具有一定的延续性。因此,通过相邻回波信号的回波特征参数的比较,可以较好地识别出数据的错误。同时,硬件故障导致的数据错误往往具有连续性,在故障排除前,这种错误数据将会持续存在。因此,还需要与临近的正常数据进行相关性比较才能识别出错误数据。

本研究利用Z/Z-和r这两个物理量来分析雷达数据,这两个物理量从不同方面反映了雷达回波数据的变化情况。Z为回波信号强度变化的平均绝对差,反映了相邻回波信号数据强度的变化情况:

Z=1n∑i=1nZA(i)-ZBi,(1)

式中:A和B分别代表两个回波信号,n为一条数据中的数据点个数,i为第i个数据点。r为相邻雷达回波信号的相关系数,反映回波波形的相似程度:

r=1n∑i=1nZA(i)-Z-AZB(i)-Z-B1n∑i=1n[ZA(i)-Z-A]21n∑i=1n[ZB(i)-Z-B]2,(2)

式中: Z-为连续正常回波数据上述参数的平均值(文中按相邻正常10条回波数据计算),表达式为

Z-A=1n∑i=1nZA(i),Z-B=1n∑i=1nZB(i)。(3)

Z/Z-反映相邻回波信号的强度变化程度,r反映相邻回波的相似度。通过与相邻正常回波数据的平均值比较,对数据质量进行判断。为了提高结果的可靠性,选取雷达在连续无硬件故障工作,且不同天气条件下的回波数据作为训练样本,来计算回波数据的Z/Z-及r的概率分布统计图。

图1所示为2016年至2018年臭氧激光雷达在不同天气条件下且雷达正常运行时的10692条回波数据的Z/Z-及r的概率分布统计曲线。可以看出,正常的雷达回波数据的Z/Z-的概率峰值在1附近,且曲线近似呈正态分布。r的概率峰值在0.9左右,且值多落在0.7~0.9之间,这是因为在雷达正常运行时相邻回波波形不会发生较大的变化。

图2所示为在相同天气条件下的1225条雷达硬件故障时回波数据的Z/Z-及r的概率分布统计曲线。可以看出最大概率处的Z/Z-的数值与图1相比增大,最小概率值在5左右;最大概率处的r的数值与图1相比,发生了较大的变化,r在0.8左右时概率有最大值,且很大一部分概率值大于0.95,这是由于随着硬件损坏程度的增加直至硬件被完全损坏,相邻回波波形不会再发生较大的变化即相关系数逐渐趋近于1。

图3所示为雷达无硬件故障和有硬件故障时的相关系数r随时间变化的曲线,可以看出,当雷达无硬件故障时,相邻回波信号之间的相关系数r变化较小,数值基本在0.7~0.9之间。当雷达出现硬件故障时,相邻回波信号之间的相关系数r变化较大,且随着时间的推移,相邻数据之间的相关系数

图 1. 无硬件故障数据的Z/Z-及r的概率统计分布曲线。(a) Z/Z-;(b) r

Fig. 1. Probability statistical distribution curves of Z/Z- and r of data without hardware failure. (a) Z/Z-; (b) r

下载图片 查看所有图片

图 2. 有硬件故障数据的Z/Z-及r概率统计分布曲线。(a) Z/Z-;(b) r

Fig. 2. Probability statistical distribution curves of Z/Z- and r of data with hardware failure. (a) Z/Z-; (b) r

下载图片 查看所有图片

图 3. 相关系数随时间变化

Fig. 3. Correlation coefficient versus time

下载图片 查看所有图片

r逐渐趋近于1。这是由于雷达出现硬件故障时,雷达硬件的损害程度是随着时间的推移逐渐变大的,且这种损害不可逆。硬件受损程度逐渐增加,直至该硬件完全受损,接收到的回波信号变化不大,因此相邻回波数据的相关系数慢慢趋近于1。

从图1和图2可以看出,正常数据和故障数据的Z/Z-及r的概率分布存在较大差异,依据这两个参量的概率分布,用梯形折线P_Z表示Z/Z-的隶属函数:

PZ=Z/(2Z-),Z/Z-<21,Z/Z-≥2,(4)

用抛物线分布的偏大型折线P_r表示r的隶属函数:

Pr=1,r<0.5r-0.50.4/2,0.5≤r≤0.91,r>0.9。(5)

Z/Z-及r对应的隶属函数曲线图如图4所示。

给予P_Z和P_r相等的权重,由此建立识别方程:

P=0.5Pz+0.5Pr,(6)

式中:P表示异常数据的概率。当P大于给定的阈值,如为0.52时,则判断该数据为错误数据。综上,硬件故障数据的检查可以通过(6)式和设定的阈值来判定。

图 4. Z/Z-及r对应的隶属函数曲线。(a) Z/Z-;(b) r

Fig. 4. Corresponding membership function curves of Z/Z- and r. (a) Z/Z-; (b) r

下载图片 查看所有图片

3 检验、误判分析及算法评估

3.1 检验

利用所提方法,对2016年1月至2018年7月连续工作期间,由中科院安光所自主研发的大气臭氧探测激光雷达出现的由雷达硬件故障导致的雷达故障数据进行识别检验,效果如表1所示,其中雷达无硬件故障正常运行的数据为10692条,出现不同类型硬件故障的数据为1225条,异常概率阈值为0.52。其中T_N、F_P、F_N、T_P分别表示故障数据判定为故障数据、故障数据判别为正常数据、正常数据判别为故障数据,及正常数据判别为正常数据的数据个数。

3.2 误判分析

由表1计算可知,所提方法对故障数据的识别率较高,达到93%,而对雷达正常运行时数据的误判率达到18%,误判率较高。这种较高的误判率对实现硬件故障的实时预警是不利的,会造成对仪器运行真实状态的误判,因此,降低误判率是必要的。通过对误判数据进行统计分析可以发现,被误判的1942条数据中有90%以上的回波数据具有图5所示的回波特征,其中有1003条数据具有图5(a)所示的回波特征,有544条数据具有图5(b)所示的回波特征,有201条数据具有5(c)所示的回波特征。其中P_PRR为距离矫正信号。

图 5. 误判数据的回波波形图。(a)云;(b)电子学故障;(c)沙尘

Fig. 5. Echo waveform of misjudged data. (a) Cloud; (b) electronic failure; (c) dust

下载图片 查看所有图片

从图5(a)可以看出,造成这种回波波形的原因是因为天空出现了云层,导致激光无法穿透云层;图5(c)是在重霾天气下,激光无法穿透霾层,从而导致信号没有拖尾。图5(b)这种回波信号产生的原因是臭氧雷达的电子学部件(包括采集箱和光电倍增管)受到了干扰,造成回波信号的基线不平,而这种回波信号通过肉眼无法轻易识别,从而错误地将其认为是正常信号。当出现这种情况时,相邻回波数据的Z/Z-及r也会发生较大变化。经验证,可以通过(6)式的识别算法识别出来,进而将其判断为硬件故障数据。因此,可以将544条基线上翘的数据从正常数据中剔除,将其归为硬件故障数据,如表2所示。

由表2可以得出,所提方法对雷达无硬件故障运行时数据的误判率虽然降低到了13.8%,但仍然较高。为了降低因天空出现云层和重霾而出现的误判概率,通过比较出现硬件故障时的数据和被误判为故障时的数据在300~500 m高度处的信噪比(SNR)均值和臭氧浓度均值这两个参数,以信噪比作为横轴,臭氧浓度(质量分数)为纵轴,得到图6所示的聚类分析图。

由图6可以看出,当臭氧激光雷达出现硬件故障时,在300~500 m高度区间的臭氧浓度均值发生了较大的抖动,由此通过信噪比大小来区分硬件故障数据和被误判数据,即由云或者霾造成的误判数据。当信噪比均值大于585时,有95%以上的数据为云或霾的回波数据;同时,当信噪比均值小于585时,也同样有95%以上的数据为硬件故障数据。因此,可以通过比较300~500 m高度处的信噪比均值大小来区分硬件故障数据与误判数据,降低误判率,阈值设为585。判别准则如下:在300~500 m高度上,当信噪比均值大于585时,判断此数据为无硬件故障时的数据,若信噪比均值小于585,则判断为有硬件故障时的数据。通过计算,可以得到在被误判为有硬件故障时的1398条数据中有1036条数据在300~500 m处的信噪比均值大于585,由此判断这1036条数据为正常数据,识别效果如表3所示。

图 6. 300~500 m高度处信噪比和臭氧浓度均值的聚类分析图

Fig. 6. Cluster analysis of mean value of SNR and ozone concentration at a height of 300~500 m

下载图片 查看所有图片

由表3可知,经过对误判数据的再次识别之后,误判率降为4%,可以极大地避免因天空有云或霾时对雷达运行状态的错误判断,进而可以很好地对因硬件故障导致的雷达非正常运行进行实时预警。

3.3 算法评估

通过一些评价指标来评价算法的好坏是一个很必要的工作,本研究采用以下评价指标来评估算法的好坏:准确率(P_Precision)、召回率(R_Recall)及综合评价指标(F_F1-Measure)。以上三个评价指标取值均在0~1之间,且当这三个值都较高时,说明该算法较为理想。准确率、召回率和综合评价指标的表达式分别为

PPrecision=TPTP+FPRRecall=TNTN+FNFF1-Measure=2PPrecisionRRecallPPrecision+RRecall。(7)

由(7)式及表1可以得出,准确率约等于0.98,召回率约等于0.96,而综合评价指标约等于 0.97。由此,判断该算法的识别效果较为理想。

因此,基于模糊逻辑的故障数据识别方法,对大气臭氧探测激光雷达硬件故障的大部分故障数据都能很好地识别。部分故障数据没有被准确地识别,这是因为当雷达回波强度和范围特征变化越大时,采用所提方法进行识别的效果也就越好。如果雷达硬件故障对回波波形的影响在合理的限度内,则可能导致对故障数据的漏识别。另外,阈值的选择也会对识别效果产生影响,阈值设置过高,会造成对故障数据的漏判。而对于由天空有云或有霾出现导致的对雷达运行状态的错误识别,可以通过比较300~500 m高度处的信噪比大小来降低误判率。

4 实验结果

为了验证上述方法对硬件故障的识别情况,对臭氧激光雷达在华东理工大学实验期间出现的一次已知的硬件故障进行识别。通过查阅外场维修记录发现,此次故障发生在2018年6月14日左右,取2018年6月11日至2018年6月14日硬件故障期间的411条数据(其中硬件故障数据为129条,正常数据为282条),采用上述方法进行识别检验,识别结果如表4所示。

由表4可以看出,在采用所提方法识别之后,对硬件故障的识别率达到93.02%,同时对正常数据的误判率仅为4.6%。当臭氧激光雷达出现硬件故障时,在硬件故障未排除之前,故障数据会连续出现。通过对120条被判别为故障数据的数据进行统计分析,其中有连续的112条数据出现在2018年6月13日14:35:09之后,由此可以判断在这个时间段左右有硬件故障的出现,这和外场维护记录相互印证,证明了所提方法在雷达硬件故障数据识别和雷达运行实时预警方面的可靠性。

5 结论

通过对大气臭氧探测激光雷达不同硬件故障的回波特征进行分析,发现雷达出现硬件故障,将会引起回波形态及强度的异常,且这种形态变化不可逆,在故障排除之前,将会一直存在,并可能会使得设备无法正常运行,最终导致数据缺失。因此,在数据完整的前提下,为了实现对臭氧激光雷达出现硬件故障时的数据质量进行控制,可以通过以下两步来实现:利用大气臭氧探测激光雷达回波形态和强度信息对故障数据进行识别,采用强度变化的平均绝对值差和相关系数这两个参数,通过与相邻的正常数据回波参数进行比较,可以较好地实现对大气臭氧探测激光雷达出现硬件故障时产生的回波形态和强度信息错误进行质量控制;为了降低对正常数据的误识别率,进一步提高故障识别率,通过比较误识别数据和因硬件故障导致的故障数据在300~500 m高度处的信噪比均值大小,及设置信噪比阈值的方式来识别其中的正常数据,从而降低了误判率,进一步提高了质控的效果。

所采用的方法也可以用于对雷达状态的实时监控,通过对回波数据信息进行分析,对数据的可用性进行判别,实现对雷达运行状态的实时预警,为及时发现故障、排除故障,及保证设备的正常运行提供参考。