基于长短时记忆神经网络的能谱核素识别方法

针对新兴的能谱核素识别方法在混合放射性核素的噪声环境中存在识别速度慢、准确率较低等问题，提出了基于长短时记忆神经网络（LSTM）的能谱核素识别方法。实验使用溴化镧（LaBr₃）晶体探测器，分别对环境中⁶⁰Co、¹³⁷Cs放射性源分组测量得到能谱数据集，首先使用数据平滑方法和归一化方法进行数据预处理，然后将能谱数据按时间序列分组以获得可用的输入序列数组，最后训练LSTM模型得到预测结果。通过基于BP神经网络和卷积神经网络（CNN）的两个能谱识别模型进行对比，得到在测试集中平均识别率分别为83.45%和86.21%，而LSTM能谱识别模型平均识别率为93.04%，实验结果表明，该能谱模型在核素识别效果中表现较好，可用于快速的能谱核素识别设备上。

Abstract

Energy spectrum data analysis is the main source of nuclide identification. Aiming at the slow recognition speed and low accuracy of the emerging energy spectrum nuclide identification method in the noisy environment of mixed radionuclides, an energy spectrum nuclide recognition method based on long short-term memory neural network (LSTM) is proposed. In the experiment, a LaBr₃ crystal detector was used to measure the ⁶⁰Co and ¹³⁷Cs radioactive sources in the environment to obtain a gamma spectrum data set. First, the experiment used data smoothing and normalization methods for data preprocessing. Then, the energy spectrum data was grouped in time series to obtain a usable input sequence array. Finally, the prediction results were obtained through the LSTM model. By comparing two energy spectrum recognition models based on BP neural network and convolutional neural network (CNN), the average recognition rates in the test set are 83.45% and 86.21% respectively, while the average recognition rate of the LSTM model is 93.04%. The experimental results show that the energy spectrum model has performed well in the nuclide identification and can be used in fast energy spectrum nuclide identification equipment.

核素识别技术为我国核能勘探起了关键性的作用，而核素识别大部分都是基于能谱数据进行研究的。传统核素识别的核心思想是寻找能谱中的全能峰，再通过计算峰面积、半高宽等基本信息，最后与核素库中核素能量进行对比，最终得到核素判别信息。但是基于传统寻峰核素识别方法在处理复杂能谱数据时，其误差较大，识别率较低，在真实噪声环境中不能得到很好的识别效果。

以上方法在实测能谱识别中主要存在两个问题：（1）在真实环境中，存在噪声和多种核素相互干扰，采集的能谱数据较复杂，处理分析能谱数据使用特征抽取方式容易丢失利于核素分类的信息，导致核素识别准确率下降；（2）如果将能谱数据的每一个道址值全部作为神经网络的输入，这样虽然保留了能谱的关键信息，但使得复杂的神经网络模型训练困难，模型计算训练时间开销过大，不利于快速核素识别。

因此，本文针对在真实环境中，低水平放射性核素产生峰形不显著的情况时，传统核素识别方法存在识别准确率低或者无法快速识别出核素等问题；在新兴的能谱核素识别方法中，基于BP神经网络的能谱核素识别方法会出现训练识别速度慢、准确率低等问题；在基于卷积神经网络的能谱核素识别方法中，池化层步骤会损失能谱数据部分有价值的信息，造成核素识别准确率较低等问题，故提出一种基于长短时神经网络的能谱识别方法。本文通过实际采集的能谱数据训练和测试，以验证该方法识别速度快，能谱核素识别准确率高，具有较好的鲁棒性。

1 方法理论模型

1.1 长短时记忆神经网络

长短时记忆神经网络（LSTM）是由Hochreiter和Schmidhuber在1997年为了解决传统的循环神经网络（RNN）模型难以学习到长期信息之间的依赖，容易造成梯度消失和梯度爆炸问题而提出来的 [6] 。近些年Alex Graves对该模型进行不断地改进优化，并在诸多领域得到很好的应用 [7] ，如音频、自然语言处理、情感分析、自动驾驶等领域 [8 - 12] 。LSTM模型能记住长期信息，对后面输出网络也能起到作用。

LSTM模型结构由一个神经元细胞组成，神经元细胞有多个时间状态。图1是三个不同时间状态下的LSTM模型结构，其中左侧为上一个时间状态，中间为当前时间状态，右侧为下一个时间状态。当前时间状态的输入数据来源于上一时间状态下的输出结果 ${{H_{t - 1}}}$和当前时间状态的输入 ${{X_t}}$， ${{H_t}}$是当前时间状态的输出， $ \sigma $是sigmoid激活函数， ${{tanh}}$是双曲线正切函数。 $ \otimes $为矩阵乘法操作， $ \oplus $为矩阵加法操作。

图 1. LSTM模型结构

Fig. 1. Long short-term memory neural network (LSTM) model structure

下载图片查看所有图片

LSTM模型对输入的数据进行选取添加和删除的过程中，其关键部分主要依靠三个门结构：遗忘门、更新门和输出门。遗忘门通过Sigmoid层决定丢弃或保留哪些数据。Sigmoid层主要是将数据压缩到0～1之间，数据值越接近于0就越容易被丢弃，反之越接近于1则越容易被保留，为此充当了门控作用。其数学表达式为

式中： $F_t $是遗忘门的输出值； $X_t $是当前时间输入值、 $X_{t - 1} $是前一个时间的输入值； $ W_{\rm{f}} $、 $ W_{\rm{f}} $是权重和偏置； $ \sigma $是sigmoid激活函数。

更新门主要用来筛选数据内容和选择数据更新到状态中，主要通过Tanh层和Sigmoid层来决定。在数据筛选的过程中，首先Sigmoid层可以根据数据值的分布，有选择的过滤掉当前时间节点数据和上一次时间节点数据。Tanh层则是将数据值转换为－1～1之间，其意义是为了防止神经网络在计算过程中数据值过大，从而起到控制作用，其数学表达式为

式中： $ I_t $和 $G_t $是更新门的输出值； $W_{\rm{i}} $和 $W_{\rm{g}} $是权重； $b_{\rm{i}} $和 $b_{\rm{g}} $是偏置；tanh是双曲正切激活函数。

输出门将当前记忆与长期记忆组合，再通过Sigmoid激活函数层判断该结果是否输出，依此传递给下个神经元细胞，其数学表达式为

式中： $ P_t $是输出门的输出值； $O_t $、 $ Z_t $是中间过程输出值； $ W_{\textit{z}} $和 $ b_{\textit{z}} $为权重和偏置。

由于真实能谱中数据并不是每一个道址数据都能对核素识别有作用，而利用三门结构可以对能谱数据有选择性的筛选，通过保留能谱数据上关键的道址数据，删除对分类无用的道址数据。依靠三门结构，可以很好地处理时序化的能谱数据，完成核素分类。

1.2 LSTM能谱模型设计

为了研究能谱数据中道址与道址计数之间可能存在一定的关系，本文设计了基于LSTM结构的能谱核素识别模型。 图2 是基于长短时记忆神经网络的能谱核素识别模型，其主要分为两个模块：数据预处理模块和LSTM神经网络模块。数据预处理模块是通过三点平滑和归一化后得到1024个道址数据，接着将该数据每隔32道址为一个时间序列，最终得到32组序列输出值。

图 2. 基于长短时记忆神经网络的能谱核素识别模型

Fig. 2. Spectral nuclide recognition model based on long short-term memory neural network

下载图片查看所有图片

由于真实环境中探测器采集的伽马能谱数据存在噪声干扰和统计涨落，采用数据平滑方法能够减少异常值的影响。数据平滑方式常用方法有重心平滑法、多项式最小二乘法、自适应滤波法等[13-15]。本文采用三点重心平滑方法，即把一维能谱数据从左至右进行求和取平均值得到重心值，滑动窗口区间为三个道址，如 ${\rm{X_1}}$、 ${\rm{X}}_2$和 ${\rm{X_3}}$为能谱道址对应的累积计数值，先将左边两道址 ${\rm{X_1}}$与 ${\rm{X}}_2$计数求和取平均值得到 ${\rm{Y_1}}$，再右边两道址 ${\rm{X}}_2$与 ${\rm{X_3}}$计数求和取平均值得到 ${\rm{Y_2}}$，最后把 ${\rm{Y_1}}$和 ${\rm{Y_2}}$和求和取平均值得到重心值 ${{\rm{Y}}_{1,2}}$。其数学表达式为

式中： $X_{i - 1} $为后一个道址数据值； $ X_i $为当前道址数据值； $X_{i + 1} $为前一个道址数据值； $\overline Y $为重心数据值。

数据归一化可以提高训练模型的收敛速度和精度，同时可以防止模型训练中梯度爆炸和梯度消失，提高模型的鲁棒性 [16] 。本文采用max-min全局归一化方法，使其能谱数据映射到[0,1]区间。其数学表达式为

式中： $ X $为当前道址数据值； $ X_{\min} $， $ X_{\max} $为全局道址数据值的最小值和最大值； $ Y $为得到的输出值。

LSTM神经网络模块中包含输入层、隐藏层和输出层。输入层为32组时间序列值，模型训练时，每组序列值按照先后顺序进行输入；隐藏层中的输入值不仅包含当前时间序列值，还通过逻辑门结构有选择性的保留上一次隐藏层的值；输出层使用dropout方法防止模型过拟合，其输出结果为最后一个时间节点核素识别的预测值，该值为核素定量的信息值，最后通过比较得到最大值来判断当前能谱数据属于哪种核素类型，从而达到核素识别效果。

2 实验过程及结果分析

2.1 实验环境配置

实验采用溴化镧（LaBr 3 ）晶体探测器，放射源为 60 Co、 137 Cs，探头与放射源之间的距离为1 cm，通过串口数据线将PC机与探测器连接通讯。测量环境为本地带噪声干扰的空气环境。实验训练和测试所用设备的配置为CPU英特尔酷睿i5-8400 @ 2.80 GHz六核；内存8 GB；显卡NVIDA GeForce GTX 1050 Ti。使用Tensorflow工具完成基于LSTM神经网络的能谱模型搭建工作。

2.2 实验步骤和结果

实验中用到两种核素放射源 60 Co、 137 Cs、与环境本底分别形成4种组合，分别是 60 Co、 137 Cs、 60 Co＋ 137 Cs和无放射源环境本底。在不同的测量时间5、10，20 s分别采集伽马能谱数据，每组每次生成50条样本，四种组合总计产生600条实验数据作为数据集。

LSTM模块中时间节点设置为32，有128个隐藏层单元数据，训练步数为120。 图3 为LSTM能谱模型的不同学习率收敛曲线，当学习率为0.01和0.00001时，损失函数难以收敛，而学习率为0.1时，收敛速度较慢，容易陷入局部最优解，当学习率为0.001和0.0001时，都具有较好的收敛趋势，其前者学习率比后者学习率的收敛速度要快，由上可知，学习率设为0.001时可达到最佳训练效果。

图 3. LSTM能谱模型的不同学习率收敛曲线

Fig. 3. Different learning rate convergence curves of LSTM energy spectrum model

下载图片查看所有图片

假设测试样本个数为 $ M $ ，通过能谱模型识别得到识别正确的样本为 $ T $ ，模型训练预测的次数为 $n $ ，则能谱核素识别的准确率

平均准确率

式中： $M_i $ 为第 i 次测试样本总数； $ T_i $ 为第 i 次识别正确样本总数。

根据LSTM能谱模型训练200个样本，再测试150个样本。 图4 是测量5 s时部分测试样本能谱数据图，可以看出所有能谱数据都带有环境噪声干扰。 表1 是图上四个测试样本中LSTM最后一个时间节点的能谱预测结果，从表中可以看出，样本预测的最大值都与正确的预测核素对应，因此当前四个核素能谱识别准确率为100%，验证了该能谱模型可以正确识别核素。

表 1. LSTM最后一个时间节点的能谱预测结果

Table 1. Energy spectrum prediction results of the last time node of LSTM

sample	prediction
sample	⁶⁰Co	¹³⁷Cs	⁶⁰Co＋¹³⁷Cs	no radioactive source
⁶⁰Co	17.25354004	−13.38463688	5.48915672	−8.59954166
¹³⁷Cs	−3.00819635	6.40356064	0.29465187	2.9503994
⁶⁰Co＋¹³⁷Cs	0.48095784	2.74640751	8.61173725	−5.41806173
no radioactive source	−0.71746081	−1.06083262	−3.47033572	8.91043949

查看所有表

图 4. 部分测试样本能谱数据图

Fig. 4. Energy spectrum data graphs of part of the test samples

下载图片查看所有图片

实验分为三种情况进行：第一种是训练集和测试集的样本数据为同一测量时间，来研究该模型是否对各种测量时间段累积的能谱数据都适用，其中训练集的数据为160个，测试集为40个，得到测试集平均准确率结果如 表2 所示；第二种是训练集和测试集的样本数据为混合测量时间，同时训练集数据分为480、360、240，其中测试集的个数为120，以此考验在少样本情况下，模型是否依然适用，测试集平均准确率结果如 表3 所示；第三种是训练集采用混合测量时间，测试集采用 60 Co、 137 Cs、 60 Co＋ 137 Cs和无放射源带噪声四种情况下连续测量到10 s，每种情况产生10个能谱数据，用以分析模型的鲁棒性，测试集平均准确率结果如 表4 所示。以上三种实验模型训练预测的次数都为120。

表 2. 相同测量时间的训练集和相同测量时间的测试集结果

Table 2. Results of the training set with the same measurement time and the test set with the same measurement time

sample measurement time/s	size of training set data	size of test set data	average accuracy/%
5	160	40	90.15
10	160	40	92.26
20	160	40	92.66

查看所有表

表 3. 混合测量时间的训练集和混合测量时间的测试集结果

Table 3. Results of training set and mixed measurement time test set with mixed measurement time

sample measurement time/s	size of training set data	size of test set data	average accuracy/%
5 s，10 s and 20 s mixed	480	120	92.37
	360	120	89.60
	240	120	90.96

查看所有表

表 4. 混合测量时间的训练集和连续测量时间的测试集结果

Table 4. Results of mixed measurement time training set and continuous measurement time test set

sample measurement time/s	size of training set data	size of test set data	average accuracy/%
5 s，10 s and 20 s mixed	480	40	92.07
	360	40	91.57
	240	40	88.05

查看所有表

2.3 实验分析和对比

由实验可知，LSTM能谱模型对于同一测量时间测试集的平均准确率达到90%以上，而对于少样本混合数据训练出来的模型准确率有下降趋势，由一定数量样本的混合模型在持续测量时间中，识别出核素依然比较稳定，体现了该模型的鲁棒性较好。

本文使用BP神经网络和CNN神经网络的能谱方法作对比实验，其中BP能谱模型中输入为1024个特征值；CNN的能谱模型有1个卷积层、1个池化层和1个全连接层，卷积核的高度和宽度都为5。

由BP神经网络的能谱模型的不同学习率收敛曲线 图5（a） 可知，学习率为0.1的收敛速度比学习率为0.01、0.001、0.0001和0.00001的收敛速度较快，不容易陷入局部最优解，本文要使得BP神经网络的能谱模型达到较低的损失值和较快的收敛速度，故选择学习率为0.2来达到较好的训练效果。 图5（b） 为CNN的能谱模型的不同学习率曲线，当学习率为0.1和0.01时，模型训练时容易出现梯度爆炸现象，故而研究学习率为0.001、0.0001和0.00001。从图中可以得出，学习率为0.00001的收敛速度过慢，而在CNN的能谱模型的训练初期，学习率为0.001的收敛速度比学习率0.0001的收敛速度要快，最终损失函数值较低，因此选用学习率为0.001。

图 5. BP和CNN能谱模型的学习率收敛曲线图

Fig. 5. The learning rate convergence curve of BP and CNN energy spectrum models

下载图片查看所有图片

通过训练集损失曲线 图6（a） 和训练集准确率 图6（b） 结果可以看出，三者模型最终都能实现分类效果。其中，BP神经网络和CNN的能谱模型收敛速度较慢，而LSTM能谱模型只需较少的训练时间就能够达到较高的准确率， 表5 是三者模型之间训练集准确率达到100%时所需的训练步数和训练时长。从表中得知，当训练集的准确率相同时，基于LSTM的能谱模型比其他两种的能谱模型训练步数少且训练时间短，说明该模型训练时长短，识别准确率高。 表6 为各模型识别准确率，与BP神经网络能谱和CNN能谱模型进行对比，实验通过随机生成三组不同的150条训练样本和200条测试样本，并分别进行120次迭代训练与预测，最终得到三组数据的平均准确率分为83.45%和86.21%，而LSTM能谱模型为93.04%，验证了LSTM能谱模型在能谱核素识别上的优势。

图 6. 各模型的训练集损失曲线和准确率

Fig. 6. The training set loss curve and accuracy curve of each model

下载图片查看所有图片

表 5. 准确率达到100%所需训练步数和训练时长

Table 5. Training steps and training time required to achieve 100% accuracy

model name	training steps	training time /min
BP	67	73.10
CNN	66	72.78
LSTM	40	35.26

查看所有表

表 6. 各模型识别准确率

Table 6. Recognition accuracy of each model

model name	accuracy of data set 1/%	accuracy of data set 2/%	accuracy of data set 3/%
BP	83.74	83.59	83.04
CNN	86.05	85.83	86.73
LSTM	93.56	92.13	93.44

查看所有表

3 结　论

本文提出了基于长短时记忆神经网络的能谱核素识别方法，通过对能谱数据平滑和归一化处理，提升了LSTM能谱模型的训练效果和模型泛化的能力。在真实环境情况下，通过相同测量时间的训练集和相同测量时间的测试集实验、混合测量时间的训练集和混合测量时间的测试集实验以及混合测量时间的训练集和连续测量时间的测试集实验验证该方法，同时与基于BP神经网络的能谱核素方法和基于CNN的能谱核素方法进行了对比，结果表明：（1）该模型对训练样本的数量有一定的要求，实验上表现为当训练样本的数量下降时，模型预测的准确率也随之下降；（2）在相同训练和测试集的实验中，该模型比基于BP和CNN的能谱模型准确率都要高，所用识别的总时间要短。本文的LSTM能谱模型在少量单一放射性元素和混合放射性元素中识别效果显著，对于多放射性核素复杂的混合组合将在下一阶段进行研究，模型也有待于进一步优化和提高。

参考文献

[1] Liang Chen, Yi Xiangwei. Nuclide identification algorithm based on K–L transform and neural networks[J]. Nuclear Inst and Methods in Physics Research A, 2009, 598(2): 450-453.

[2] 王一鸣, 魏义祥. 基于模糊逻辑的γ能谱核素识别[J]. 清华大学学报(自然科学版), 2012, 52(12):1736-1740. (Wang Yiming, Wei Yixiang. Fuzzy logic based nuclide identification for γ ray spectra[J]. Journal of Tsinghua University(Science and Technology), 2012, 52(12): 1736-1740

[3] 问斯莹, 王百荣, 肖刚, 等. 基于序贯贝叶斯方法的核素识别算法研究[J]. 核电子学与探测术, 2016, 36(2):179-183. (Wen Siying, Wang Bairong, Xiao Gang, et al. The study on nuclide identification algorithm based on sequential Bayesian analysis[J]. Nuclear Electronics and Detection Technology, 2016, 36(2): 179-183

[4] 张江梅, 季海波, 冯兴华, 等. 基于稀疏表示的核素能谱特征提取及核素识别[J]. 强激光与粒子束, 2018, 30:046003. (Zhang Jiangmei, Ji Haibo, Feng Xinghua, et al. Nuclide spectrum feature extraction and nuclide identification based on sparse representation[J]. High Power Laser and Particle Beams, 2018, 30: 046003

[5] 胡浩行, 张江梅, 王坤朋, 等. 卷积神经网络在复杂核素识别中的应用[J]. 传感器与微系统, 2019, 38(10):154-156, 160. (Hu Haohang, Zhang Jiangmei, Wang Kunpeng, et al. Application of convolutional neural networks in identification of complex nuclides[J]. Transducer and Microsystem Technologies, 2019, 38(10): 154-156, 160

[6] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9: 1735-1780.

[7] Graves A, Jaitly N, Mohamed A. Hybrid speech recognition with deep bidirectional LSTM[C]IEEE Wkshop on Automatic Speech Recognition Understing. 2013.

[8] Hayashi T, Watanabe S, Toda T, et al. Duration-controlled LSTM for polyphonic sound event detection[J]. IEEE ACM Transactions on Audio, Speech and Language Processing, 2017, 25(11): 2059-2070.

[9] 任智慧, 徐浩煜, 封松林, 等. 基于LSTM网络的序列标注中文分词法[J]. 计算机应用研究, 2017, 34(5):1321-1324, 1341. (Ren Zhihui, Xu Haoyu, Feng Songlin, et al. Sequence labeling Chinese word segmentation method based on LSTM networks[J]. Application Research of Computers, 2017, 34(5): 1321-1324, 1341

[10] Ran J. A self-attention based LSTM network for text classification[J]. Journal of Physics: Conference Series, 2019, 1207: 12008.

[11] 梁军, 柴玉梅, 原慧斌, 等. 基于极性转移和LSTM递归网络的情感分析[J]. 中文信息学报, 2015, 29(5):152-159. (Liang Jun, Chai Yumei, Yuan Huibin, et al. Polarity shifting and LSTM based recursive networks for sentiment analysis[J]. Journal of Chinese Information Processing, 2015, 29(5): 152-159

[12] 季学武, 费聪, 何祥坤, 等. 基于LSTM网络的驾驶意图识别及车辆轨迹预测[J]. 中国公路学报, 2019, 32(6):34-42. (Ji Xuewu, Fei Cong, He Xiangkun, et al. Intention recognition and trajectory prediction for vehicles using LSTM network[J]. China Journal of Highway and Transport, 2019, 32(6): 34-42

[13] 祝强, 李少康, 徐臻. LM算法求解大残差非线性最小二乘问题研究[J]. 中国测试, 2016, 42(3):12-16. (Zhu Qiang, Li Shaokang, Xu Zhen. Study of solving nonlinear least squares under large residual based on Levenberg-Marquardt algorithm[J]. China Measurement and Test, 2016, 42(3): 12-16

[14] 高伟伟, 王广龙, 陈建辉, 等. 多尺度变步长最小均方自适应算法在光纤陀螺数据处理中的应用[J]. 强激光与粒子束, 2014, 26:071002. (Gao Weiwei, Wang Guanglong, Cheng Jianhui, et al. Application of multiple-scale variable step least mean square adaptive algorithm to fiber optic gyroscope data processing[J]. High Power Laser and Particle Beams, 2014, 26: 071002

[15] Li Q, Huang Y, Song X, et al. Moving window smoothing on the ensemble of competitive adaptive reweighted sampling algorithm[J]. Spectrochimica Acta. Part A, Molecular And Biomolecular Spectroscopy, 2019, 214: 129-138.

[16] Bolstad B M, Irizarry R A, Astrand M, et al. A comparison of normalization methods for high density oligonucleotide array data based on variance and bias[J]. Bioinformatics, 2003, 19(2): 185-193.

王瑶, 刘志明, 万亚平, 欧阳纯萍. 基于长短时记忆神经网络的能谱核素识别方法[J]. 强激光与粒子束, 2020, 32(10): 106001. Yao Wang, Zhiming Liu, Yaping Wan, Chunping Ouyang. Energy spectrum nuclide recognition method based on long short-term memory neural network[J]. High Power Laser and Particle Beams, 2020, 32(10): 106001.