基于Inception网络的好奇号火星车地面标样LIBS光谱定量建模

传统的多变量分析方法是LIBS定量建模的主要手段，但光谱的输入维度较高，很多算法需要提前对光谱进行降维或特征谱线提取，导致部分信息丢失，影响准确率.针对该问题，本文引入以深度卷积神经网络Inception为基础的定量建模方法，算法设计时将原有常规的2D卷积网络改造为1D卷积网络以实现光谱信息的全谱输入和特征提取.该方法不仅不需要对原始光谱的降维操作，且其他的预处理如滤波等操作亦可以省略.经多次实验，训练次数为2 000次时具有较好的预测结果，同时并不会出现明显的过拟合现象.此时其平均决定系数（R²）为0.957 9，其均方根误差相比多元线性回归方法平均降低了61.69%，与深度学习方法AlexNet对比也获得较好结果.

Abstract

The traditional multivariate analysis method is the main method for quantitative modeling of LIBS spectral datasets, but the input dimension of the spectrum is relatively high. Reducing the dimension of the spectrum and extracting the characteristic spectral line in advance is needed by many algorithms, which results in partial loss of information and affects the accuracy. Aiming at this issue, a quantitative modeling method based on deep convolutional neural network inception is introduced, and the conventional 2D convolutional network is transformed into 1D form to realize full spectrum input and feature extraction of spectral information. Not only there is no need to reduce the dimension of the original spectrum in this method, but also it omits other preprocessing operations such as filtering. Through many experiments, when the number of training is 2 000, it has a good prediction result with no obvious overfitting phenomenon. Its average coefficient of determination (R²) is 0.957 9, and its root mean square error is reduced to 61.69% of those by Partial Least Squares Regression (PLSR). Compared with PLSR and the AlexNet deep learning method the proposed method both gets better results.

0 引言

激光诱导击穿光谱(Laser-induced Breakdown Spectroscopy，LIBS)作为一种原子发射光谱分析技术，通过激光聚焦进行高温烧蚀使目标表面气化产生等离子体，收集得到等离子体发射光谱，可以定性和定量的分析样品 [1] .LIBS除了具有快速、损伤小和远程分析的优点外，还可以灵活地去除岩石表面的灰尘及风化层，使其非常适合行星探测中的岩石及土壤的分析 [2] .2012年登陆火星的好奇号(Curiosity)火星车所携带的化学相器(ChemCam)是第一台用于行星探测的LIBS设备.其使用Nd:KGW激光光源(1 067 nm)，可用于分析最远7 m的目标 [3 - 4] .2020年我国首次火星探测任务也预计携带激光诱导击穿光谱仪器对火星表面物质成分进行探测.

传统方法特别是多变量分析方法在光谱的分析中取得较好的结果，但均需要对光谱预处理，且多数方法只适合降维或谱线筛选后的数据信息为输入，不利于基体效应的消除，准确性有待提高.所以，当前研究的关键问题是针对LIBS获得的光谱分析，建立准确的元素成分反演模型.自由标定法(Calibration-free Laser-induced Breakdown Spectroscopy, CF-LIBS)和校正曲线方法(Calibration Curve, CC)是传统常用的定量校准建模的策略 [5 - 8] .然而，由于LIBS接收的光谱信息较多，且光谱存在基体效应干扰，使用传统方法处理光谱获得的数据准确度并不理想有待提高.近几年更多的研究内容关注多变量分析方法的设计，其主要优势在于多变量方法可以同时考虑不同波长的输入信息，这可以有效地减少基体效应等不确定因素的影响 [9] .EI HADDAD J设计了3层神经网络，优化了谱线选取方案后针对土壤含量的定量分析建立了分析模型 [10] .偏最小二乘回归(Partial Least Squares Regression, PLSR)及其改进方法也常被用于LIBS定量分析，CLEGG S M等将偏最小二乘(Partial Least Squares, PLS)和独立主成分分析(Independent Component Analysis, ICA)算法结合，校准标样用于预测SiO 2 、TiO 2 、Al 2 O 3 、FeO T (包含铁单质及铁氧化物)、MgO、CaO、Na 2 O、K 2 O含量 [2, 11, 12] .

随着深度学习技术的快速发展，其展现出了在处理大量数据，寻找隐含特征方面的优势.鉴于深度学习结构多用于图像处理和分析，且多是基于二维卷积网络设计的分类和识别问题，较少有针对一维光谱数据的定量拟合的深度学习方法设计.偶有1D网络提出，却大部分用于医学电信号、振动、电压等领域，对地质或行星领域LIBS较少，所以本文采用一种利用深度学习的一维Inception模型处理ChemCam标样的LIBS光谱数据.将原本用于处理二维图像数据的Inception模型设计为可处理一维光谱数据的模型，同时修改卷积、池化规模使其适应一维数据处理.此模型在处理光谱数据时无需对光谱进行预处理，所有光谱特征将被输入并分析，最终获得的结构对比于其他传统方法有着显著改善.

1 LIBS实验数据集

美国国家航空航天局行星数据系统(National Aeronautics and Space Administration Planetary Data System, NASA PDS)提供的光谱所使用的LIBS设备与好奇号所携带ChemCam设备相同.使用三台2 048通道光谱仪(240.1~342.2 nm，382.1~469.3 nm，474.0~906.5 nm)，Nd:KGW 1 067 nm激光脉冲宽度为5 ns，脉冲能量为14 mJ，脉冲频率为3 Hz，光斑尺寸约为350 μm.该载荷被部署于一个仿火星大气环境的实验室中(在真空环境中额外注入压强为933 Pa的二氧化碳)，与被测样品距离约1.5 m [3 - 4] .这套标样光谱是LIBS设备对每个样品上不同的五个点各发射50次脉冲，并记录光谱获得的 [3 - 4] .每一个样品，大约记录了250条左右光谱，每条光谱包含6 144个通道.获得的光谱波长范围涵盖240~906 nm范围.

NASA PDS中一共包含了超过400种样品的光谱数据，筛选其中主要提供成分信息含量的379个样本.这些样品是地质化学参考组合，包含了玄武岩、长石晶体、高锰物质等众多样本.由多个研究机构及实验室提供 [11] .每个样品均被碾压成粉末，自身充分混合后再被挤压成圆片，以尽可能保证样品质地均匀.但为尽可能模拟好奇号所处的环境，样品中的几种玻璃物质并没有经过上述处理 [11] .为了对NASA PDS光谱进行定量分析，寻找光谱与物质成分的联系，本文选取了样本中的8种主量元素成分进行分析，分别为SiO 2 、TiO 2 、Al 2 O 3 、FeO T (包含铁单质及铁氧化物)、MgO、CaO、Na 2 O、K 2 O. 图 1 为各样品中目标成分的占比，图中横坐标为样品编号，纵坐标为当前成分所占总物质的比例.

图 1. 样品含量分布

Fig. 1. Distribution of sample content

下载图片查看所有图片

由于元素种类的多样性和丰富度的差异，样品的成分差异非常大. 图 2 为所使用的379个样品中各成分含量最大值范围.Si作为主要的成岩元素，含量分布在0%~98%的范围内.但同时Ti的最大丰度仅为6.94%，这表明了元素间含量差异较大.

图 2. 标准样品中的8种主要成分的含量最大值

Fig. 2. Distribution of 8 main components in standard samples

下载图片查看所有图片

2 Inception网络

2.1 Inception基本原理

卷积神经网络(Convolutional Neural Networks, CNN)是当前机器学习领域的热门算法，在计算机视觉领域取得了优异的性能.CNN从90年代的LeNet开始，直到2012年AlexNet开始又再次被关注，从ZF Net到VGG，GoogLeNet再到ResNet和最近的DenseNet，网络越来越深，架构越来越复杂.与传统神经网络等相比CNN网络具有稀疏连接和权值共享、卷积操作、池化等操作，这些极大改善了节点增加时网络性能下降的问题.

卷积操作过程如 图 3 ，其基础运算就是对两个矩阵进行点积运算.过滤器F (也叫卷积核)以一定步长 m 在输入矩阵M上移动，两者进行点积运算，得到右侧的输出矩阵O.

图 3. 常规卷积网络结构

Fig. 3. Regular convolutional network structure

下载图片查看所有图片

在卷积神经网络的情况下，卷积的输出将通过激活函数使输出呈现非线性.常用的激活函数为RELU函数，如式(1) [13] .它可以有效克服梯度消失问题和加快训练速度.池化层经常是紧跟卷积层，用于调整输出的结果和减小模型的大小.池化层的增加，增加了计算的速率和模型的运算效率.常用的池化方法以最大池化和均值池化为主.

Inception是一种基于CNN网络的深度学习网络，其具有卷积层、池化层、全连接层、dropout层和输出层.Inception主要解决多卷积层堆叠参数过多的问题，该网络设计一种具有优良局部拓扑结构的网络，即对输入图像并行地执行多个卷积运算或池化操作，并将所有输出结果拼接为一个非常深的特征图.Inception网络通常由数个Inception模块串联构成， 图 4 为单独的Inception模块.它使用3个不同大小的滤波器(1\times1、3\times3、5\times5)对输入执行卷积操作，此外它还会执行最大池化.所有子层的输出最后会被级联起来，并传送至下一个Inception模块.

图 4. 单一的Inception模块结构

Fig. 4. Single inception module structure

下载图片查看所有图片

2.2 网络结构设计

由于本文中的输入为一维光谱数据，而原本的Inception网络输入为二维图像数据，故本文中的卷积核相应由二维结构改为一维结构，即由1\times1、3\times3、5\times5改为1\times1、1\times3、1\times5，如 图 5 .

图 5. 二维卷积核与一维卷积核对应关系

Fig. 5. The corresponding one dimensional convolution kernel of two dimensional convolution kernel

下载图片查看所有图片

另外，本文使用了Inception V2结构，其区别于Inception V1的地方是其使用了两个1\times3卷积来代替原来的1\times5卷积，这一改变更多是为了加速程序运行而非改善结果 [14] .目前，基于Inception模型还存在V3、V4等结构，在后续结构中，二维卷积运算被两个连续的一维卷积运算所取代 [15 - 16] .但在本文中，输入数据即为一维数据，无法再次降维，故本文使用了V2结构，未使用后继结构.在卷积层之后，设置了一个全连接层，各卷积核的卷积结果在通道上合并，作为全连接层的输入，再经过隐含层，最终输出目标成分的含量.为减少过拟合，全连接层包含dropout机制 [17] .卷积层和全连接层的激活函数均为 L eakyReLU 函数，此函数既能引入非线性因素，增强网络整体表征能力 [18] .同时相比 R eLU 函数， L eakyReLU 的负轴为一较小值但不为零，这就使得其能保留部分负轴的信息，不会像 R eLU 全部丢失 [17] ，如 图 6 . 图 7 为本文中的Inception网络结构的具体情况.

图 6. R_eLU激活函数与L_eakyReLU激活函数曲线比较

Fig. 6. The curves of R_eLU activation function compared with L_eakyReLU activation function

下载图片查看所有图片

图 7. Inception模型结构

Fig. 7. Inception model structure

下载图片查看所有图片

式中， a 为超参数，应取值为某一较小的正数，本文中取值0.2 [18] .

3 结果与分析

本文实验环境为Windows10操作系统，PyCharm IDE，Python3.5，使用Tensorflow框架.使用了从NASA PDS中抽取的38 000条光谱数据.再打乱光谱顺序，取前80%用于训练集，后20%用于测试集.

同时使用了传统多元线性回归方法中的偏最小二乘回归(Partial least Squares Regression, PLSR)方法 [19] ，以及另一种深度学习方法AlexNet网络处理光谱数据 [20] ，并比较三者的结果.本文选择了两种评估指标，均方根误差(Root Mean Squared Error，RMSE)和决定系数 R 2 (coefficient of determination).具体计算表达式为

式中，y、${\hat y} $分别是实际值和预测值，y是y的平均值，N则是样本数量.RMSE越小，则估计值总体越接近实际值，若RMSE等于0，则估计值与实际值完全相等.R2越接近1，则估计值总体越接近实际值，若R2等于1，则估计值与实际值完全相等.

表 1 为实验所得数据，通过对比发现对于除TiO 2 以外的目标成分进行预测，Inception都能得到最小的预测均方根误差(Root Mean Squared Error of Prediction, RMSEP)和最接近1的 R 2 . 图 8 为根据RMSEP和 R 2 生成的柱状图.可见，相比其他两种方法，Inception方法同时具有更小的RMSEP数值和更接近1的决定系数值.这说明，相比于PLSR和AlexNet，Inception方法的预测值整体更接近于真实值.

表 1. 三种方法的RMSEP与R²对比结果

Table 1. The comparison of RMSEP and R² of three methods

	Inception		PLSR		AlexNet
	RMSEP	R²	RMSEP	R²	RMSEP	R²
SiO₂	3.270 61	0.964 895	7.227 67	0.828 18	8.781 44	0.746 93
TiO₂	0.267 647	0.848 232	0.478 949	0.524 487	0.259 748	0.857 058
Al₂O₃	1.397 96	0.951 102	3.222 07	0.744 562	5.849 8	0.143 783
FeO_T	1.358 98	0.986 855	3.987 35	0.883 053	5.797 35	0.760 786
MgO	0.858 583	0.986 729	2.802 8	0.861 796	2.316 29	0.903 414
CaO	0.876 158	0.990 802	2.796 82	0.904 873	4.863 31	0.716 599
Na₂O	0.374 005	0.987 738	1.450 29	0.850 364	1.445 77	0.816 767
K₂O	0.412 062	0.947 211	1.028 18	0.675 243	0.602 946	0.886 974

查看所有表

图 8. 三种方法RMSEP和R²柱状图对比

Fig. 8. The bar map comparison of RMSEP and R² of three methods

下载图片查看所有图片

Ti元素获取的结果比AlexNet稍差比传统方法还是有很大提升，这里主要考虑是由于未进行离群点处理的情况下，测试集的随机性会对其有结果有一定影响.且因为本文所选择的八种目标成分既包括含量高于50%的成分，也包括含量小于3%的成分，并且即便是同种目标成分，在不同样品中含量也会有较大差别.因此可以认为，Inception方法对于不同含量、不同光谱特征的成分进行预测时，都能取得较好结果.

由 图 8 可知，和Inception同样属于深度学习方法的AlexNet对比于PLSR却并没有明显优势.在预测TiO 2 、MgO、K 2 O含量时，AlexNet具有较PLSR更好的结果，但在预测SiO 2 、Al 2 O 3 、FeO T 含量时，PLSR具有更好的结果.可见并非深度学习方法就一定优于多元线性回归方法.然而比较计算结果可见，Inception普遍具有更优于PLSR、AlexNet的计算结果.故可以认为，针对处理LIBS光谱的任务，Inception较部分多元线性方法和部分深度学习方法都更占优势.

图 9 中横坐标为目标成分实际含量，纵坐标为预测含量，括号中数字为此种方法的 R 2 .图中直线为1:1直线，若点越接近1:1直线，则预测值越接近真实值.为便于观察，三种方法的测试集中各随机抽取了300条结果用于作图.可见相比PLSR和AlexNet，Inception结果点更集中于1:1直线附近.

图 9. 真值-预测值1:1曲线对比

Fig. 9. True-predictive value 1:1 comparison curves

下载图片查看所有图片

由 图 9 可知，Inception方法与PLSR方法预测值整体趋势基本一致，但AlexNet方法在高浓度时预测值普遍低于实际值.主要原因可能是AlexNet网络中存在数个最大池化层，而最大池操作把一块区域中不同的光谱值全部用最大值代替，可能会导致模糊光谱特征，进而导致网络修正参数能力下降.但是预测对象的数值越大，要求参数变化的范围越大，越需要更强的网络修正参数的能力.所以池化造成的特征模糊将会影响预测值，尤其是高浓度预测值由于数值本身更大会受到更严重的影响.同时，由于总体样本中含量低的样本占比更大，最终表现为高浓度下预测值普遍低于实际值.关于深度学习网络在某些浓度下的准确度下降问题将作为后续工作的研究重点.

4 结论

使用Inception方法对ChemCam的LIBS光谱进行化学成分定量分析建模，并分析了主要元素的含量信息.该方法无需原始光谱的预处理操作，同时也不需要对原始光谱进行降维.多通道信息的输入最大地保留了原始光谱信息，明显地消除了基体效应的影响，可以获得更为准确的结果.相比于传统线性回归方法和其他结构的深度学习方法，无论对大量成分还是微量成分进行定量分析，Inception方法都能取得更好的结果.经多次实验，与PLSR及AlexNet对比，在决定系数(R 2)和RMSEP均取得较好的效果.

参考文献

[1] ZHANG Ting-ting, 章婷婷, 舒嵘, SHU Rong, LIU Peng-xi, 刘鹏希. 远程激光诱导击穿光谱技术分析岩石元素成分[J]. 光谱学与光谱分析, 2017, 37(2): 594-598.

[2] WIENS R C, MAURICE S, LASUE J. Pre-flight calibration and initial data processing for the ChemCam laser-induced breakdown spectroscopy instrument on the Mars Science Laboratory rover[J]. Spectrochimica Acta Part B:Atomic Spectroscopy, 2013, 82: 1-27.

[3] MAURICE S, WIENS R, SACCOCCIO M. The ChemCam instrument suite on the Mars Science Laboratory (MSL) rover:Science objectives and mast unit description[J]. Space Science Reviews, 2012, 170(1-4): 95-166.

[4] WIENS R C, MAURICE S, BARRACLOUGH B. The ChemCam instrument suite on the Mars Science Laboratory (MSL) rover:Body unit and combined system tests[J]. Space Science Reviews, 2012, 170(1-4): 167-227.

[5] DAVARI S A, TAYLOR P A, STANDLEY R W. Detection of interstitial oxygen contents in Czochralski grown silicon crystals using internal calibration in laser-induced breakdown spectroscopy (LIBS)[J]. Talanta, 2019, 193: 192-198.

[6] FU Hong-bo, NI Zhi-bo, WANG Hua-dong. Accuracy improvement of calibration-free laser-induced breakdown spectroscopy[J]. Plasma Science and Technology, 2018, 21(3): 34001.

[7] FU Hong-bo, WANG Hua-dong, JIA Jun-wei. Standard reference line combined with one-point calibration-free laser-induced breakdown spectroscopy (CF-LIBS) to quantitatively analyze stainless and heat resistant steel[J]. Applied Spectroscopy, 2018, 72(8): 1183-1188.

[8] DE OLIVEIRA BORGES F, OSPINA J U, DE HOLANDA CAVALCANTI G. CF-LIBS analysis of frozen aqueous solution samples by using a standard internal reference and correcting the self-absorption effect[J]. Journal of Analytical Atomic Spectrometry, 2018, 33(4): 629-641.

[9] CLEGG S M, SKLUTE E, DYAR M D. Multivariate analysis of remote laser-induced breakdown spectroscopy spectra using partial least squares, principal component analysis, and related techniques[J]. Spectrochimica Acta Part B:Atomic Spectroscopy, 2009, 64(1): 79-88.

[10] EL HADDAD J, VILLOT-KADRI M, ISMAEL A. Artificial neural network for on-site quantitative analysis of soils using laser induced breakdown spectroscopy[J]. Spectrochimica Acta Part B:Atomic Spectroscopy, 2013, 79: 51-57.

[11] ANDERSON R B, CLEGG S M, FRYDENVANG J. Improved accuracy in quantitative laser-induced breakdown spectroscopy using sub-models[J]. Spectrochimica Acta Part B:Atomic Spectroscopy, 2017, 129: 49-57.

[12] CLEGG S M, WIENS R C, ANDERSON R. Recalibration of the mars science laboratory ChemCam instrument with an expanded geochemical database[J]. Spectrochimica Acta Part B:Atomic Spectroscopy, 2017, 129: 64-85.

[13] GLOROT X, BORDES A, BENGIO Y. Deep sparse rectifier neural networks[J]. Aistats, 2011, 15: 315-323.

[14] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]. Proceedings of the IEEE Conference on Computer Vision Pattern Recognition, 2015: 19.http:www.oalib.compaper4068635

[15] SZEGEDY C, IOFFE S, VANHOUCKE V. Inception-v4, inception-resnet and the impact of residual connections on learning[J]. Arxiv Preprint, 2016.

[16] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture f computer vision[DBOL]. Arxiv Preprint, 2015 arXiv: 1512.00567.

[17] SRIVASTAVA N, HINTON G, KRIZHEVSKY A. Dropout:a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[18] XU Bing, WANG Naiyan, CHEN Tianqi, et al. Empirical evaluation of rectified activations in convolutional wk[DBOL]. Arxiv Preprint, 2015, arXiv: 1505.00853.

[19] ABDI H. Partial least square regression (PLS regression)[J]. Encyclopedia for Research Methods for the Social Sciences, 2003, 6(4): 792-795.

[20] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Image classification with deep convolutional neural wks[C]. Neural Infmation Processing Systems Conference, 2012: 10971105.https:dl.acm.gdoi10.55552999134.2999257

张乐豪, 张立, 武中臣, 张承进, 凌宗成, 韩凉, 曹学强. 基于Inception网络的好奇号火星车地面标样LIBS光谱定量建模[J]. 光子学报, 2020, 49(6): 0630002. Le-hao ZHANG, Li ZHANG, Zhong-chen WU, Cheng-jin ZHANG, Zong-cheng LING, Liang HAN, Xue-qiang CAO. Quantitative Modeling for Earth Sample's LIBS Spectra of Curiosity Rover Based on Inception Network[J]. ACTA PHOTONICA SINICA, 2020, 49(6): 0630002.