1 引言

土壤水分在调节陆地-大气间水热传输、能量交换中起着重要作用,深刻影响着气候条件的时空变化^[1]。土壤含水量(SMC)是水文、生态、农业等研究领域中最易发生变化的参数之一,对干旱、半干旱区域绿洲农业、绿色生态和水资源管理等具有重要意义^[2]。因此,为了满足干旱区农业对SMC的精准管理与实时监测,需要采用比传统方法更具有高效性与精准性的新的观测手段。可见光-近红外(Vis-NIR)光谱技术能捕捉到光谱土壤性质中的微小差异,具有高效、易用等特性,在SMC研究中得到广泛了应用^[3-4]。根据土壤Vis-NIR光谱曲线在1400 nm与1900 nm附近对SMC变化的响应规律,利用定量建模手段可以有效地对SMC进行估算预测^[5]。然而,土壤Vis-NIR光谱的噪声增加了挖掘信息的难度,且SMC与土壤光谱之间存在非线性、异方差性等复杂关系^[6]。因此,优选变量以及利用新的方法提高模型精度、稳定性与泛化性是反演预测SMC的热点。

目前,许多研究都是以线性模型进行光谱定量反演的,且模型训练及筛选均基于偏最小二乘(PLSR)^[7]、光谱变换^[8]等简单方法,在定量表达特征波段和SMC的相关性、改善模型稳健性、降低模型过程冗杂度等方面仍待优化。机器学习能综合考量SMC光谱响应,并优化复杂过程,提高预测精度。其中的BP神经网络(BPNN)、随机森林回归(RFR)和极限学习机(ELM)在解析非线性问题时的表现较好,是建模反演研究中的热点^[9-11]。Nawar等^[12]基于Vis-NIR土壤光谱,利用神经网络和RFR等方法建立了土壤全氮和全碳的预测模型,通过对比分析发现神经网络表现最佳。Liang等^[13]对从43个高光谱植被指数中选取的叶面积指数值最佳的植被指数进行分析,并比较人工神经网络和RFR模型的反演精度,结果表明RFR是其研究中的最佳建模方法,线性回归决定系数R²=0.928。Khosravi等^[11]为了预测污染土壤中的铅、锌含量,构建了PLSR、支持向量机和ELM共3种模型,对土壤进行预测评估,结果表明ELM的预测效果最佳,对铅和锌的预测决定系数分别为0.93和0.87,并认为反射光谱结合ELM算法是一种快速、精准、易行的方法。可见,BPNN、RFR和ELM这3种方法在建模中均取得了良好的建模精度和预测效果,在Vis-NIR光谱反演模型中是行之有效的方法,但目前还未见在SMC研究中使用这三种方法的文献报道。基于此,本文以干旱区绿洲土壤为研究对象,基于竞争适应重加权采样(CARS)筛选敏感波段,利用BPNN、RFR和ELM这3种机器学习算法构建研究区SMC估算模型,以PLSR模型为本底进行比较分析,提出干旱区SMC最优模拟预测模型,以期提高干旱区SMC的Vis-NIR光谱预测精度和稳定性。

2 材料与方法

2.1 土壤样本采集

以新疆维吾尔自治区塔里木盆地北缘的渭干河-库车河绿洲(简称渭-库绿洲)为研究区,其坐标为41°08'~41°55'N、81°06'~83°37'E^[14]。根据历史观测点及区域特征,布设采样点数n=82。为了便于验证,利用GPS记录采样点位置。各点土壤样品采用五点法混合采集,各采样点的样品分别用铝盒和自封袋取回。在实验室进行处理时,铝盒样品采用室内烘干法得到SMC,自封袋样品在室内自然风干,研磨后过2 mm筛,以测量土壤的Vis-NIR光谱数据。

采用美国ASD FieldSpec3型光谱仪于暗室中采集土壤的Vis-NIR光谱数据,其波长范围为350~2500 nm,其中350~1000 nm波长范围的采样间隔为1.4 nm,1000~2500 nm范围的采样间隔为2 nm,重采样间隔为1 nm。在暗室中,以50 W的卤素灯作为光源,光源与土壤表面的距离为50 cm,卤素灯的天顶角为15°,光谱仪探头与样品之间的距离为10 cm,每次测量前均用白板优化定标。在本实验中,各土样均于4个方向共采集16条光谱曲线,以其算术平均值作为该土样的原始光谱数据。

2.2 数据预处理

将上述土壤光谱原始数据利用Savitzky-Golay(S-G)方法进行平滑处理,处理后的数据作为后续光谱数据集。为了避免异常样本值对优选变量和建模优选结果的影响,利用蒙特卡罗交叉验证(MCCV)对光谱和SMC样本进行验证并剔除异常样本,以降低异常值对研究的掩蔽影响,从而最终确定有效样本^[15]。从82个样本点中确定77个有效样本进行后续研究,图1所示为全样本MCCV土壤预测残差的均值-标准差分布。

图 1. 全样本MCCV土壤预测残差的均值-标准差分布

Fig. 1. Mean-standard deviation distribution of soil-residual prediction for full-sample MCCV

下载图片 查看所有图片

2.3 特征波长选择算法

CARS算法为光谱特征波段优选提供了新的方法^[16]。CARS算法模仿达尔文进化论中适者生存的原则,根据每个变量的重要程度,以迭代和竞争的方式从n个蒙特卡罗采样运行中顺序选择波长子集。在每次采样运行中,利用指数衰减函数和自适应重加权采样进行执行波长选择和竞争波长选择,根据回归系数选择绝对值大的关键变量,并利用交叉验证选择交叉验证均方根误差(RMSECV)最小的子集。

本研究所用CARS算法及其绘图在MATLAB R2014b软件中实现。

2.4 建模分析方法与精度评价

利用BPNN、RFR和ELM构建SMC预测模型,对比分析3种算法对干旱区SMC建模的效果。选取3种建模方法的原因是综合考虑到ELM与BPNN是本质同类算法,均为基于神经网络的预测模型;RFR与BPNN、ELM是本质异类算法,也是具有代表性的非线性回归预测模型。因此,本研究构建的SMC模型更能体现建模的价值和现实意义。

BPNN是一种多层前馈神经网络,具有自学习能力。本研究中使用的BPNN是由输入层、隐藏层和输出层组成的3层网络^[17]。它包括2个阶段:第1个阶段是前馈阶段,外部输入信息在输入节点处向前传播,以在输出单元处计算输出信息信号;第2个阶段是反向阶段,根据输出单元计算和观测信息信号之间的差异,对连接权重进行修改。将实际输出与期望输出进行比较,不满足时进入误差反向阶段,直至输出误差在合理的范围内。参考相关研究^[12]将隐藏层设置为10层。

RFR模型是一种基于决策树的集合学习算法。对不平衡的样本而言,该算法能平衡误差,并且实现起来较为简单。决策树代表一组具有分层组织的条件或限制,并且从树根到树叶依次应用^[18]。RFR从许多随机抽取的自举样本开始,并在原始训练数据集中进行替换。决策树适用于每个Bootstrap样本,每个决策树的节点是按照一定比例随机抽取的。整个回归问题通过对所有决策树进行平均来得到最终的预测结果。RFR中需要优化2个参数:根据样本实际情况设置的决策树数量(n_tree,设置为500)和每个节点的输入变量数(m_try,设置为总变量数的1/3)^[19]。

ELM是发展于单隐含层前馈神经网络的新型神经网络算法,是为快速训练而设计的单层前馈神经网络算法^[20]。训练过程中避免了频繁调整迭代网络的输入权值以及隐元的偏置,并能得到唯一的最优解。其目的是通过使用分配给神经网络隐层的随机权重来降低其训练的复杂性。ELM以学习力迅速、泛化性突出、参数设置便捷等优点来弥补传统神经网络方法中出现的训练时期长、学习率敏感等不足(本文中Hidden nodes为30)。

以上3种方法的建模过程均在MATLAB R2014b软件中实现。

基于Kennard-Stone(K-S)算法进行样本划分,选取62个样本点作为建模集,15个样本点作为验证集,分别建立预测模型。为了量化基于BPNN、RFR和ELM的实测SMC以及预测值建模的效果和性能,选用决定系数R²、均方根误差(RMSE)、相对分析误差(RPD)和四分位数间隔(RPIQ)这4个参数对模型进行评估。R²值越大,表明建模的精度越高。RMSE表示模型的预测能力,其值的大小与模型精度成反比。RPD已广泛用于度量评估土壤属性预测模型的准确性;RPD≥2.0为模型预测土壤特性极佳的指标;1.4≤RPD<2.0表示模型预测效果可以接受,但有待改进;RPD<1.4说明模型的可靠性较低,无法对样本实测值进行预测^[2]。RPIQ是四分位数间距与RMSE的比值,四分位数间距即样本的第三分位数与第一分位数的差值;RPIQ≥2.2表示模型极佳,1.7≤RPIQ<2.2表示模型有较均衡的预测能力,RPIQ<1.4表示模型的可信度低^[18]。图2所示为实验及模型计算过程流程图。

3 结果与分析

3.1 样品的SMC

表1所示为SMC的描述性统计特征。由表1可知:建模集与验证集对应的均值分别为14.06%和14.83%,变异系数分别为36.59%和26.37%;全样本的SMC均值为14.21%,变异系数为34.58%,为中等变异^[2]。全样本的均值和变异系数均介于建模集和验证集之间。

图 2. 实验及模型计算过程流程图

Fig. 2. Flow chart of calculation process for experience and model

下载图片 查看所有图片

3.2 土壤光谱曲线分析和特征波段优选

SMC与光谱之间具有良好的响应,选取不同含水量的土壤样本的光谱反射率进行分析,如图3所示。可知:不同含水量样本的光谱反射率曲线的总体趋势较为一致,但存在一定差异;随着SMC增大,土壤光谱反射率与之成反比;在近红外波段的吸收峰深度明显大于在可见光波段的;光谱曲线在可见光波段单调上升,在近红外波段范围内较平缓。总体而言,不同SMC的土壤光谱反射率曲线较易被识别。

图 3. 不同SMC土壤的光谱反射率

Fig. 3. Spectral reflectance of soils with different SMCs

下载图片 查看所有图片

图 4. CARS算法筛选变量的过程。(a)波长变量个数的变化;(b) RMSECV的变化;(c) RMSECV最小时变量回归系数的趋势

Fig. 4. Variable filtering process using CARS. (a) Variation in wavelength variable number; (b) variation in RMSECV; (c) trend of variable regression coefficient when RMSECV is minimum

下载图片 查看所有图片

采用CARS算法来优选特征波段,对放入样本集合的采样次数进行反复迭代,并寻找每次采样的RMSECV最小值,将此时采样次数对应的变量视为优选出的变量子集。图4所示为CARS算法的变量筛选过程。由图4(a)可知,在指数衰减函数的作用下,变量个数在前5次采样过程中有明显递减,说明筛选波段数在迅速减少,此后逐渐平稳。由图4(b)可知:第34次运行结果是RMSECV值最小,为0.040;在此之前,曲线基本处于下降的趋势,表明此段过程与SMC无关的光谱变量已被筛出并剔除;第34次之后,RMSECV呈陡增趋势,这意味着关于SMC的关键光谱变量开始被剔除。由图4(c)可知,第34次采样对应的变量集是SMC的最优光谱变量子集,包含20个光谱变量:R₃₅₅、R₃₆₆、R₃₈₁、R₃₈₆、R₃₈₇、R₃₉₃、R₃₉₄、R₁₅₄₂、R₁₅₄₉、R₁₈₄₈、R₁₈₄₉、R₂₃₁₂、R₂₃₂₁、R₂₃₂₂、R₂₃₂₃、R₂₃₅₅、R₂₄₅₃、R₂₄₅₄、R₂₄₈₃和R₂₄₈₄,如图5所示。其中:最大相关波段为R₁₈₄₈,相关系数为0.531(显著性检验阈值P^**=±0.292);得到的最优变量子集中位于1400~2400 nm范围内的占多数,土壤光谱特征在这范围内以C O、C—H、Al—OH、O—H基团的基频振动以及合频和倍频振动吸收为主要表现形式^[3],这也是Vis-NIR光谱会在1400,1900,2200 nm附近出现特殊吸收峰的主要原因,因此优选出的波段是合理的。

图 5. 土壤样本反射率均值及最优光谱波段

Fig. 5. Mean reflectance of soil samples and optimal spectral bands

下载图片 查看所有图片

3.3 SMC预测模型及验证

将筛选出的最优光谱变量作为SMC预测模型所需的预测变量,将经MCCV剔除异常值后的SMC作为响应变量,分别构建基于特征波长的BPNN、RFR和ELM的预测SMC模型。为了突出3种方法的建模效果,引入传统线性回归模型PLSR用于对建模方法的结果进行对比。各模型的详细信息如表2所示。由表2可知,BPNN、RFR和ELM模型的建模效果优于PLSR模型的建模效果。由表4可以看出:在4种方法所构建的SMC模型中,PLSR模型的RPD小于1.4,这说明该方法不适用于本研究区的SMC预测;RFR模型只能对SMC进行粗略预测(RPD<2.0,RPIQ<2.2);基于BPNN和ELM这2种机器学习方法所构建的模型具有极好的预测能力(RPD>2.0),且ELM模型的预测能力优于BPNN模型的预测能力,RPIQ为3.325。由此可见,4种模型按构建模型预测能力由优到劣的顺序依次是ELM、BPNN、RFR、PLSR。对比各模型建模集的R²、RMSE和预测集的R²、RMSE可知:ELM的预测精度最高,建模集的R²为0.879,RMSE为0.016,预测集的R²为0.918,RMSE为0.015;RFR的预测精度次之,建模集的R²为0.872,RMSE为0.024,预测集的R²为0.898,RMSE为0.021;PLSR的建模精度最低。由此可见,4种模型按构建模型精度由高到低的顺序依次是ELM、RFR、BPNN、PLSR。

综上所述,权衡4种建模方法的评价参数,在SMC预测模型的建模效果和预测效果中,ELM模型最为突出。相较于传统的线性回归模型,ELM、RFR和BPNN模型显著提高了预测能力和预测精度。对比3种机器学习方法可知,虽然RFR模型的预测精度高于BPNN模型,但其预测能力不如BPNN。从RPIQ来看,RFR模型建模效果的可信度比BPNN模型更高,而ELM在预测能力和模型精度方面均高于BPNN和RFR。图6所示为经CARS算法筛选后ELM建模集的检验结果。

图 6. ELM模型SMC的预测值与实测值

Fig. 6. Predicted and measured SMCs using ELM model

下载图片 查看所有图片

4 讨论

本研究的结果表明,CARS算法可剔除大量冗余波段,优选出有效的特征波段,所得结果可作为PLSR和机器学习模型反演中的重要因子。最优变量子集不仅在机理上与SMC存在较好的响应,还能在提高预测精度和能力的同时,降低模型训练样本的复杂性,使机器学习模型能在有限样本下反演出理想的结果。

本研究构建模型所用BPNN、RFR和ELM这3种机器学习方法综合考量了本质同类算法和本质异类算法。程术希等^[21]通过支持向量机、RFR和ELM这3种机器学习方法构建品种鉴别方法,最终得出了ELM模型结果最优的结论,这与本研究得到的结果基本一致。在本节中增加3∶1和2∶1的建模预测比进行对比分析,讨论各机器学习模型的稳健性,结果如表3所示。

由表3可知,对于本研究建立的BPNN、RFR和ELM模型,随建模预测比从4∶1变化至2∶1,模型建模集的R²、RMSE和预测集的R²、RMSE、RPD、RPIQ基本保持不变。可见,本研究所用的3种机器学习模型的稳健性均较好。其中:RFR模型在建模预测比为4∶1时的RPD较小,在其他比例时RFR模型的RPD都比BPNN模型的RPD大,原因是RFR的稳健性相对较差;而ELM模型在不同建模预测比时均比BPNN、RFR模型表现得更优异,进一步验证了ELM模型不仅具有较小的训练误差,预测更精准,而且模型稳健性更好,具有很强的非线性解译建模能力。

相较于传统的线性回归模型,本研究使用的机器学习预测模型具有显著的优越性。PLSR方法已广泛应用于土壤光谱研究^[22-23],尽管能够有效解决自变量间的多重共线性问题,但只能对某些特定的土壤属性与相应Vis-NIR光谱之间的潜在线性关系进行模拟。然而土壤性质多呈非标准正态分布,以PLSR方法为代表的线性回归可能不适用。相反,如果两者之间存在非线性关系,机器学习方法则通常会得出理想的预测结果。在两类建模方法中,机器学习模型不仅在统计结果上优于PLSR,在预测能力上也表现出了更好的稳健性和泛化能力。

定量遥感反演的困难在于应用参量不完全是控制遥感信息的主导因子,仅为遥感信息提供弱信号^[22,24]。虽然机器学习算法反演的准确性更高,但具有更多参数或超参数,通常需要大规模的复杂训练。理想的算法应该将模拟精度与训练参数、训练时间消耗进行平衡。本研究利用典型样本得到了较高的精度,在下一步研究中,拟从SMC和光谱响应机理方面对机器学习的相关参数进行调优,进而更好地诠释SMC与Vis-NIR光谱的内在联系,并在此基础上,将Vis-NIR光谱与现有多光谱遥感系统建立联系,从而为新疆干旱、半干旱地区的SMC研究提供科学依据。

5 结论

以新疆渭-库绿洲为研究对象,利用82个土壤样本的SMC数据与实验室Vis-NIR光谱实测数据,在CARS算法的基础上,采用BPNN、RFR和ELM对优选出的特征波长构建SMC预测模型,并引入传统线性模型PLSR进行对比。对土壤光谱波长采用CARS算法,以达到特征波长的优选效果,并从2151个光谱波长中选取20个特征变量作为最优光谱变量子集,这20个特征变量为:R₃₅₅、R₃₆₆、R₃₈₁、R₃₈₆、R₃₈₇、R₃₉₃、R₃₉₄、R₁₅₄₂、 R1549、R₁₈₄₈、R₁₈₄₉、R₂₃₁₂、R₂₃₂₁、R₂₃₂₂、R₂₃₂₃、R₂₃₅₅、R₂₄₅₃、R₂₄₅₄、R₂₄₈₃和R₂₄₈₄。其中特征光谱R₁₈₄₈与SMC的最大相关系数为0.531。机器学习在SMC预测模型建模过程中缩短了训练时间,大幅提高了模型精度和预测能力,相对于线性模型,预测集的决定系数R²从0.617增大到0.918,RPD从0.522增大到3.123,RPIQ从0.18401增大到3.325,实现了对SMC的精准预测。在BPNN、RFR和ELM这3种机器学习预测模型方法中,按建模精度由高到低的排序结果为ELM、RFR、BPRR,按模型预测能力由高到低的排序结果为ELM、BPNN、RFR。ELM的建模精度和预测能力最好,建模集的R²=0.879,RMSE=0.016,预测集的R²=0.918,RMSE=0.015,RPD=3.123,RPIQ=3.325。说明在基于机器学习的SMC预测模型中,ELM模型的表现最优。