1 引言

在土壤速效养分的定量检测方法中,近红外高光谱与传统实验室理化测试方法相比,具有无损、快速等优点。高光谱数据分辨率高、范围宽,其可见近红外区范围内可表达多种成分信息,从而可以建立回归模型来预测土壤成分,具有广阔的应用前景^[1]。在国内外研究中,土壤速效磷的回归模型建立都取得了较高的性能^[2-5],研究中大部分使用偏最小二乘法(PLS)、支持向量机(SVM)、神经网络等算法来进行回归模型构建。每个建模算法都有各自的特点,其中PLS的应用最为广泛,因为其可解决高光谱数据共线性和冗余等问题^[6-8]。在速效磷高光谱预测中,2016年Sarathjith等^[9]在350~2500 nm波段范围,利用离散小波和支持向量回归构建模型来预测速效磷,其速效磷的相对分析误差为2.27。同年,张佳佳等^[10]针对南方丘陵稻田土进行土壤全磷和有效磷的分析,在350~170 nm的光谱数据基础上利用多项式回归模型发现其相对分析误差系数分别为1.43和1.54。2018年,齐海军等^[11]在400~1000 nm光谱范围内进行了土壤速效磷的回归建模,模型在相对分析误差上提高到2.29,但是其结果与早期Sarathjith等建立的模型相同,且测试集上相对分析误差的提高程度较少,同时还分析了成像光谱和非成像光谱在土壤速效磷的预测差异性^[12],为本研究进一步提供了优化的实验方案。

本文针对土壤速效养分的高光谱(350~1700 nm)数据进行单模型优化和多模型组合结果评价、分析和比较。由于高光谱回归建模算法较多^[13-18],不同模型各具优缺点,因此构建并优化了9个单模型,同时利用了堆叠(Stacking)算法进行模型组合,对比了随机森林、提升树和梯度提升树(GBDT)的集成学习算法,最终获得土壤速效磷的最佳预测结果。

2 基本原理

2.1 回归算法

偏最小二乘法回归(PLSR)、支持向量回归(SVR)和岭回归均属于适用性较广的化学计量学建模方法,尤其PLSR和SVR被广泛用于光谱分析中^[19];SVR是经典的监督类型回归方法之一,但其缺点为在数据量过大时建模速度较慢^[20];岭回归也是一种专用于共线性数据分析的有偏估计回归方法,通过正则算法放弃最小二乘法的无偏性,以损失信息、降低精度获得回归模型^[21]。土壤的速效磷光谱特征可能同时具有线性和非线性关系,因此针对3种回归算法都建立了非线性模型,通过线性和非线性模型对比来研究光谱特征规律。本文主要使用2个非线性核函数,第1个为径向基函数^[22],其表示1个取值仅依赖于离原点距离的实值函数,是回归算法中常用的非线性核函数,公式如下

K(x,x')=exp-‖x-x'‖222σ2,(1)

式中:‖x-x'‖22为两个特征向量(x,x')之间的平方欧几里得距离;σ是自由参数。

第2个为Sigmoid函数^[23],也被称为S型生长曲线,其公式如下

S(x)=11+exp-x,(2)

式中:x为自变量。本文使用网格搜索方法进行了高维参数调优^[24]。

2.2 集成算法

集成学习算法是通过构建并组合多个模型来完成学习任务,其中模型集成提升效果主要有两种条件:1)单模型性能提升;2)模型之间的差异性增大^[25-27]。本文模型组合中使用Stacking结合策略,通过比较模型组合后的差异性,来获得最优模型组合。Stacking方法相对于其他方法更稳定,过拟合风险更低^[28],其思想如图1所示。图中R_i为第i种回归模型,总共有n种不同的模型,N_i为第i种回归模型参数的新特征数据,总共生成n个特征。

集成学习的初级算法使用了线性和非线性PLS、SVR和岭回归,次级建模算法使用了随机森林算法、提升树和梯度提升树^[29]。因此,采用Stacking方法对单模型生成新建模集,初级学习算法的输出作为样例输入特征,而初始样本的标记仍作为样例标记,通过次级学习算法进行再次建模预测。次级训练集是由初级学习算法产生的,因此,在Stacking算法中为避免过拟合,使用了交叉验证的方式产生次级学习算法的训练样本,如在图1中通过K折交叉验证方法产生次级算法的新数据集。在次级建模算法中,先使用随机森林算法。随机森林^[30-31]是在决策树基础上进行的延伸,能解决决策树泛化性弱的问题,通过内部包含若干个独立的子决策树模型进行汇总得到最终预测结果,其中随机森林中需要优化的最重要的参数有决策树数量和决策树最大深度。

提升树与随机森林都是以回归树为基本学习器的提升方法,但是随机森林与前者不同的是每一步都是独立抽样的,而提升树采用加法模型与向前分布算法,利用前一轮模型中对每个样本预测的偏差作为新的建模集,整体的构建实际上就是不断地拟合前一轮模型预测误差的过程。提升树模型算法公式如下

fM(x)=∑m=1MT(x;Θm),(3)

图 1. Stacking方法

Fig. 1. Stacking method

下载图片 查看所有图片

式中:T(x;Θ_m)表示决策树;Θ_m为决策树的参数;M为树的个数,m为序号。

梯度提升树算法与提升树类似,但与随机森林相比对异常值更加敏感,后者通过减小模型的方差提高性能,而前者是通过减少模型偏差来提高性能。从性能上比较,梯度提升数相对于随机森林具有更好的泛化性能,主要因为梯度提升数不再使用残差作为训练数据,而是利用最速下降法的近似方法,用损失函数求梯度后进行计算,其中损失函数的负梯度如下所示

-∂Lyn,f(xn)∂f(xn)f(x)=fm-1(x),(4)

(4)式的值为第m轮的第n个样本的损失函数的负梯度,将其作为提升树算法中的残差近似值来拟合回归模型;x_n、y_n为训练数据集和标签值;L为损失函数;f(x)为模型的预测结果。

2.3 评价方法

评价方法主要由决定系数R²、方均根误差f_RMSE和相对分析误差f_RPD来进行比较分析^[32]。当f_RPD>2.0时模型精确度为A类,为良好预测能力;当1.4≤f_RPD≤2.0时模型精确度为B类,为中等预测能力;当f_RPD<1.4时模型精确度为C类,为较差预测能力^[33]。R²和f_RPD值越大,f_RMSE值越小,模型的性能越好。因此,本文重点参考预测结果的R²和f_RPD值来评价模型方法。

3 实验

野外土壤样品为安徽省皖北地区采集的表层深度为0~20 cm的土层,其类型为砂浆黑土,共采集193个土壤样本。将所采土壤样本放室内自然风干,经研磨后,人工捡出土壤中的石块、秸秆等干扰物,进行过筛处理,将样品分为两份,一份用于实验室理化检测,一份用于光谱分析。土壤实验室理化检测在安徽农业大学资源与环境学院土壤学实验室支持下完成,土壤速效磷的理化检测使用碳酸氢钠浸提-钼锑抗分光光度法^[34]。土壤高光谱数据采集使用的是地物光谱仪(OFS1700,Ocean Optics,美国),光谱范围为350~1700 nm,光谱分辨率在900 nm和1700 nm处分别为2 nm和5 nm。在室内条件下,将处理后的土壤放入培养皿中并将土样表面刮平,用地物光谱仪的反射探头(前端密封橡胶圈和内置光源的结合,利于随时随地创造人工暗室条件,有效避免杂散光的影响)直接接触土壤表面进行量测,如图2所示。每个样品量测10次反射率光谱后取算术平均值,量测过程中每10份样本进行1次标准白板校正。

图 2. 室内高光谱采集系统

Fig. 2. Indoor hyperspectral acquisition system

下载图片 查看所有图片

土壤样品总数为193,土壤样本的划分使用Kennard-Stone算法^[35],将其分为大约3∶1的建模集和测试集,其中建模集有144个样本,测试集有49个样本。土壤样品速效磷含量的统计参数如表1所示,其中Max为样本中速效磷含量最大值,Min为样本中速效磷含量最小值,Average为平均值,Standard deviation为标准差。从表中可知,建模样本与总样本的数据分布有相似的数据范围和分布情况,但测试样本与总样本具有较小偏差,测试集的预测结果可以充分比较不同算法间的准确性和稳定性,因此本文针对测试集来评价土壤速效磷模型的回归预测性能。

图 3. 土壤高光谱反射率。(a)原始光谱;(b)平滑后光谱

Fig. 3. Hyperspectral reflectance of soil. (a) Original spectra; (b) smoothing spectra

下载图片 查看所有图片

由于光谱范围的两端信噪比较低,因此剔除了两端少部分光谱数据,选取有效波段区域为380~1610 nm,土壤的原始光谱反射率如图3(a)所示,其中高频噪声较为明显。对光谱反射率进行Savitaky-Golay 卷积平滑^[36]消除噪声后的数据如图3(b)所示。

从原始光谱反射率可以看出整体反射率偏低,这是由于砂姜黑土颜色偏深的影响。光谱在350~500 nm和570~850 nm呈现明显上升趋势,在830 nm左右光谱出现明显波动,可能与土壤中的有机质对光谱的吸收有关^[37];在500~570 nm呈现几乎零增长趋势,可能与土壤中的铁氧化物对光谱的吸收有关^[38]。在950~1657 nm光谱整体增长趋势较缓,在1250 nm处出现明显波动,这是由于土壤中的铁氧化物对光谱的吸收减弱^[39];在1450 nm处出现明显的吸收谷,有相关文献^[40]报道,该处是水分的吸收带,故反射率降低。以上分析表明,土壤的光谱反射率与土壤速效磷含量之间存在较好的相关性。

4 分析与讨论

模型训练中PLS算法参数较为复杂,通过比较不同的潜在变量(LV)来选择最优模型,因此必须使用不同数量LV的f_RMSE趋势进行比较和分析。从图4可知,线性的偏最小二乘(Linear-PLS)、径向基的偏最小二乘(RBF-PLS)和Sigmoid函数的偏最小二乘(Sigmoid-PLS)3个模型的f_RMSE变化趋势基本一致。当LV个数增加时,线性和非线性PLS的f_RMSE值都呈现了先降低再升高的状态;当LV个数为11时,Linear-PLS方均根误差达到最小值;当LV个数为11时,RBF-PLS方均根误差达到最小;当LV个数为10时,Sigmoid-PLS方均根误差达到最小。从LV趋势图中可知,线性和非线性的PLS模型其参数具有较小差别,模型相似性较高。两个非线性模型RBF-PLS和Sigmoid-PLS的f_RMSE相对于线性模型有了显著的降低,尤其在最低点上线性模型的表现较差。因此,从PLS算法中可知,非线性的PLS对光谱特征的拟合程度更高,更能构建出有效的回归模型。

图 4. 线性和非线性PLS中不同LV对应的方均根误差值

Fig. 4. fRMSE values of different LV numbers in linear and nonlinear PLS

下载图片 查看所有图片

比较本文训练模型,Linear-PLS、Linear-SVR和Linear-Ridge为线性模型,RBF-PLS、RBF-SVR、RBF-Ridge、Sigmoid-PLS、Sigmoid-SVR、Sigmoid -Ridge为非线性模型,每个模型都通过网格式调参,得到的最优模型参数如表2所示。在单模型调参中,R_LVs为PLS模型潜在变量,其值越大,模型的拟合能力越强。R_gamma为RBF,sigmoid核函数的参数,其值越大,高斯分布越窄,模型复杂度越大,拟合能力越强。R_cofe0为sigmoid内核和多项式内核的截距参数,其可以用来控制数据的缩放。C为SVM模型的惩罚因子,模型的正则化强度越大,模型的复杂度越高,拟合能力越强。R_Alpha为Ridge中的参数,其值越大,正则化的强度越大。由表2的预测精度分类可知,所有模型的精确度为B类,属于中等水平,其中RBF-PLS和Sigmoid-PLS的R²最高,为最优单模型。由表2可知,PLS在建模效果上优于SVR和Ridge。从建模集的结果分析可知,线性和非线性模型之间差异性不大,从测试集的结果分析可知,除Ridge模型外其他非线性模型在f_RPD和R²上都明显优于线性模型。在PLS算法中,非线性R²最高为0.73,线性R²=0.80;在SVR算法中,非线性R²最高为0.72,线性R²=0.69;在Ridge中,非线性R²最高为0.7,线性R²=0.69。比较可知,测试集中非线性结果明显高于线性,其中RBF核函数更加适合光谱曲线拟合。

由以上分析可知,土壤速效磷的回归模型在预测精度分类等级上相同;但其光谱特征更趋向非线性关系,因此非线性模型与线性模型具有差异性,同时非线性模型更优于线性模型。下一步研究将遍历模型所有的组合方式,优选出单模型,然后比较3种次级集成学习算法的测试集结果。

土壤速效磷的各预测模型间具有一定的差异性,通过模型组合可提高预测精度。在Stacking方法基础上,研究比较了9种模型的502种组合结果。遍历分析可得4个单模型组合为最优,分别为Sigmoid-PLS、Linear-SVR、RBF-SVR和Sigmoid-SVR。最优单模型中既有线性模型SVR,也有非线性模型Sigmoid-PLS、RBF-SVR和Sigmoid-SVR,因此线性和非线性的组合是可以提高结果准确率的。同时,Ridge算法在组合中全部被剔除,由此可见,其算法在高光谱建模中具有一定的缺陷。

先比较随机森林、提升树和梯度提升树三种集成学习算法,其中,图5所示为梯度提升树参数调优结果,R_loss在算法中主要有4种值:方均差损失函数F_ls,如图5(a)所示;方均差和最小偏差集合损失函数F_huber ,如图5(b)所示;分位数损失函数F_quantile,如图5(c)所示;最小绝对偏差损失函数F_lad,如图5(d)所示。算法参数优化中,R_{n_estimators} 为最大迭代次数,其值越大拟合能力越强,但也易造成过拟合,因此每种loss值条件下最优R_{n_estimators}值也有所不同。R_{learning_rate}为权重缩减系数,R_{max_depth}为决策树最大深度。从图5每个子图的f_RPD值波动区间可知,R_loss为“lad”, R_{n_estimators}=310的梯度提升模型组合比其他更优,因此在图5(d)中R_{max_depth}=4时,R_{learning_rate}为0.29和0.41时,f_RPD值为两个最高点。因此,比较图5(d)两个最高点的结果可以发现,当R_{learning_rate}=0.41时,建模集的f_RPD=3.7,测试集的f_RPD=2.61;R_{learning_rate}=0.29时,建模集的f_RPD=2.56,测试集的f_RPD=2.55,虽然后者测试集的f_RPD低0.01,但其泛化性远优于前者。最终,梯度提升树模型最优结果的参数设置如下:R_{learning_rate}=0.29,R_{max_depth}=4,R_loss为“lad”, R_{n_estimators}=310。

图 5. 梯度提升树模型参数优化。(a) Rloss=Fls,Rn_estimators=100;(b) Rloss=Fhuber,Rn_estimators=200; (c) Rloss=Fquantile,Rn_estimators=200;(d) Rloss=Flad,Rn_estimators=310

Fig. 5. Parameter optimization of GBDT model. (a) Rloss=Fls, Rn_estimators=100; (b) Rloss=Fhuber, Rn_estimators=200; (c) Rloss=Fquantile, Rn_estimators=200; (d) Rloss=Flad, Rn_estimators=310

下载图片 查看所有图片

由表3和图6可知,模型组合后预测集的f_RPD值均超过了2,从预测精度分类上为A类,因此多模型组合的结果远比单模型要优秀。从建模集和测试集的评价结果比较可知,提升树算法建模集的R²达到了0.9,但是由于其测试集的R²仅为0.82,因此提升树算法的模型组合产生了较高的过拟合。梯度提升树的建模集的R²=0.88,f_RPD=2.56,测试集R²=0.86,f_RPD=2.55,在算法中均为最高且其泛化程度最好。因此,由3种算法结果比较可知,梯度提升树的多模型组合结果不仅优于单模型,而且相对随机森林和提升树都具有一定程度的优化,因此在精确度和泛化性上为最优方案。

图 6. 不同模型集成算法的结果。 (a)基于建模集的随机森林结果; (b)基于测试集的随机森林结果 ;(c)基于建模集的提升树结果; (d)基于测试集的提升树结果 ;(e)基于建模集的梯度提升树结果 ;(f)基于测试集的梯度提升树结果

Fig. 6. Results of different model integration algorithms. (a) Results of random forest based on modeling set; (b) results of random forest based on testing set; (c) results of boosting tree based on modeling set; (d) results of boosting tree based on testing set; (e) results of GBDT based on modeling set; (f) results of GBDT based on testing set

下载图片 查看所有图片

5 结论

土壤速效磷的高光谱预测过程中,由于非同类的土壤化学成分具有较大的差异性,导致其光谱特征具有复杂度高、提取困难且不具有共性等问题,而光谱全波段进行单独回归算法的建模也易出现准确率低、泛化能力差等缺陷。针对光谱全波段,使用了PLS、SVR和岭回归算法^[5-10],和随机森林、提升树和梯度提升树集成算法,以提高土壤速效磷的高光谱预测精度为目的,进行模型构建、优化、组合和比较。

本次实验使用光谱范围为350~1700 nm的非成像方式,相对于400~1000 nm的成像方式,在土壤速效磷上的相关性有显著提高^[12]。从单模型分析中发现,PLS模型在预测效果上最优,其次为SVR模型,最差为Ridge模型。而在线性算法预测效果中,3个算法基本相同,但是在非线性的算法中,PLS明显优于其他两种,尤其在Sigmoid的函数上PLS算法测试结果的R²为0.73,远高于SVR的0.7和0.69,因此PLS在单模型中泛化性强且预测效果较优。模型算法中线性和非线性核函数对数据预测效果具有一定的影响,其中高斯分布的非线性核函数相对于其他核函数而言具有更好的拟合能力,因此该特性反映出了土壤高光谱特征具有高复杂性、提取困难的特点。本文着重讨论了多模型组合,从预测的精度分类上3个算法都属于A等级,但梯度提升树R²为0.86,其次随机森林R²为0.84,最差的提升数R²为0.82。其中从预测效果上分析梯度提升树算法最优,其预测效果相对于最优单模型f_RPD的1.79提高约30%, R²的0.73提高17.8%,并且与文献[ 11]的f_RPD值相比提高了10%,精确度有较高的提升。

研究发现,集成算法中的梯度提升树是在提升树算法基础上利用最速下降法进行拟合的,在算法复杂度上优于随机森林和提升树,在测试集的评价中,其准确率和泛化性高于单模型和其他集成算法。多模型组合在土壤速效磷高光谱预测中具有两个优势:1)针对特征较为复杂的土壤光谱,不同模型的组合弥补了算法在回归预测时的缺陷,可大幅度提升其精确度;2)对不同类型的土壤、不同范围的光谱区域,通过多模型组合的集成算法可以抑制单模型的过拟合性,使得模型具有较高的泛化程度。因此,基于梯度提升树的多模型组合方法不仅有利于提高土壤高光谱的回归预测精度,而且有利于提升其在实际应用中的可行性。