基于土壤协变量与VIS-NIR光谱估算土壤有机质含量的研究 
下载： 699次
1 引言
土壤有机质(SOM)是土壤的重要组成部分,对土壤物理性质的改善具有重要作用,对当地生态系统的稳定与安全具有基础性的作用,对干旱区脆弱的生态系统的作用更是举足轻重[1-2]。传统的SOM测定方法费时费力,对土壤具有破坏性,很难满足社会经济发展的需求。可见光和近红外光谱(VIS-NIR)技术结合化学计量学,具有快速、可重复、可低成本监测土壤属性(阳离子交换、SOM、pH、铁氧化物类型等)的优点,是实现土壤监测的重要手段[3]。因此,研究利用高光谱分析技术定量估算SOM具有重要的实践意义。
目前,国内外学者利用光谱技术结合辅助变量对土壤属性的监测进行了相关研究,发现SOM与Fe、土壤电导率(EC)、pH值存在一定程度的相关性[4-5]。Dorau等[6-7]研究表明:土壤中的Fe和SOM相互作用,具有极强的吸附性,对SOM的稳定具有关键作用;土壤pH是影响SOM分解转化重要因子,干旱区微咸地下水使土壤盐分不断积累,进而使pH值升高,抑制土壤矿化,导致土壤化学性质趋向恶化,对土壤肥力产生胁迫[8-9]。Radim等[10]认为将其他辅助变量添加到光谱数据中时,减少光谱预测变量的数量对改善预测具有重要意义。Fernandes 等[11]以圣保罗州为研究区,运用高光谱技术估算SOM时加入了pH、钙(Ca)、镁(Mg)等辅助变量,利用人工神经网络(ANN)使建模精度得到了提升。Kweon等[12]采集了美国6个州的土壤样本,并用光谱技术估算土壤有机质,文中用EC作为辅助变量,利用多元线性回归模型(MLR)建模,取得了良好的效果,决定系数R2为0.80或更高。Siebielec等[13]利用高光谱估算土壤有机碳(SOC)时发现,在有效利用光谱信息的基础上加入数字地形高程(DEM)为辅助变量,相对于未加入辅助变量之前,验证集精度的R2提高到了0.84。以上研究大都是在SOM相对较高的地区,而在SOM含量(质量比,下同)低的干旱区,其光谱特性容易受到土壤其他特性(例如EC、Fe、pH和阳离子交换容量等)的遮蔽[14-15],使得VIS-NIR技术不能有效地解释SOM的空间变化。目前,针对干旱区SOM的研究大都是对光谱采用各种方法和技术进行变换和筛选,已实现对SOM的估算,但尚未有利用光谱技术结合其他土壤属性来估算SOM的报道。
基于此,本文以艾比湖保护区为研究靶区,在利用高光谱技术估算SOM的同时加入土壤EC、pH和Fe作为辅助变量,探索添加到VIS-NIR光谱模型中的土壤辅助信息的潜力,提高SOM估算模型的准确性。利用偏最小二乘回归(PLSR)建立SOM高光谱的预测模型,同时比较原始光谱经过不同预处理方法后的建模效果,探索反演SOM的优选方法,以期对干旱区SOM的快速监测提供参考。
2 实验数据与方法流程
2.1 研究区概况
艾比湖湿地位于新疆维吾尔自治区西北部,地理位置为44°43' ~ 45°08'N、82°35' ~ 83°10'E,见
2.2 土壤样品采集
土壤样品的采样时间为2017年8月,根据艾比湖湿地的生态景观特征,以及先前的野外经验,选取有代表性的绿洲、荒漠及交错带景观,布设110个采样地,以梅花采样法采集5个点作为样本,采样半径为5 m,将5个样本混合后作为土壤样品,采样深度为0~10 cm,利用手持GPS记录采样点位置。各采样点的样品用自封袋取回。在实验室进行自然风干、剔除异物、研磨过筛(>0.15 mm)等处理。完成处理后,将土壤样品分为两份,一份用于室内采集光谱数据,另一份用于土壤属性(SOM、EC、pH和Fe)的测定。土壤光谱的测定采用美国ASD (Analytical Spectral Devices)公司生产的FieldSpec3型光谱仪测定,其波长范围为350~2500 nm,其中350~1000 nm波长的采样间隔为1.4 nm,1000~2500 nm的波长采样间隔为2 nm,重采样间隔为1.4 nm。土壤光谱的测定在暗室中进行,选用50 W的卤素灯,探头的视场角为5°,探头距离土壤表面30 cm ,每个土壤样本测定前均进行白板定标,每个土壤样品重复测定10次,取算术平均值作为该样品的反射率。SOM基于重铬酸钾进行外加热法测定[16]。EC采用德国WTW公司制造的 Cond7310 电导率仪以水土比 5∶1 浸提,测定浸提液的电导率。pH采用离子选择性电极法(ISE)测定。Fe元素采用Analytick Jena公司制造的contrAA测定。
2.3 数据预处理
对原始土壤的光谱数据,去除边缘噪声较大的350~400 nm和2401~2500 nm波段的光谱[17]。采用主成分分析(PCA)结合马氏距离(Mahalanobis distance)剔除光谱和SOM样本的离群点,以降低异常值对研究的遮蔽影响[18-19]。从110个样本点中确定101个有效样本进行后续研究,
SG平滑是Savitzky和Golay[20]在1964年提出的,该方法可以有效消除噪声的影响,且不会改变光谱的位置。本次平滑采用窗口数为7的三次多项式拟合对原始光谱进行处理。从图中可以明显观察到,相较于原始光谱,经过SG平滑处理之后,去除了原始光谱中存在的毛刺现象,增强了光谱的信噪比,得到的光谱更加光滑平稳(
图 3. 原始光谱与预处理后土壤光谱反射率曲线。(a)原始光谱反射率;(b)经SG平滑处理后的光谱反射率;(c)经MSC处理后的光谱反射率;(d)经FD处理后的光谱反射率
Fig. 3. Original spectra and the pretreated soil spectral reflectance curves. (a) Original spectral reflectance; (b) spectral reflectance after SG smoothing; (c) spectral reflectance corrected for multiple scattering; (d) spectral reflectance treated with first order differentiation
2.4 光谱数据特征选取
PCA是数据压缩和特征提取的基本方法,可以处理大型、复杂的数据集,能够揭示光谱变量的信息模式和内部结构,其利用输入变量间的线性关系,用少部分互不相关的主成分(PCs)来描述多维变量空间的绝大多数信息[22-23]。光谱数据中存在大量的重叠吸收和自相关现象,因此在本研究中利用SPSS软件对原始光谱和两种预处理后的光谱数据进行PCA处理。在原始光谱中,第一个变量的贡献率为57.78%,前5个变量的累计贡献率为98.08%。经过SG-MSC处理后,第一个变量的贡献率是61.44%,前5个变量的累计贡献率为98.16%。而经过SG-MSC-FD处理之后,第一个变量的贡献率是73.29%,第二个变量的贡献率是10.26%,前5个表变量的累计贡献率是91.16%。原始光谱与预处理的光谱经过PCA处理后,前5个变量的累计贡献率均达到90%以上,因此各选取前5个变量进行下一步分析。
图 4. 前10个变量贡献图。(a)原始光谱反射率;(b)经SG-MSC处理后的光谱反射率;(c)经SG-MSC-FD处理后的光谱反射率
Fig. 4. Contribution diagram of the first 10 variables. (a) Original spectral reflectance; (b) spectral reflectance after SG-MSC treatments; (c) spectral reflectance after SG-MSC-FD treatments
2.5 精度评价
PLSR广泛应用于SOM的高光谱监测,其集成了PCA、典型相关分析(COA)和MLR三种方法的优点[24]。其优势在于采用降维思想去除冗余噪声,精简光谱自变量,可以较好地处理强共线性和变量数量超过可用样本数量的情况[25]。同时还考虑了因变量和自变量(SOM)之间的关系,能够有效筛选对SOM解释性最强的综合变量,使得建立的模型具有更好的鲁棒性,避免过拟合,为多元统计分析提供了极大便利[26]。
采用分层策略将整个SOM数据集划分为建模集和验证集,它是一种有效的样本划分方法,可用于对代表性样本进行建模[16]。具体来说,就是根据SOM含量从小到大对101个样本进行分类,然后将101个样本划分为33层,每层包含3个样本,将第二个样本划分为验证集,由于本次样本总量不能被3整除,故将其他两个样本划分为建模集,因此建模数据集包含68个样本,验证数据集包含33个样本。为了量化基于PLSR建模的效果和性能,选用决定系数(R2)、均方根误差(RMSE)、相对分析误差(RPD,eRPD)这3个参数对模型进行评估。R2越大,表明建模的精度越高。RMSE表示模型的预测能力,其值的大小与模型的精度成反比 。RPD广泛用于评估土壤属性预测模型的准确性,eRPD ≥2.5表示极佳,2.0≤eRPD<2.5表示良好,1.8≤eRPD<2.0表示一般,1.4≤eRPD<1.8表示预测效果可以接受,但需要进一步改进,eRPD<1.4表示模型效果差,无法对样本实测值进行预测[27]。
为了测试两种预处理方法,测试加入土壤辅助信息(即EC,Fe和pH)对模型预测的影响,将原始光谱数据作为对照组,首先分别使用两种预处理方法(SG-MSC,SG-MSC-FD)作为策略I,然后以土壤辅助信息为预测变量作为策略II,最后将策略I和策略II组合作为策略III,比较原始光谱、采用两种预处理方法以及加入土壤辅助信息时模型的预测效果。
3 结果与分析
3.1 有机质和其他土壤属性的统计特征
表 1. 土壤属性统计特征
Table 1. Statistical characteristics of soil properties
|
3.2 估算机制
如
图 6. 不同土壤参数之间的相关性(n=101),图中曲线为拟合曲线
Fig. 6. Correlation between different soil parameters (n=101), in which the curves are fitting curves
SOM的相关系数曲线也显示出与EC大致相似的趋势(
图 7. SOM,EC,Fe和pH与原始光谱反射率之间的相关性(n=101)
Fig. 7. Correlation between SOM, EC, Fe and pH and original spectral reflectance (n=101)
3.3 有机质与光谱主成分之间的关系
图 8. 原始光谱以及SG-MSC,SG-MSC-FD两种光谱处理下SOM与前5个主成分相关性
Fig. 8. Correlation between soil organic matter and the first five principal components for original spectrum and preprocessed spectra under two spectral treatments of SG-MSC and SG-MSC-FD
3.4 建模评价
对原始光谱以及SG-MSC和SG-MSC-FD处理后的光谱进行PCA,分别选取主成分后的前5个变量,在上述三种策略下进行PLSR建模,三种策略下PLSR模型结果如
表 2. 三种策略下PLSR建模结果
Table 2. PLSR modeling results under three strategies
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
总共评估了7个PLSR模型,其中SOM为目标变量,光谱和土壤其他属性(EC,Fe,pH)为输入变量,如
图 9. 三种策略下PLSR模型的拟合散点图。(a)模型1;(b)模型2;(c)模型3;(d)模型4;(e)模型5;(f)模型6;(g)模型7
Fig. 9. Fitting scatter diagrams of PLSR model under three strategies. (a) Model 1; (b) model 2; (c) model 3; (d) model 4; (e) model 5; (f) model 6; (g) model 7
基于不同输入源的SOM估算变量重要性(VIP)值,如
图 10. 在不同PLSR模型中预测变量的VIP值。 (a)模型3;(b)模型4;(c)模型5
Fig. 10. VIP values of prediction variables in different PLSR models. (a) Model 3; (b) model 4; (c) model 5
4 讨论
由于测量环境、测量方法、测量仪器等的影响,土壤光谱的反射率数据不可避免地存在噪声[29]。此外,高光谱数据由于具有波段多、数据量大、数据冗余的特点,增加了数据处理与建模的工作量和复杂度,而对高光谱数据进行适当地去燥和降维能够有效地改善光谱数据的质量[30-31]。基于策略I建立的PLSR模型的验证精度R2达到了0.82(
对比策略I和策略III(
在本研究中,尽管反射光谱法在估算SOM方面表现出良好的模型性能,但仍有12%的有机质变化信息未被捕获(根据
土壤的属性因其包含有丰富的土壤信息,须使用多个分析工具或多个测量平台同时检测和测量相同的样品来获得[36]。随着传感器技术的不断进步,便携式X射线荧光(pXRF)光谱可快速有效地进行土壤属性的实地测量[37]。同时,多传感器数据融合是一个发展的方向,可以融合土壤变化的不同方面[38]。反射光谱法和pXRF技术的联合使用具有提高估算SOM准确性的发展潜力。
5 结论
结合土壤VIS-NIR光谱和辅助变量信息,估算艾比湖保护区SOM的含量时发现,与其他光谱活性成分相似(例如EC),反射光谱随SOM含量的增加而降低。光谱数据的预处理对模型的改善具有重要的作用,随着对光谱预处理的增加,模型精度得到明显提升,R2由0.66提高到了0.82,RMSE逐渐降低(
[2] Ding JL, Yu D L.Monitoring and evaluating spatial variability of soil salinity in dry and wet seasons in the Werigan-Kuqa Oasis, China, using remotesensing and electromagnetic induction instruments[J].Geoderma, 2014, 235/236: 316- 322.
[3] Gholizadeh A, Saberioon M, Ben-Dor E, et al. Monitoring of selected soil contaminants using proximal and remote sensing techniques: background, state-of-the-art and future perspectives[J]. Critical Reviews in Environmental Science and Technology, 2018, 48(3): 243-278.
[4] Chen T, Chang Q R. Clevers J G P W, et al. Rapid identification of soil cadmium pollution risk at regional scale based on visible and near-infrared spectroscopy[J]. Environmental Pollution, 2015, 206: 217-226.
[5] Gholizadeh A, Boruvka L, Saberioon M M, et al. Comparing different data preprocessing methods for monitoring soil heavy metals based on soil spectral features[J]. Soil and Water Research, 2016, 10(4): 218-227.
[6] Dorau K, Pohl L, Just C, et al. Soil organic matter and phosphate sorption on natural and synthetic Fe oxides under in situ conditions[J]. Environmental Science & Technology, 2019, 53(22): 13081-13087.
[7] 王丹, 田秀平, 张之一. 白浆土各形态Fe、Mn、Cu和Zn分布及其与有机质间的关系[J]. 天津农学院学报, 2016, 23(1): 14-17, 22.
Wang D, Tian X P, Zhang Z Y. Distribution of various forms iron, manganese, copper, zinc and relationship between organic matter and various forms on lessive[J]. Journal of Tianjin Agricultural University, 2016, 23(1): 14-17, 22.
[8] Rietz D N, Haynes R J. Effects of irrigation-induced salinity and sodicity on soil microbial activity[J]. Soil Biology and Biochemistry, 2003, 35(6): 845-854.
[9] 王国栋, 褚贵新, 刘瑜, 等. 干旱绿洲长期微咸地下水灌溉对棉田土壤微生物量影响[J]. 农业工程学报, 2009, 25(11): 44-48.
Wang G D, Chu G X, Liu Y, et al. Effects of long-term irrigation with brackish groundwater on soil microbial biomass in cotton field in arid oasis[J]. Transactions of the CSAE, 2009, 25(11): 44-48.
[10] Radim V, Radka K, Lubo B, et al. Combining reflectance spectroscopy and the digital elevation model for soil oxidizable carbon estimation[J]. Geoderma, 2017, 303: 133-142.
[11] Fernandes M M H, Coelho A P, Fernandes C, et al. Estimation of soil organic matter content by modeling with artificial neural networks[J]. Geoderma, 2019, 350: 46-51.
[12] Kweon G, Lund E, Maxton C. Soil organic matter and cation-exchange capacity sensing with on-the-go electrical conductivity and optical sensors[J]. Geoderma, 2013, 199: 80-89.
[13] Siebielec G. McCarty G W, Stuczynski T I, et al. Near- and mid-infrared diffuse reflectance spectroscopy for measuring soil metal content[J]. Journal of Environmental Quality, 2004, 33(6): 2056-2069.
[14] 于雷, 洪永胜, 周勇, 等. 高光谱估算土壤有机质含量的波长变量筛选方法[J]. 农业工程学报, 2016, 32(13): 95-102.
Yu L, Hong Y S, Zhou Y, et al. Wavelength variable selection methods for estimation of soil organic matter content using hyperspectral technique[J]. Transactions of the CSAE, 2016, 32(13): 95-102.
[15] 田美玲, 葛翔宇, 丁建丽, 等. 耦合机器学习和机载高光谱数据的土壤含水量估算[J]. 激光与光电子学进展, 2020, 57(9): 093002.
[16] Cheng H, Shen R L, Chen Y Y, et al. Estimating heavy metal concentrations in suburban soils with reflectance spectroscopy[J]. Geoderma, 2019, 336: 59-67.
[17] van der Meer F. Acknowledgement of reviewer services to the International Journal Applied Earth Observation and Geoinformation[J]. International Journal of Applied Earth Observation and Geoinformation, 2017, 58: A1.
[18] 陈斌, 邹贤勇, 朱文静. PCA结合马氏距离法剔除近红外异常样品[J]. 江苏大学学报(自然科学版), 2008, 29(4): 277-279, 292.
Chen B, Zou X Y, Zhu W J. Eliminating outlier samples in near-infrared model by method of PCA-mahalanobis distance[J]. Journal of Jiangsu University (Natural Science Edition), 2008, 29(4): 277-279, 292.
[19] 葛翔宇, 丁建丽, 王敬哲, 等. 基于竞争适应重加权采样算法耦合机器学习的土壤含水量估算[J]. 光学学报, 2018, 38(10): 1030001.
[21] Isaksson T, Næs T. The effect of multiplicative scatter correction (MSC) and linearity improvement in NIR spectroscopy[J]. Applied Spectroscopy, 1988, 42(7): 1273-1284.
[22] Viscarra Rossel R A, Behrens T, Ben-Dor E, et al. A global spectral library to characterize the world's soil[J]. Earth-Science Reviews, 2016, 155: 198-230.
[23] 张子鹏, 丁建丽, 王敬哲. 基于谐波分析算法的干旱区绿洲土壤光谱特性研究[J]. 光学学报, 2019, 39(2): 0228003.
[25] Wold S, Sjöström M, Eriksson L. PLS-regression: a basic tool of chemometrics[J]. Chemometrics and Intelligent Laboratory Systems, 2001, 58(2): 109-130.
[26] 薛利红, 周鼎浩, 李颖, 等. 不同利用方式下土壤有机质和全磷的可见近红外高光谱反演[J]. 土壤学报, 2014, 51(5): 993-1002.
Xue L H, Zhou D H, Li Y, et al. Prediction of soil organic matter and total phosphorus with VIS-NIR hyperspectral inversion relative to land use[J]. Acta Pedologica Sinica, 2014, 51(5): 993-1002.
[27] EhrentrautD, PollnauM. On the potential of BaSO4∶Mn 6+ for broadly tunable laser emission in the near infrared spectral region [C]∥Conference on Lasers and Electro-Optics Europe, June 22-27, 2003, Munich, Germany. New York: IEEE, 2003: 343.
[28] Hong Y S, Shen R L, Cheng H, et al. Cadmium concentration estimation in peri-urban agricultural soils: Using reflectance spectroscopy, soil auxiliary information, or a combination of both?[J]. Geoderma, 2019, 354: 113875.
[29] Hong Y S, Liu Y L, Chen Y Y, et al. Application of fractional-order derivative in the quantitative estimation of soil organic matter content through visible and near-infrared spectroscopy[J]. Geoderma, 2019, 337: 758-769.
[30] 姜雪芹, 叶勤, 林怡, 等. 基于谐波分析和高光谱遥感的土壤含水量反演研究[J]. 光学学报, 2017, 37(10): 1028001.
[31] 叶勤, 姜雪芹, 李西灿, 等. 基于高光谱数据的土壤有机质含量反演模型比较[J]. 农业机械学报, 2017, 48(3): 164-172.
Ye Q, Jiang X Q, Li X C, et al. Comparison on inversion model of soil organic matter content based on hyperspectral data[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(3): 164-172.
[32] 沈兰芝, 高懋芳, 闫敬文, 等. 基于SVR和PLSR的土壤有机质高光谱估测模型研究[J]. 中国农业信息, 2019( 1): 58- 71.
Shen LZ, Gao MF, Yan JW, et al. Estimation model of soil organic matter based on SVR and PLSR[J]. China Agricultural Informatics, 2019( 1): 58- 71.
[33] 李冠稳, 高小红, 肖能文, 等. 特征变量选择和回归方法相结合的土壤有机质含量估算[J]. 光学学报, 2019, 39(9): 0930002.
[34] Rossel R A V, Behrens T. Using data mining to model and interpret soil diffuse reflectance spectra[J]. Geoderma, 2010, 158(1/2): 46-54.
[35] HortaA, MaloneB, StockmannU, et al. and spatial analysis for enhanced assessment of soil contamination: a prospective review[J]. Geoderma, 2015, 241/242: 180- 209.
[36] 赵启东, 葛翔宇, 丁建丽, 等. 结合分数阶微分技术与机器学习算法的土壤有机碳含量光谱估测[J]. 激光与光电子学进展, 2020, 57(15): 153001.
[37] Chakraborty S, Man T, Paulette L, et al. Rapid assessment of smelter/mining soil contamination via portable X-ray fluorescence spectrometry and indicator kriging[J]. Geoderma, 2017, 306: 108-119.
[38] O"Rourke S M, Stockmann U, Holden N M, et al. An assessment of model averaging to improve predictive power of portable VIS-NIR and XRF for the determination of agronomic soil properties[J]. Geoderma, 2016, 279: 31-44.
Article Outline
马国林, 丁建丽, 张子鹏. 基于土壤协变量与VIS-NIR光谱估算土壤有机质含量的研究[J]. 激光与光电子学进展, 2020, 57(19): 192801. Guolin Ma, Jianli Ding, Zipeng Zhang. Soil Organic Matter Content Estimation Based on Soil Covariate and VIS-NIR Spectroscopy[J]. Laser & Optoelectronics Progress, 2020, 57(19): 192801.
PDF全文
