基于谐波分析算法的干旱区绿洲土壤光谱特性研究 
下载： 983次
1 引言
土壤有机质(SOM)是土壤肥力的重要组成部分,它对于促进土壤结构的形成,改善土壤理化性质,提高土壤保肥能力具有重要作用,是评估土壤肥力与生产力的重要指标[1]。传统的SOM含量测定多基于化学分析方法,费时费力,无法满足现代精细农业发展的需要。与传统的化学分析方法相比,遥感技术是一种很有前途的土壤属性定量评估方法,该技术具有低成本、高效益的优点,可以很好地描述和评估不同尺度的表层土壤的各种特征[2]。因此,光谱分析技术可以作为一种替代方法来估算SOM含量。
SOM在可见-近红外波段具有不同的光谱反射和吸收特征,这为其定量化分析奠定了基础[3-7]。近年来,国内外众多学者在利用土壤光谱估算SOM含量方面进行了大量研究,但基于不同建模方法得到的SOM含量的估算精度具有较大差异[8-11]。其中,反向传播(BP)神经网络因具有操作简单、稳健性高等优点而被广泛应用于SOM的建模研究中,但BP神经网络的本质属于梯度下降算法,存在局部最优的问题,因此不同的参数设定可能会导致网络陷入局部最优解[12]。针对BP神经网络的本质特点以及初始权值、阈值的随机性,采用遗传算法(GA)优化上述两个参量,并比较BP神经网络与GA-BP神经网络对SOM含量估算的拟合效果。
土壤是由多种物质组成的混合物,其反射光谱常包括背景噪声、基线漂移和倾斜等干扰信息,将反射光谱直接用于SOM含量的估算得到的效果并不好[13]。Bioucas-Dias等[14]的研究表明,地物反射光谱以光的反射强度为特征信号,属于电磁波谱的一部分,而任何复杂的波都由许多不同频率、 振幅和相位的正弦分量组成。谐波分析(HA)算法是研究非线性畸变和提取信号的振幅、相位等分量的较为成熟的方法,其应用范围也比较广泛[15-16]。采用HA算法处理土壤光谱,获得与SOM含量相关性较高的谐波特征分量,并将其作为建模因子,可以构建SOM含量的估算模型。
本课题组从光谱数据的预处理入手,对土壤的原始光谱进行Savitzky-Golay(S-G)平滑和一阶微分(FD)处理,并在此基础上,引入HA算法,对全波段数据进行多次HA。根据HA的结果确定各谐波分量的最优分解次数,基于最优HA次数选择谐波特征分量,以此作为建模因子,实现SOM含量的估算。最后对各估算模型的精度进行比较,研究结果表明:非线性BP神经网络模型的估算能力明显优于线性模型;经GA优化的BP神经网络的估算能力最好。
2 实验数据与方法流程
2.1 研究区介绍及土壤样品的制备
研究区位于为渭-库绿洲,地处新疆南部,塔里木盆地中北部,包括新和县、沙雅县和库车县3个行政县域。该地区属于典型的温带大陆性气候,具有冬冷夏热、昼夜温差大、气候干燥、降水少、蒸发强等特点[17]。同时,该地区属于绿洲灌溉农业区,土壤类型以潮土、灰漠土、荒漠土、棕漠土等为主。由于土地利用方式及土壤类型的不同,SOM含量的空间分异性较为明显[18]。研究区采样图如
根据研究区的特点,共设置101个采样点,以梅花采样法采集5点的样本,混合后作为土壤样品,采样深度为0~20 cm,使用手持全球定位系统(GPS)记录样点的位置,以便用于检验。采集后的样品带回实验室后进行自然风干处理,粗略去除沙砾及植物残体后进行碾磨,并过2 mm孔筛。将土壤样品分为两份,一份用于室内采集光谱数据,另一份基于重铬酸钾-外加热法[19]测定SOM含量。为了保证建模集和验证集数据都尽可能地涵盖SOM含量的全部范围,使用Kennard-Stone(K-S)算法对样本集合进行划分[20],101个土壤样本被分成两部分,其中的71个样本用于建模,剩余的30个样本用于验证建模的结果。SOM含量的统计特征如
由
2.2 光谱数据的采集
测定土壤光谱的光谱仪型号为美国ASD公司的Field Spec 3型,其采样间隔为1.4 nm和2 nm(350~1000 nm与1000~2500 nm区间),重采样间
表 1. SOM含量的统计特征
Table 1. Statistical characteristics of SOM content
| |||||||||||||||||||||||||||||||
隔为1 nm,输出波段数为2151个[21]。土壤光谱的测定在暗室中进行,选用50 W的卤素灯,探头的视场角为5°,探头距离土壤表面30 cm,每次测定前均进行白板定标,每个土壤样本重复测定10次,取算术平均值作为该样品的反射率。
2.3 光谱数据的预处理
位于两端处的光谱数据(350~400 nm和2401~2500 nm)通常存在高频噪声,需要剔除。对101个土壤样本在401~2400 nm波段的反射率光谱进行二阶9点S-G平滑[22]处理。光谱微分是增加信噪比的主要技术手段,其中FD可以去除不同的背景噪声,修复基线漂移,能反映被测地物的本质特征。同时,经FD处理后的光谱的分辨率更高,且光谱轮廓更加清晰[23]。基于此,利用FD对平滑后的光谱数据进行后处理,并将其应用于后续的研究中。
2.4 HA原理
HA又称调和分析,其通过正弦函数和余弦函数来拟合数字信号或时间序列的周期函数,将原始数据从时域变换到频率域,并根据相应的谐波分解式提取信号的振幅、相位等信息[24]。进行HA时,将光谱曲线的波段数
式中:
1)
2.5 SOM含量的估算流程
使用主成分分析(PCA)后的主分量作为建模因子,采用线性模型中的多元线性回归(MLR)和非线性模型中的BP神经网络作为估算模型,并引入GA对BP神经网络进行参量优化。SOM含量的估算流程如
2.6 模型的精度检验
分别采用BP神经网络和MLR模型构建SOM含量的高光谱估测模型,并从拟合程度、估算能力、准确性3个方面对模型进行验证。模型的拟合度用决定系数
3 结果分析与讨论
3.1 光谱的预处理
图 3. 原始光谱、FD光谱与SOM含量的相关性曲线
Fig. 3. Correlation curves of original spectrum, FD spectrum and SOM content
由
3.2 谐波分析
以500~4000次为HA区间,500次为HA间隔,对FD处理后的土壤光谱利用(1)~(6)式进行HA,获得谐波特征分量
图 4. 不同HA次数下谐波分量与SOM含量的相关系数图。(a)(e)(i)(m) At与SOM的相关系数;(b)(f)(j)(n) Bt与SOM的相关系数;(c)(g)(k)(o) Ct与SOM的相关系数;(d)(h)(l)(p) φt与SOM的相关系数
Fig. 4. Correlation coefficient diagrams of harmonic component and SOM content at different HA times. (a)(e)(i)(m) Correlation coefficient of At and SOM content; (b)(f)(j)(n) correlation coefficient of Bt and SOM content; (c)(g)(k)(o) correlation coefficient of Ct and SOM content; (d)(h)(l)(p) correlation coefficient of φt and SOM content
由
由
由
表 2. 不同HA次数下At与SOM含量的相关系数统计特征
Table 2. Statistical characteristics of correlation coefficients between At and SOM content at different HA times
|
表 3. 不同HA次数下Bt与SOM含量的相关系数统计特征
Table 3. Statistical characteristics of correlation coefficient between Bt and SOM content at different HA times
|
表 4. 不同HA次数下Ct与SOM含量的相关系数统计特征
Table 4. Statistical characteristics of correlation coefficient between Ct and SOM content at different HA times
|
由
根据HA为2000次时的对称性和HA为4000次时的周期对称性,将HA的整周期确定为2000次,与光谱曲线的周期(波段数)
表 5. 不同HA次数下φt与SOM含量的相关系数统计特征
Table 5. Statistical characteristics of correlation coefficient between φt and SOM content at different HA times
|
3.3 模型的构建
为了提高BP神经网络的运算速率和减小运算误差,对选出的21个谐波特征分量进行PCA,并提取主成分特征值。由
BP神经网络的本质是梯度下降算法,该算法本身存在收敛速度慢和易陷入局部极小值的缺陷,同时,初始权值和阈值的随机性对网络学习结果的影响较大[25]。因此,引入GA对BP神经网络连接层的权值和阈值进行优化(GA算法与神经网络算法相结合可以避免陷入局部最优解),以达到更好的估算结果[26]。结合实际情况对BP神经网络的参数进行多次训练,最终确立网络拓扑结构为7-5-1。其中,网络迭代运算次数为2000次,学习率为0.01,学习误差为0.001,如
表 6. PCA特征值和方差贡献率
Table 6. Characteristic value of PCA and variance contribution rate
|
根据BP神经网络的拓扑结构,计算得出需要优化的权值和阈值共46个,基于对算法精度、可行性和复杂度的考虑,经过反复测试确定GA算法的染色体数目为50,进化代数为50,选择概率为0.9,选择方法为轮盘赌法,交叉概率为0.9,变异概率为0.1。选择误差平方和的倒数作为适应度函数值,即最优个体的适应度函数值越小,它与期望值之间的误差就越小,通过反复的迭代运算寻找BP神经网络连接层的最优权值和阈值。从
表 7. 不同估算模型的精度统计结果
Table 7. Accuracy statistical results of different estimate models
|
图 7. 不同模型SOM含量的实测值与估算值。(a) MLR模型; (b) BP模型; (c) GA-BP模型
Fig. 7. Measured and estimated SOM content for different models. (a) MLR model; (b) BP model; (c) GA-BP model
3.4 讨论
高光谱数据的预处理可以在不同程度上提高光谱数据对待测物的敏感程度,以进一步优化模型的量化效果[20]。Shi等[27]对光谱数据进行多种数学变换后发现,SOM的敏感波段集中在600~800 nm附近,并且光谱数据与SOM含量呈负相关关系。本研究所发现的敏感波段与其研究结果基本一致。姜雪芹等[28]在黄土高光谱数据的处理中引入HA算法,选择相关系数大于0.5的180个特征波段进行180次谐波分解,并从相位、振幅等方面初步探讨了其与土壤水分含量的关系。
本研究以500~4000次为谐波分解区间,以500次为谐波分解间隔对土壤的FD光谱进行HA,并计算各次HA的特征分量与SOM含量的相关系数。研究发现:
此外,本研究还尝试性地用谐波特征分量对SOM含量进行高光谱建模。Wang等[20]对盐渍土光谱进行FD处理,得到的RPD为1.14,RMSEP为8.09×10-3,
此外,根据已有的研究可知:当SOM含量(质量分数)大于20×10-3时,其成为土壤光谱特性的主要影响因素;当SOM含量(质量分数)小于20×10-3时,土壤的其他组成物质对土壤光谱特性的影响有所增强,这对于特征波段的选取和估算模型的建立都带来了巨大挑战[29]。周倩倩等[30]采用多种方法对光谱数据进行预处理,其中FD光谱与SOM含量的相关性最为显著。栾福明等[31]采用MLR模型和BP神经网络分别建立了SOM含量的估算模型,结果发现,利用BP神经网络建立的模型对SOM含量的估算效果较MLR模型更好,估算值与实测值更接近。本研究利用GA对BP神经网络连接层的权值和阈值进行多次迭代优化,并建立估算模型,结果发现:非线性BP神经网络模型的估算能力要明显优于线性模型MLR;而经过GA优化的BP神经网络对SOM含量的估算能力最好,其实测值和估测值基本分布于1∶1线附近(如
本研究的土壤采样点集中在渭-库绿洲及其周边地区,该地区存在土地荒漠化现象,而且土壤的盐渍化程度十分严重。土壤的酸碱度(pH)、含盐量等因素都会对干旱区SOM含量的估算精度产生影响。因此,本研究所建立的SOM含量估算模型对其他地区是否适用,还有待于进一步深入研究。因此,后续研究在讨论其他光谱预处理对HA影响的同时,需要进一步增加土壤采样点和扩大采样范围,以提高模型的估算精度和普适性。
4 结论
本研究以渭-库绿洲为研究区,通过实验获取了101个土壤样本的SOM含量数据及其高光谱数据,并在此基础上利用HA算法对高光谱数据进行处理,选择相关系数大于0.5的21个谐波特征分量进行建模,得出的结论如下:
1) 土壤的FD光谱具有较多的敏感波段,为了避免特征波段遴选时的不确定性,采用HA算法对土壤光谱进行时频变换和谐波特征分量的提取。研究发现:
2) 对比分析了MLR模型、BP神经网络模型和GA-BP模型对SOM含量的估算能力,得出非线性BP神经网络模型的估算能力要明显优于线性模型MLR的结论。而且,在非线性模型中,GA-BP的估算能力最好,该模型的RMSEP=3.92×10-3,
[1] Rossel R A V, McGlynn R N, McBratney A B. Determining the composition of mineral-organic mixes using UV-vis-NIR diffuse reflectance spectroscopy[J]. Geoderma, 2006, 137(1/2): 70-82.
[2] Ghamisi P, Yokoya N, Li J, et al. Advances in hyperspectral image and signal processing: a comprehensive overview of the state of the art[J]. Proceedings of the IEEE, 2017, 5(4): 37-78.
[3] MinasnyB, McBratney AB, Bellon-MaurelV, et al. Removing the effect of soil moisture from NIR diffuse reflectance spectra for the prediction of soil organic carbon[J]. Geoderma, 2011, 167-168: 118- 124.
[4] Peón J, Fernández S, Recondo C, et al. Evaluation of the spectral characteristics of five hyperspectral and multispectral sensors for soil organic carbon estimation in burned areas[J]. International Journal of Wildland Fire, 2017, 26(3): 230-239.
[5] Tahmasbian I, Xu Z H, Boyd S, et al. Laboratory-based hyperspectral image analysis for predicting soil carbon, nitrogen and their isotopic compositions[J]. Geoderma, 2018, 330: 254-263.
[6] Lin L X, Xue F C, Wang Y J, et al. Photography measured-value magnification improves local correlation maximization-complementary superiority method of hyperspectral analysis of soil total nitrogen[J]. Catena, 2018, 165: 106-114.
[7] Nocita M, Stevens A, Noon C, et al. Prediction of soil organic carbon for different levels of soil moisture using Vis-NIR spectroscopy[J]. Geoderma, 2013, 199: 37-42.
[8] Stenberg B. Effects of soil sample pretreatments and standardized rewetting as interacted with sand classes on Vis-NIR predictions of clay and soil organic carbon[J]. Geoderma, 2010, 158(1/2): 15-22.
[9] Gomez C, Lagacherie P. 189-[J]. Coulouma G. Regional predictions of eight common soil properties, their spatial structures from hyperspectral Vis-NIR data. Geoderma, 2012, 190: 176-185.
[10] 于雷, 洪永胜, 周勇, 等. 连续小波变换高光谱数据的土壤有机质含量反演模型构建[J]. 光谱学与光谱分析, 2016, 36(5): 1428-1433.
[11] Hong Y S, Yu L, Chen Y Y, et al. Prediction of soil organic matter by VIS-NIR spectroscopy using normalized soil moisture index as a proxy of soil moisture[J]. Remote Sensing, 2017, 10(2): 28.
[12] Luo H L, Yang Y, Tong B, et al. Traffic sign recognition using a multi-task convolutional neural network[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(4): 1100-1111.
[13] Peng X T, Shi T Z, Song A H, et al. Estimating soil organic carbon using VIS/NIR spectroscopy with SVMR and SPA methods[J]. Remote Sensing, 2014, 6(4): 2699-2717.
[14] Bioucas-Dias J M, Plaza A, Camps-Valls G, et al. . Hyperspectral remote sensing data analysis and future challenges[J]. Proceedings of the IEEE, 2013, 1(2): 6-36.
[15] Xue Z H, Du P J, Su H J. Harmonic analysis for hyperspectral image classification integrated with PSO optimized SVM[J]. Proceedings of the IEEE, 2014, 7(6): 2131-2146.
[16] Donoho D L, Maleki A, Rahman I U, et al. Reproducible research in computational harmonic analysis[J]. Computing in Science & Engineering, 2009, 11(1): 8-18.
[17] Ding JL, Yu D L.Monitoring and evaluating spatial variability of soil salinity in dry and wet seasons in the Werigan-Kuqa Oasis, China, using remotesensing and electromagnetic induction instruments[J].Geoderma, 2014, 235-236: 316- 322.
[18] 曹雷, 丁建丽, 于海洋. 渭-库绿洲多尺度景观格局与盐度关系[J]. 农业工程学报, 2016, 32(3): 101-110.
Cao L, Ding J L, Yu H Y. Relationship between multi-scale landscape pattern and salinity in Weigan and Kuqa rivers delta oasis[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(3): 101-110.
[19] 鲍士旦. 土壤农化分析[M]. 3版. 北京: 中国农业出版社, 2000.
Bao SD. Soil agrochemical analysis[M]. 3rd ed. Beijing: China Agriculture Press, 2000.
[20] Wang J Z, Ding J L, Abulimiti A, et al. Quantitative estimation of soil salinity by means of different modeling methods and visible-near infrared (VIS-NIR) spectroscopy, Ebinur Lake Wetland, Northwest China[J]. PeerJ, 2018, 6: e4703.
[21] Shi Z, Wang Q L, Peng J, et al. Development of a national VNIR soil-spectral library for soil classification and prediction of organic matter concentrations[J]. Science China Earth Sciences, 2014, 57(7): 1671-1680.
[23] 杜剑, 胡炳樑, 张周锋. 基于卷积神经网络与显微高光谱的胃癌组织分类方法研究[J]. 光学学报, 2018, 38(6): 0617001.
[24] 杨可明, 张涛, 王立博, 等. 高光谱影像的谐波分析融合算法研究[J]. 中国矿业大学学报, 2014, 43(3): 547-553.
Yang K M, Zhang T, Wang L B, et al. A new algorithm on hyperspectral image fusion based on the harmonic analysis[J]. Journal of China University of Mining & Technology, 2014, 43(3): 547-553.
[25] 葛翔宇, 丁建丽, 王敬哲, 等. 基于竞争适应重加权采样算法耦合机器学习的土壤含水量估算[J]. 光学学报, 2018, 38(10): 1030001.
[26] Wang W X, Tang R C, Li C, et al. A BP neural network model optimized by Mind Evolutionary Algorithm for predicting the ocean wave heights[J]. Ocean Engineering, 2018, 162: 98-107.
[27] Shi Z, Ji W. Viscarra Rossel R A, et al. Prediction of soil organic matter using a spatially constrained local partial least squares regression and the Chinese vis-NIR spectral library[J]. European Journal of Soil Science, 2015, 66(4): 679-687.
[28] 姜雪芹, 叶勤, 林怡, 等. 基于谐波分析和高光谱遥感的土壤含水量反演研究[J]. 光学学报, 2017, 37(10): 1028001.
[30] 周倩倩, 丁建丽, 唐梦迎, 等. 干旱区典型绿洲土壤有机质的反演及影响因素研究[J]. 土壤学报, 2018, 55(2): 313-324.
Zhou Q Q, Ding J L, Tang M Y, et al. Inversion of soil organic matter content in oasis typical of arid area and its influencing factors[J]. Acta Pedologica Sinica, 2018, 55(2): 313-324.
[31] 栾福明, 张小雷, 熊黑钢, 等. 基于不同模型的土壤有机质含量高光谱反演比较分析[J]. 光谱学与光谱分析, 2013, 33(1): 196-200.
Article Outline
张子鹏, 丁建丽, 王敬哲. 基于谐波分析算法的干旱区绿洲土壤光谱特性研究[J]. 光学学报, 2019, 39(2): 0228003. Zipeng Zhang, Jianli Ding, Jingzhe Wang. Spectral Characteristics of Oasis Soil in Arid Area Based on Harmonic Analysis Algorithm[J]. Acta Optica Sinica, 2019, 39(2): 0228003.
PDF全文
