1 山西农业大学农业工程学院, 山西 太谷 030801
2 山西农业大学谷子研究所, 山西 长治 046000
准确预测农田土壤有机质含量有助于评估农田肥力状况, 为精准农业提供数据依据。 为解决单模型实现快速估测农田土壤表层有机质含量精度较低和泛化能力较弱的问题, 以山西省典型褐土农田表层土壤为研究对象, 基于近红外-可见光高光谱数据, 提出了一种堆叠泛化模型(SGM)用于预测有机质含量。 首先对原高光谱数据采用小波平滑, 对平滑数据进行倒数一阶微分、 对数倒数一阶微分变换, 采用相关系数与递归特征消除法进行特征波段提取。 同时, 引入机器学习中的集成学习随机森林Random Forest(RF)、 梯度提升决策树Gradient Boosting Decision Tree (GBDT)、 极限梯度提升eXtreme Gradient Boosting (XGBoost)、 AdaBoost 4个初级机器学习器模型通过5折交叉验证对有机质含量进行预测, 在初级学习器预测结果基础上, 采用随机梯度下降SGD (stochastic gradient descent)作为元学习器建立SGM堆叠泛化模型。 突破单模型精度较低和不稳定的制约, 实现有机质含量的快速稳定检测。 结果表明: 倒数一阶微分变换后的光谱信息与有机质含量具有较好的相关性, 相关性最大值达到了-0.611; 相比单模型, 堆叠泛化预测模型的决定系数(R2)和相对分析误差(RPD)分别为0. 819和2.256, 较其他算法平均决定系数(R2)和平均相对分析误差(RPD)分别提高了0.055和0.323; 平均绝对误差(MAE)、 均方根误差(RMSE)分别为1.742和2.308 g·kg-1, 较其他算法平均绝对误差(MAE)和平均均方根误差(RMSE)分别降低了0.406和0.389 g·kg-1, 优化效果明显, 可用于农田土壤表层有机质含量的有效估测。 研究成果可为农田土壤表层有机质含量的高光谱快速检测提供依据和参考。
可见光-近红外 高光谱预测 有机质含量 堆叠泛化模型 Visible-near infrared Hyperspectral estinmation Soil Organic Matter Stacked generalization model
1 山西农业大学农业工程学院, 山西 太谷 030800
2 山西农业大学园艺学院, 山西 太谷 030800
土壤有机质是土壤的重要成分, 也是农作物生长的重要营养指标。 快速、 准确检测土壤有机质含量对施肥管理具有重要意义。 近年来, 近红外光谱被广泛应用于土壤有机质的快速检测, 然而土壤有机质敏感波段易受土壤水分干扰, 从而会影响到土壤有机质的预测结果。 在山西省境内采集了140个土壤样本, 采用ASD光谱仪分别获取了不同含水率(0%, 5%, 10%, 15%, 17%)土壤样本谱图曲线(350~2 500 nm)。 为了提高土壤有机质预测模型精度, 提出特征波长积分算法, 即通过特征波长处吸光度的积分值作为自变量进行建模的方法, 建立了土壤有机质预测模型及抗水分干扰修正系数模型。 结果表明: (1)使用特征波长处吸光度的积分值作为自变量建立的土壤有机质预测模型统计参数优于传统的使用特征波长处的吸光度值作为自变量的建模方法; (2)校正后的湿土光谱更加接近干土土样, 在一定程度上解决了传统水分修正系数在水分含量较高时修正效果较差的问题; (3)提高了湿土样本的预测精度, 预测相关系数(RP)提升了约0.09, 预测均方根误差(RMSEP)降低了约1.72 。 说明该方法可以有效降低水分对土壤有机质光谱的影响, 提高不同含水率土壤有机质的预测精度, 可为后续仪器开发提供理论支持。
土壤有机质 近红外光谱 积分算法 水分修正系数 Soil organic matter Near-infrared spectroscopy Integration algorithm Moisture correction coefficient
山西农业大学农业工程学院,山西 晋中 030801
小米含水率是衡量小米品质的重要指标,以小米含水率为外扰因素研究了不同含水率样本的二维相关光谱,以实现小米含水率的检测。获取60个样本的近红外光谱,经过4种预处理方法处理后,基于全波段光谱建立样本含水率的偏最小二乘回归(PLSR)模型。经过对比得出不加预处理的模型,其预测效果最好,校正集决定系数(Rc2)为0.9460,均方根误差(RMSEC)为0.49%,预测集决定系数(Rp2)为0.9391,均方根误差(RMSEP)为0.63%。以小米含水率为外扰因素,将小米不同含水率梯度的光谱数据进行二维相关光谱分析,通过二维相关同步谱的6个自相关峰对应波长选出1083,951,868,1314,1675,1865 nm作为特征波长。以此建立小米含水率的预测模型,相比于由全光谱数据建立的模型,本文所提模型因波长变量极大地减少,得到了简化,校正集决定系数(Rc2)为0.952,均方根误差(RMSEC)为0.60%,预测集决定系数(Rp2)为0.897,均方根误差(RMSEP)为0.63%。结果表明二维相关的近红外光谱分析可以实现小米含水率的预测,同时能够提取特征波长,这为设计基于分立波长元件的小米专用水分检测仪提供了依据。
光谱学 二维相关光谱 近红外光谱 含水率 小米 激光与光电子学进展
2022, 59(8): 0830002
山西农业大学农业工程学院, 山西 晋中 030801
有机磷农药毒死蜱是目前农业生产中使用最广泛的农药之一, 但有机磷农药过度使用导致的农药残留却给自然环境和人类生命健康造成严重威胁, 因此, 开发一种快捷、 准确、 经济的毒死蜱农药在农产品表面残留的直接检测方法意义重大。 配制4组不同体积浓度(1:200, 1:500, 1:800, 1:1 000)的毒死蜱农药溶液, 对照组为纯净水, 分别浸泡甘蓝叶片3 min, 每组采集30个叶片样本, 5组共计150个样本。 采用可见近红外光谱仪获取其谱图信息, 然后开展不同浓度毒死蜱农药在甘蓝叶片上残留的可见近红外光谱定性分析研究。 建模时, 将每组数据中24个样本, 5组共计120个样本作为建模训练集, 剩下每组6个样本, 5组共计30个样本作为预测集。 鉴于甘蓝叶面不平整、 皱褶较多, 叶片颜色深浅不一等因素会给近红外光谱分析带来干扰, 给预测模型的建立增加难度, 提出一种光谱全波段平均分组积分(求和)预处理方法, 将光谱波段平均分成n组, 再对分组后每组数据积分求和, 用预处理后的数据训练BP神经网络。 实验表明, 光谱全波段平均分组积分(求和)预处理方法, 对光谱反射率一阶导数(FD)且分组数为25的神经网络训练效果最好, 建模集识别准确率为97.50%, 预测集识别准确率为96.67%, 建模效果优于通常采用的提取光谱敏感、 特征波段建模方法(建模集识别准确率为91.67%)。 光谱全波段平均分组积分预处理方法在保留光谱数据更多特征波段的同时探索更多潜在敏感波段, 能够降低光谱数据维度, 减小单个光谱数据噪声对建模效果的影响, 选择合适的分组数n, 能取得较好的建模预测效果。
可见近红外光谱 定性分析 有机磷农药残留 毒死蜱 甘蓝 Visible near infrared spectroscopy Qualitative analysis Organophosphate pesticide residues Chlorpyrifos Cabbage
黑枸杞含有花青素、 多糖、 氨基酸和微量元素等多种营养成分, 具有极高的经济和医药价值, 其市场价格很高。 唐古特白刺果外观和黑枸杞极为相似, 其价格较低, 经常被用于冒充黑枸杞。 高光谱图像技术结合图像和光谱于一体, 常用于食品检测和识别等领域。 结合高光谱图像技术, 无损识别黑枸杞和唐古特白刺果。 采集黑枸杞(180份)和唐古特白刺果(180份)的高光谱图像, 利用掩膜提取光谱, 光谱范围为900~1 700 nm, 共254个波段, 去除前22个异常波段。 采用Kennard-Stone法划分样品, 校正集:预测集=2:1; 采用连续投影算法(SPA)法对光谱进行降维, 设定提取特征波长范围为0~30, 最终提取特征波长为20个; 分别将全光谱(FS)和SPA提取的20个特征波长作为模型输入, 建立支持向量机(SVM)和极限学习机(ELM)识别模型。 结果表明, 基于FS和SPA建立的SVM模型识别率为100%; 基于FS和SPA建立的ELM模型识别率为100%; SPA法在不降低模型识别精度的情况下, 能减少模型输入, 输入仅为FS的8.62%, 大大降低模型运算量。 此研究为识别黑枸杞和唐古特白刺果提供了参数。
高光谱 模型 鉴别 黑枸杞 唐古特白刺果 Hyperspectral Model Identify Black Goji Berry Nitraria Tanggu 光谱学与光谱分析
2021, 41(7): 2240
提出一种重加权总变分与hyper-Laplacian相结合的图像盲复原算法。首先,通过重加权总变分先验重建模糊图像权重的双峰分布;然后,利用重建后的图像估计连续且稀疏分布的点扩展函数,并用其复原模糊图像,对以上两步反复迭代,使点扩展函数不断接近真实的解;最后,结合hyper-Laplacian函数曲线能很好地拟合自然图像梯度分布的先验对模糊图像进行非盲复原。实验结果表明,与两种具有代表性的盲复原算法相比,该算法能更准确地预测出模糊核,并有效抑制图像的振铃效应,且在主观视觉与客观评价指标上都得到明显的提升。
图像处理 图像盲复原 重加权总变分 hyper-Laplacian函数 模糊核 迭代 激光与光电子学进展
2020, 57(8): 081025
1 北京农业质量标准与检测技术研究中心, 北京 100097
2 山西农业大学工学院, 山西 太谷 030801
3 农产品产地环境监测北京市重点实验室, 北京 100097
土壤水分对近红外光谱表现出强烈的吸收和对土壤有机质含量的预测造成干扰。 研究选择41个样本作为校正集和9个样本作为预测集, 所有样本做不同含水率(5%, 10%, 15%和17%)的处理。 采用S/B和DS算法分别对预测结果和全光谱进行校正, 消除土壤水分的影响。 结果得出预测结果偏差减小和模型预测性能得到改善, Rp高于0.89和RMSEP低于0.885%。 研究表明S/B和DS算法能有效消除土壤水分的影响和提高土壤有机质预测的准确性。
S/B算法 DS算法 土壤水分 土壤有机质 近红外光谱 Slope/bias algorithm Direct standardization algorithm Soil moisture Soil organic matter Near infrared spectroscopy 光谱学与光谱分析
2019, 39(6): 1986
土壤有机质(SOM)是植物生长必需的营养物质, 也是土壤属性检测的重要参数。 快速、 高效地获取土壤有机质信息对精细农业的发展具有重要意义。 近红外光谱技术具有快捷、 低成本等优势, 被广泛应用到土壤有机质的测量中, 然而土壤水分在近红外光谱(780~2 500 nm)中具有很强的吸收特性, 对土壤有机质的检测形成了一定的干扰。 分析了50个土样在不同含水率(约17%, 15%, 10%, 5%和干土)下的近红外吸光度谱图特性, 利用水分敏感波段2 210, 1 415和1 929 nm构建了水分修正系数(MDI), 并在此基础上对不同含水率土样进行了重构, 以消除水分对土壤有机质预测模型的影响。 结果如下: (1)经MDI校正重构后的吸光度谱图与对应的干土土样吸光度谱图相近, 能较好地反映其干土土样的吸光度谱图特性。 (2)采用偏最小二乘(PLS)法建立了干土土样的有机质定量预测模型, 并对重构后的不同含水率土样进行了预测, 其统计参数分别为: 预测相关系数(RP)0.90, 预测标准误差(SEP)0.802和预测均方根误差(RMSEP)1.09; 与原始未经MDI校正的预测结果相比, 相关系数上升了0.032, 预测标准误差降低了0.113, 预测均方根误差降低了0.25。 结果表明, 本研究提出的水分校正算法可以降低水分对土壤有机质预测的干扰, 提高利用干土土样有机质定量预测模型预测不同含水率土样的精度, 可为基于近红外光谱技术的土壤有机质实时测定技术的推广提供理论依据。
近红外光谱 土壤有机质 水分校正算法 偏最小二乘法 Near infrared reflectance spectroscopy Soil organic matter Moisture correction algorithm Partial least squares 光谱学与光谱分析
2019, 39(4): 1059
土壤水分对光谱表现出很强的吸收性, 且土壤水分与土壤有机质的吸收波段有重叠, 因此土壤水分对土壤有机质的检测造成一定的干扰。 为此做了以下工作: (1)采用可见近红外光谱仪在室内获取相同含水率下不同土壤动态光谱图; (2)通过对相同含水率下不同有机质含量的二维同步相关光谱图分析得出: 当土壤为烘干土样时, 600和1 660 nm左右表征土壤有机质的波段出现强的自相关峰, 但随着含水率的增加, 这两个波段逐渐消失, 由于受水分的影响, 1 931, 2 200和1 480 nm均形成了强的自相关峰。 说明水分会掩盖表征土壤有机质信息的波段, 对土壤有机质检测造成干扰。 (3)为了消除水分影响, 提高模型对不同含水率下土壤有机质的预测精度, 将田间近似最大含水率样本参与建模, 采用偏最小二乘定量分析方法在550~650和1 610~1 710 nm波段内建立了抗水分干扰土壤有机质预测模型, 并对不同含水率的土壤有机质进行预测, 结果表明: 预测样本的相关系数为0.954, 标准偏差为0.744%, 标准差为0.844%, 预测效果明显提高, 说明此方法可减少水分对土壤有机质检测的影响。Spectral Technology
水分 有机质 抗水分干扰模型 可见近红外光谱 Water Organic matter Anti-moisture interference model Vis-NIR spectroscopy 光谱学与光谱分析
2016, 36(10): 3249
针对近红外光谱检测中存在的模型传递问题, 即在某一测试环境或仪器上建立的定性定量预测模型不适用于其他检测环境或仪器所采集的数据, 该研究以土壤有机质为研究对象, 采用FIR算法开展了此方面的研究工作。 首先, 在山西境内不同地方采集了59个壤土土壤样本, 选用ASD公司的FieldSpec3光谱检测仪, 分两批次对土壤样本进行了近红外光谱检测。 第一批测试土样称为“源机样本”为50个, 第二批测试土样称为“目标机样本”为9个; 然后, 随机选取“源机样本”中的41个样本作为校正样本, 其余9个样本作为预测样本, 采用偏最小二乘(PLS)定量预测方法建立了土壤有机质的定量预测模型, 预测样本的预测相关系数为0.961, 预测样本标准差(RMSEP)为0.600%, 预测样本标准偏差(SEP)为0.597%, 说明采用该方法可以很好地预测“源机样本”。 当采用上述模型对9个“目标机样本”进行预测时, 发现其预测相关系数为负值, 表明采用该模型直接对“目标机样本”进行预测是不可行的。 最后, 采用FIR模型传递算法对“目标机样本”进行了处理, 当窗口大小为p=516时预测效果提高, 预测相关系数为0.706, RMSEP为0.662%, SEP为0.430%, 说明FIR可以实现不同测试条件下获得谱图的传递, 实现模型的共享。
近红外 模型传递 土壤 有机质 Near infrared spectroscopy FIR FIR Calibration transfer Soil Organic matter 光谱学与光谱分析
2015, 35(12): 3360