1 华东交通大学基础实验与工程实践中心, 江西 南昌 330013
2 华东交通大学电气与自动化工程学院, 江西 南昌 330013
3 鲁南技师学院交通工程系, 山东 临沂 276000
4 华东交通大学土木建筑学院, 江西 南昌 330013
土壤肥力通常由有机质、 总氮、 速效磷、 速效钾等含量决定。 这些物质的含量通常采用可见/长波近红外光谱(visible/near-infrared spectroscopy, Vis/NIRS: 350～2 500 nm)进行研究, 可见/短波近红外区域(visible/shortwave near-infrared spectroscopy, Vis/NIRS: 325～1 075 nm)的研究却非常罕见, 将可见/短波近红外光谱结合机器学习算法来测量土壤养分具有巨大潜力。 选取了南昌市新建区和吉安市安福县的四个村庄作为样品获取地点, 通过2×2网格法选取对角区的10～30 cm深度的土壤样本, 其中水稻土120份(水稻土1和水稻土2), 棕壤60份、 红壤60份。 样品经过研磨、 风干等处理后用四分法均匀划分为两份, 用于测定样品光谱信息和理化信息。 将获取的光谱数据去除325～349和1 073～1 075 nm的噪声波段, 然后采用S-G卷积平滑结合一阶导数进行预处理。 将预处理后的光谱数据进行主成分分析(PCA), 根据主成分分析得到的得分图(PC1: 98.44%, PC2: 3.5%, PC3: 0.14%)显示出样品存在明显聚类现象且在二维空间内相互可分, 样品存在明显聚类现象, PCA可以在一定程度上合理解释不同土壤样品的光谱特征差异。 将预处理后的光谱数据建立全波段主成分回归(PCR)和偏最小二乘回归(PLSR)模型, 通过PCA和PLSR对光谱数据降维, 提取出3个主成分因子(PCs)和9个潜在变量(LVs), 建立非线性反向传播神经网络(BPNN)和最小二乘支持向量机(LS-SVM)模型。 通过比较PCR、 PLSR、 BPNN和LS-SVM方法对Vis/SW-NIRS及对OM、 TN、 P、 K的预测精度, 得出以下结论： (1)LS-SVM-LVs模型在所有土壤性能方面都优于PCR、 PLSR、 BPNN-PCs、 BPNN-LVs和LS-SVM-PCs模型; (2)LS-SVM-LVs模型对OM和N的预测精度最高, 这是在NIR区域具有光谱响应的特性; (3)采用Vis/SW-NIRS测定土壤矿质养分P和钾, 具有不同的准确性, 这是由于光谱活性成分的共变。 根据本研究取得的结果, 建议采用LS-SVM-LVs分析作为预测土壤性质(OM、 TN、 P和K)的最佳模型方法。 然而, 还需要进一步的研究来深入解释在近红外区域不具有直接光谱响应的土壤特性的测量。 该研究成果可以为当地的精细农业的发展提供理论与技术参考。
可见/短波近红外光谱 土壤 主成分分析 最小二乘支持向量机 反向传播神经网络 Visible/shortwave near-infrared spectroscopy Soil Principal component analysis Least squares-support vector machine Back propagation neural network 光谱学与光谱分析
2023, 43(11): 3535
1 自然资源部构造成矿成藏重点实验室(成都理工大学), 四川 成都 610059
2 中国地质调查局成都地质调查中心, 四川 成都 610081
3 中国地质大学(北京), 北京 100083
4 四川三合空间科技有限公司, 四川 成都 610094
稀散元素矿产资源是国民经济中的关键性矿产资源, 元素含量的提取是矿产资源潜力评价、 靶区优选的基础。 现有稀散元素含量分析面临快速检测、 潜力评价的需求, 基于高光谱的稀散元素含量反演是解决此问题的一种途径。 因此, 采集西藏斯弄多-则学矿集区的铅锌矿石, 开展铅锌矿石稀散元素镉(Cd)含量的高光谱反演方法与反演模型研究。 选用ASD Field Spec 3地物光谱仪及配套软件进行光谱数据采集和预处理； 在光谱特征分析基础上, 开展一阶微分(FD)、 二阶微分(SD)、 倒数的对数(AT)、 倒数对数的一阶微分(AFD)、 倒数对数的二阶微分(ASD)光谱数据变换处理, 结合皮尔森相关性系数(r)筛选特征波段, 进行随机森林(RF)、 人工神经网络(ANN)、 支持向量机(SVM)模型构建与反演, 选用决定系数(R2)和均方根误差(RMSE)评价反演模型效果与预测精度。 结果表明: 样品反射率集中于40%~60%区间； 1 420、 1 920和2 200 nm处形成吸收峰； 特征波段覆盖可见光和近红外波段, 771~2 051 nm为特征波段的最优区间。 SD光谱变换的降维效果最好, 筛选出15个特征波段； 其次为ASD和AFD光谱变换, 分别筛选出8个和2个特征波段。 FD与AT光谱变换未筛选出特征波段。 SD筛选的特征波段用于反演, 镉元素含量预测效果最好的是SD-ANN模型(R2=0.884, RMSE=2.679), 其次是SD-SVM模型(R2=0.830>0.8, RMSE=1.382), SD-RF模型预测效果最差(R2=0.505<0.6)。 ASD筛选的特征波段用于反演, 镉元素含量预测最好的是ASD-SVM模型(R2=0.857, RMSE=2.198), 其次是ASD-ANN模型(R2=0.846, RMSE=2.625)。 对比分析, 镉元素含量的高光谱反演模型效果为: SD-ANN>ASD-SVM>ASD-ANN>SD-SVM>ASD-RF>SD-RF。 该研究总结了铅锌矿石稀散元素镉的高光谱特征, 建立了镉元素含量的高光谱反演方法及模型, 为镉等稀散元素含量的高光谱反演、 无损检测、 快速分析提供了参考, 为高海拔勘探区稀散元素矿产资源的潜力评价、 靶区优选提供了科学支持。
稀散元素 镉含量分析 高光谱反演 可见光-近红外光谱 铅锌矿石 Rare-dispersed element Cadmium content analysis Hyperspectral inversion Visible and near infrared spectroscopy Lead zinc ore 光谱学与光谱分析
2023, 43(4): 1275
西北农林科技大学机械与电子工程学院, 陕西 杨凌 712100
利用可见-近红外光谱分析技术可以准确快速的获取土壤养分含量, 但不同类型土壤间养分含量校正模型的普适性是亟待解决的关键问题。 为提高有机质含量光谱校正模型在多类型土壤之间的普适性和农田在线检测有机质含量速度, 利用美国M107B区66个样品建立基于可见-近红外光谱的土壤有机质含量的粒子群-最小二乘支持向量机(PSO-LSSVM)校正模型, 预测M107B区的23个验证集样品的决定系数R2=0.859, 相对分析误差RPD=2.660; 将M107B区89个土壤样品作为校正集建模后对N116B区20个验证集样品的有机质含量预测, 预测R2=0.562, 预测RPD=0.952, 模型的预测R2和预测RPD分别降低34.6%和64.2%, 表明M107B区土壤有机质含量的可见-近红外光谱校正模型直接用于N116B区时, 预测精度显著降低; 将N116B区部分土壤样品加入到M107B区样品集后重新建模, 并预测N116B区20个验证集样品的有机质含量, 当加入的N116B区土壤样品数量达到35以上, 预测R2>0.80, 预测RPD>2.0; 加入到校正集的N116B区土壤样品数量从0增加到50, 模型预测R2从0.562增加到0.811, 预测RPD从0.952增加到2.274, 精度逐渐提高。 结果表明, 在M107B区校正模型中加入N116B区部分土壤样品建模, 能够有效提高M107B区土壤校正模型对N116B区土壤有机质含量的预测精度; 加入的N116B区土壤样品数量达到50以上, 模型预测性能趋于稳定, 预测精度达到实用要求, 成功将M107B区土壤有机质含量校正模型传递给N116B区土壤; 优先选择与M107B区土壤样品的有机质含量或光谱曲线差异较大的N116B区土壤样品参与建模, 可有效避免模型传递时模型性能出现突变。 提出的方法能够有效提高M107B区土壤的有机质校正模型对N116B区土壤的预测精度, 为基于可见-近红外光谱的农田土壤有机质含量实时检测提供一种新的经济可行的模型传递方法, 为提高多类型土壤的有机质含量检测模型的普适性提供一种有效的解决方案。
可见-近红外光谱 精细农业 土壤有机质 粒子群-最小二乘支持向量机 模型传递 Visible and near-infrared spectroscopy Precision agriculture Soil organic matter Particle swarm optimization-based least squares support vector machines Model transfer 光谱学与光谱分析
2022, 42(10): 3148
1 太原理工大学机械与运载工程学院, 山西 太原 030024
2 北京农业智能装备技术研究中心, 北京 100097
煤矸智能识别是实现综放开采智能化亟待研发的新技术; 可见-近红外光谱技术具有环保、 实时等优势, 满足煤矸智能分选的要求。 为解决基于可见-近红外光谱的煤矸识别问题, 引入在数据科学竞赛中表现出色的极端梯度提升树(XGBoost)算法。 搭建可见-近红外光谱实验平台采集来自山西西铭、 陕西神木、 内蒙古巴隆图煤矿的块状煤与矸石样品在370~1 049 nm波段的反射光谱; 利用黑白校正、 始末波段去除、 SG卷积平滑和标准正态变量变换(SNV)对采集的原始光谱进行预处理, 以减少光照不均、 噪声以及光程差的影响。 依据三个煤矿煤与矸石样品反射光谱的差异划分实验组和测试组, 实验组差异微小, 用于对比不同模型的性能, 挑选最佳算法; 测试组差异较明显, 用于测试最佳算法在其他煤矿下的表现, 检验算法对不同煤矿的适用性。 在实验组的实验中, 首先基于XGBoost算法建立煤与矸石分类模型, 并引入常用的机器学习分类算法k近邻法(KNN)、 随机森林(RF)、 支持向量机(SVM)做对比, 结果表明XGBoost的表现最佳, 十折交叉验证的平均准确度(ACC10)、 分类准确度(ACC)与AUC值分别达到0.957 2, 0.970 5与0.971 6, 体现出较强的稳定性与分类能力。 其次为降低数据维度减少模型运算量, 使用递归特征选择(RFE)、 连续投影算法(SPA)与竞争性自适应重加权算法(CARS)分别进行特征波长的选择并与上述四种分类算法结合构建简化分类模型, 经测试RFE与XGBoost组合的简化模型表现最佳, ACC10, ACC与AUC值分别为0.965 7, 0.980 3与0.980 3且数据维度降至9, 在降低数据维度的同时提高了模型的稳定性与分类能力。 在测试组的实验中, 基于优选出的XGBoost与RFE-XGB算法建立的模型, 同样可以实现对其他矿区煤与矸石稳定精确地识别, 且简化模型表现更好, 与实验组结果一致。
可见-近红外光谱 煤矸石分选 黑色背景 无损检测 XGBoost Visible and near-infrared Coal and gangue separation Black background Nondestructive detection XGBoost 光谱学与光谱分析
2022, 42(9): 2947
1 武汉大学资源与环境科学学院,湖北 武汉 430079
2 自然资源部数字制图与国土信息应用重点实验室,湖北 武汉 430079
3 土壤与农业可持续发展国家重点实验室,江苏 南京 210008
4 华中农业大学资源与环境学院,湖北 武汉 430070
5 Geographical and sustainability Science,The University of lowa,lowa City,IA 52245,USA
可见近红外非成像光谱分析技术已被广泛用于土壤有机碳(SOC)含量估测, 然而该技术的使用受土壤粗糙度的影响, 对样本的前处理要求较高, 导致模型的实用性受限。 针对这一问题, 以美国爱荷华州农田土壤为研究对象, 使用成像及非成像光谱仪获取土壤样本研磨前后的可见近红外反射光谱, 采用去包络线(CR)、 吸光度变换(AB)、 S-G平滑(SG)、 标准正态变换(SNV)、 多元散射校正(MSC)5种光谱预处理手段, 利用偏最小二乘回归(PLSR)和支持向量回归(SVR)算法构建并对比土壤SOC光谱估算模型, 探究利用成像光谱数据估测高粗糙度样本SOC含量的可行性。 实验结果表明, 使用成像光谱数据能够实现高粗糙度样本的SOC含量估算, 而使用非成像光谱数据则无法估算高粗糙度样本的SOC含量; 基于成像光谱数据建立的高粗糙度SOC最优PLSR估算模型R2能够达到0.739以及最优SVR估算模型R2为0.712, 而基于非成像光谱数据建立的高粗糙度SOC最优PLSR和SVR估算模型R2仅仅分别为0.344和0.311。 基于AB, SG, SNV和MSC这4种预处理手段之后的成像光谱数据建立的土壤样本研磨前的PLSR模型性能优于样本研磨之后建立的PLSR模型, 而SVR模型性能正好相反。 而对于非成像光谱数据来说, 土壤样本研磨后建立PLSR和SVR模型精度总是强于样本研磨前建立的模型精度。 对于这两种光谱数据和两个估算模型而言, 不同的光谱预处理方法提高模型估算精度的能力不同。 土壤样本研磨前后, 基于成像光谱数据建立的PLSR和SVR模型性能均优于非成像光谱数据所构建的模型。 成像光谱技术能够增强高粗糙度土壤样本可见近红外光谱与SOC的相关性, 从而提高模型估算精度; 能够克服土壤粗糙度的影响; 为野外大尺度估测SOC含量提供了新的手段。
成像光谱技术 土壤粗糙度 可见近红外光谱 光谱预处理 土壤有机碳 Imaging spectroscopy Soil roughness Visible and near-infrared spectra Spectra pre-processing Soil organic carbon 光谱学与光谱分析
2022, 42(9): 2788
1 东北大学资源与土木工程学院, 辽宁 沈阳 110819
2 东北大学江河建筑学院, 辽宁 沈阳 110819
3 中国黄金集团, 北京 100000
铁矿资源是我国国民经济基础产业中的重要组成要素, 在我国经济发展中有举足轻重的地位。 铁矿品位的检定效率对铁矿石开采效率有重大影响。 目前, 铁矿石品位的化学分析检定法, 不仅存在成本较高, 化验周期长的问题, 更主要的是其无法实现铁矿品位原位测定, 相对配矿流程存在滞后效应, 无法有效降低矿石开采的损失贫化率; 基于可见光-近红外光谱分析的铁矿品位原位测定技术是解决这一问题的有效途径。 以225个红岭矽卡岩型铁矿测试样本的可见光-近红外光谱数据及化学分析数据为数据源, 首先对原始数据进行了平滑处理, 并分析了矽卡岩型铁矿可见光-近红外光谱特征, 然后利用倒数对数、 多元散射校正(MSC)两种预处理方法对平滑后的光谱数据进行处理, 再分别以主成分分析法(PCA)、 遗传算法(GA)两种降维算法对预处理前后的光谱数据进行了处理, 获取了六种不同预处理组合算法处理后的数据源。 其中以PCA降维算法所降维数分别为3维、 3维、 7维; 以GA降维算法所降维数分别为477维、 489维、 509维。 最后基于随机森林(RF)和极限学习机(ELM)建立了矽卡岩型矿石金属铁品位的定量反演模型, 以决定系数(R2)、 均方根误差(RMSE)和平均相对误差(MRE)三个指标分别对模型的稳定性、 精确度、 可信度进行评价。 结果表明, 经MSC处理及PCA降维后的数据基于ELM算法建立的定量反演模型效果最优, 其R2可达0.99、 RMSE为0.005 7、 MRE为2.0%, 该方法所建模型对红岭矽卡岩型铁矿品位反演精度有明显的提升。 对矽卡岩铁矿品位的实时、 快速分析提供了一种有效的方法, 对实现矽卡岩型铁矿的高效开采具有重要的现实意义。
可见光-近红外光谱 矽卡岩铁矿 降维算法 预处理组合算法 定量反演模型 Visible and near-infrared spectroscopy Skarn-type iron ore Dimensionality reduction algorithm Preprocessing combination algorithm Quantitative inversion model
东北大学资源与土木工程学院, 辽宁 沈阳 110819
矿物与岩石的可见光-近红外光谱特性与内在理化特性紧密相关, 岩矿反射光谱的决定因素是其成分及含量。 为明确鞍山式铁矿反射光谱与铁品位之间的关系, 采用SVC HR-1024便携式地物光谱仪对不同品位的鞍山式铁矿进行光谱测试, 分析铁品位对试样反射光谱的影响规律, 明确试样铁品位与反射光谱相关性较显著的敏感波段, 并基于此建立铁品位定量反演模型。 结果表明, 铁品位对赤铁矿、 磁铁矿反射光谱的影响规律不尽一致, 赤铁矿铁品位的变化不仅会影响试样反射光谱的高低, 还会影响试样反射光谱的形态; 而磁铁矿铁品位的变化不会影响试样反射光谱的形态, 仅会对试样反射光谱的高低产生影响。 赤铁矿铁品位在不同的波段处对试样反射光谱影响规律不尽一致, 在350~1 000 nm波段, 试样反射率大小对铁品位反应敏感, 该波段光谱反射率与赤铁矿铁品位呈现显著线性负相关关系; 在1 000~1 250 nm波段, 反射光谱的斜率对铁品位反应敏感, 二者呈现显著线性正相关关系; 而在1 250~2 500 nm波段, 试样反射光谱受铁品位影响较微弱。 对磁铁矿铁品位与其反射光谱之间的关系进行定量分析, 发现铁品位与反射率呈现显著指数函数负相关关系, 且这种关系在350~2 500 nm波段近乎一致。 然后, 基于铁品位与赤铁矿、 磁铁矿试样反射光谱之间的定量关系, 分别建立了赤铁矿、 磁铁矿铁品位定量反演模型, 并对模型进行了验证。 结果表明, 模型预测的铁品位绝对误差均小于1%, 结果比较理想。 该研究揭示了鞍山式铁矿品位对反射光谱的影响规律, 并建立了铁品位定量反演模型, 为应用光谱分析技术进行铁品位的定量反演提供了新方法。
鞍山式铁矿 铁品位 可见光-近红外光谱 定量反演 Anshan iron mine Grade Visible and near-infrared spectrum Predict 光谱学与光谱分析
2020, 40(10): 3193
光子学报
2020, 49(10): 1031001
1 南京林业大学机械电子工程学院, 江苏 南京 210037
2 南京农业大学工学院, 江苏 南京 210031
比较分析空间分辨光谱和单点可见/近红外光谱(可见/短波近红外光谱和中波近红外光谱)对番茄颜色的识别能力。 根据番茄表面和内部颜色将600个样品分为6个等级(green, breaker, turning, pink, light red和red)。 分别利用新型空间分辨光谱系统(550~1 650 nm), 可见/短波近红外光谱仪(400~1 100 nm)和中波近红外光谱仪(900~1 700 nm)采集番茄的空间分辨(spatially-resolved, SR)光谱和单点可见/近红外(SP Vis/NIR)光谱, 建立番茄等级的偏最小二乘判别(PLSDA)模型, 比较其对番茄颜色等级的预测效果。 结果表明, SR光谱组合可在最佳单一SR光谱基础上进一步提高番茄颜色的识别能力, 对番茄表面颜色和内部颜色的识别率可分别达到98.8%和84.6%。 光源-检测器距离较近的SR光谱对番茄表面颜色的识别有帮助, 而光源-检测器距离较远的SR光谱能较好的判别番茄内部颜色。 SP NIR光谱在对番茄表面颜色判别中与SR光谱具有一定可比性, 其分类准确率可达到95%, 但SP Vis/NIR光谱在对番茄内部颜色识别中具有较低的分类准确率, 分类结果远不如SR光谱, 说明SR光谱比SP Vis/NIR光谱对番茄颜色的判别更具潜力。
空间分辨光谱 单点可见/近红外光谱 空间分辨光谱组合 番茄颜色 判别分析 Spatially resolved spectra Visible and near infrared spectra Combination of SR spectra Tomato color Discrimination analysis 光谱学与光谱分析
2019, 39(11): 3585
东北大学资源与土木工程学院, 辽宁 沈阳 110819
我国尾矿库数量众多, 分布广泛, 在低含水量条件下, 风力作用引起的尾砂扬尘会对周边环境造成污染。 而尾矿库表面积大, 含水量变化快, 传统的含水量监测方法效率低、 安全性差、 成本高, 难以实现尾矿库含水量的大面积、 实时、 快速的监测。 目前, 基于光谱特征的遥感模型虽可以较为准确地预测土壤含水量, 但矿区尾砂与常规土壤在成分上存在差异性, 使得土壤含水量的光谱预测遥感模型可能无法适用于尾矿库含水量的预测。 为此, 选择辽宁省风水沟尾矿库作为研究区, 采集尾砂配置成不同含水量的样品, 测试其可见光-近红外光谱, 分析不同含水量样品的光谱特征以及含水量与光谱特征之间的关系, 建立针对尾砂的含水量遥感预测模型, 并应用于辽宁省风水沟尾矿库表面含水量的预测。 结果表明: (1)含水量对尾砂的光谱特征有显著影响, 二者存在高度的相关性, 光谱反射率随含水量增加而下降, 且波长越长, 含水量对光谱的影响越显著; (2)构建了基于尾砂光谱特征的含水量遥感预测模型, 选择Landsat8-OLI传感器的B6和B7波段, 定义了比值指数(RTI)、 归一化差异指数(NDTI)和差值指数(DTI)3种尾砂光谱指数, 并将这3种指数作为输入自变量, 使用随机森林方法进行训练以及含水量的建模预测, 并与B7波段建立的对数反射率预测模型进行比较。 结果表明, 光谱指数+随机森林的预测模型效果优于基于B7波段建立的对数反射率模型。 (3)使用光谱指数+随机森林的预测模型, 通过Landsat8-OLI数据对实地尾矿库提取了含水量的空间分布图, 结果表明模型预测的含水量与实测结果之间的决定系数R2达0.798, 均方根误差RMSE为0.077, 相对分析误差RPD为1.970, 平均相对精度ARE为20.1%, 在现有技术条件下, 达到了较好的预测效果。 该研究为变质型铁矿尾矿库含水量的预测提供一种大面积、 实时、 快速的实用方法。
可见光-近红外光谱 尾砂 含水量 预测 Visible and near-infrared spectrum Tailings Moisture content Prediction 光谱学与光谱分析
2019, 39(10): 3096
