高光谱遥感技术能够更细致地检测出岩矿的光谱特征, 为高光谱岩矿识别提供了强有力手段。 基于特定吸收特征波段的高光谱岩矿识别模型依赖很高的先验知识且难以满足区分不同类型岩石的要求, 因此探索建立准确、 高效的高光谱岩石自动识别模型具有重要意义。 在禄丰恐龙谷地区采集三类典型的沉积岩(泥岩、 砂岩和灰岩各21个)作为目标样本, 采用ASD FieldSpec3地物光谱仪获取沉积岩样本在350~2 500 nm范围内的高光谱数据, 对原始光谱进行一阶微分、 连续统去除变换并分析其光谱特征, 采用连续投影(SPA)、 竞争性自适应重加权采样(CARS)和迭代保留信息变量法(IRIV)三种特征变量选择算法选取原始光谱及其变换光谱中的特征波长, 基于全波段和特征波长数据分别建立支持向量机(SVM)和随机森林(RF)识别模型。 结果表明: 三种特征变量选择算法对高光谱数据都具有较好的降维效果, 从原始光谱及两种变换光谱选取出的特征波长数量在7~59个之间。 综合光谱变换处理与特征变量选择算法进行模型测试对比试验, 发现组合连续统去除-SPA-SVM模型方法在识别三类目标沉积岩上的表现最好, 其识别精度为0.952 4, 此时选取出用于输入模型的特征波长数量为10个, 只占全波段的0.5%, 大大降低了模型的运算量, 其中2个特征波长位于550 nm附近的Fe2+和Fe3+吸收带, 2个位于900 nm附近Fe3+吸收带, 5个位于1 900和2 200 nm附近的水分子、 羟基吸收带, 其分布可以较好地反映沉积岩化学成分差异导致的光谱吸收特征规律。 实验结果表明采用光谱变换与特征变量选择算法进行高光谱沉积岩自动识别是可行的, 能为高光谱岩矿识别方法提供参考。

海上溢油事故不仅造成极大的石油资源浪费, 而且严重威胁生态环境。 因此, 利用荧光光谱对油膜厚度进行快速无损检测对于有效评估溢油量有重要意义。 基于激光诱导荧光(LIF)技术对海水表面0#柴油、 5#白油油膜的荧光光谱进行检测, 进而实现对油膜厚度的量化分析。 首先使用SG平滑滤波对原始光谱数据进行预处理以减少原始光谱中的背景噪声。 然后采用间隔随机蛙跳算法(IRF)结合变量子集迭代优化法(IVSO)对获取的全光谱数据进行波长选择以剔除冗余变量, 将经过二次筛选出的光谱特征波长作为偏最小二乘回归(PLS)的自变量输入数据建立油膜厚度反演模型。 该方法第一步利用IRF从全光谱数据中筛选出特征波段, 再利用IVSO对特征光谱波段组合进一步筛选出特征波长变量, 从而有效提高优选出的特征波长建立油膜厚度反演模型的预测能力和稳定性。 将IRF-IVSO与全光谱及移动窗口偏最小二乘法(MWPLS)、 间隔随机蛙跳算法(IRF)、 变量组合集群分析法(VCPA)、 变量子集迭代优化法(IVSO)四种波长优选方法进行对比, 发现IRF-IVSO筛选出0#柴油数据和5#白油数据的特征波长数量分别占全光谱数据的4.48%和19.40%。 将全光谱及上述波长优选方法筛选出的特征波长作为输入建立PLS模型进行分析讨论。 结果表明, 特征波长选择方法结合PLS所建立的不同模型预测能力和效率较全光谱有明显提高。 其中, IRF-IVSO结合PLS所建立的油膜厚度反演模型预测效果最优, 该模型可以实现对厚度分别为0.141 5～2.291 8和0.052～0.980 mm的0#柴油及5#白油油膜的有效反演, 柴油油膜测试集相关系数RP可达到0.961 1, 测试集均方根误差RMSEP为0.137 5, 白油油膜测试集相关系数RP可达到0.971 2, 测试集均方根误差RMSEP为0.079 0。 该研究表明, IRF-IVSO通过结合区间波段筛选和单一变量选择能够有效而稳定地筛选出特征波长变量, 结合PLS建立的油膜厚度反演模型能够实现可靠预测。

大豆品种快速准确的鉴别, 对于鉴定种子品质、 净化种业市场以及保障粮食安全具有重要意义。 为解决传统农作物品种鉴别方法中存在精度差和效率低等问题, 采用拉曼光谱结合特征波长提取方法建立偏最小二乘(PLS)鉴别模型, 对黑龙江省4个高蛋白大豆品种（黑农88、 黑农98、 绥农71以及绥农76）进行快速鉴别。 随机蛙跳(RF)算法是一种通过迭代计算变量被选概率, 以确定变量重要性的新型特征波长选择算法, 可以有效剔除全光谱数据中的冗余信息。 该方法存在初始变量集随机性、 所需迭代次数大、 阈值选取不确定的问题, 因此提出一种基于最小绝对收敛与选择算子(LASSO)回归的改进随机蛙跳（MRF）算法。 采用LASSO算法提取与属性变量最相关的特征波长点作为RF初始变量集F0, 消除初始变量的随机性, 在此基础上开始迭代计算, 可以减少无用迭代次数, 提高模型的预测精确度。 RF算法通过设定阈值的方法选择变量, 因此提取的特征波长往往具有不确定性。 改进如下: 首先去除被选概率为0的变量, 对于排序后变量以10个波长点为间隔, 每次增加1个间隔建立特征波长与大豆品种属性的偏最小二乘回归模型, 当交叉验证均方根误差(RMSECV)取最小值时的建模波长为优选特征波长。 以MRF优选特征波长作为输入变量建立PLS鉴别模型, 并与全光谱以及常用的RF、 LASSO和ElasticNet特征波长选择算法建模结果进行对比分析。 结果表明, MRF算法提取300个特征波长点, 仅占全谱波长的9.37%, 有效筛选了关键特征变量, 简化了模型复杂度。 预测结果中均方根误差(RMSEP)和决定系数(R2p)分别为0.246 9和0.951 2, 识别准确率达到100%, 为所有模型中最优。 拉曼光谱结合MRF算法可以实现大豆品种的快速鉴别, 同时也为其他农作物品种的快速鉴别提供了一种新思路。

三七是一种传统的中药材, 具有较高的药用价值。 目前市场上中药售假的现象屡见不鲜, 许多不法商贩将三七支根或剪口粉末假冒主根粉末销售, 严重损害了消费者的利益。 利用高光谱技术结合多元分析方法实现三七不同部位粉末的快速无损鉴别。 通过高光谱成像系统分别采集了三七剪口、 须根和主根粉末在400~1 000 nm范围内的高光谱图像, 共300个样本。 采用Savitzky-Golay（SG）平滑结合标准变量变换（SNV）的方法对高光谱数据进行去噪和消除因散射引起的光谱差异。 为了移除光谱变量中的重迭和冗余信息, 利用竞争自适应重加权采样（CARS）算法和本文提出的一种考虑了变量间交互作用的二进制竞争自适应重加权采样（BCARS）算法进行特征波长选择。 最后分别建立了基于全光谱、 CARS和BCARS特征波长的支持向量机（SVM）和极端梯度提升（XGBoost）分类模型。 结果表明, BCARS-XGBoost模型的分类效果最优, 训练集和测试集的分类准确率分别为100%和99.33%。 与CARS相比, BCARS所选择的特征波长数量较少, 有助于多光谱系统和便携式仪器的开发。 利用高光谱技术结合BCARS-XGBoost模型鉴别三七不同部位粉末是可行的。

为建立快速近红外光谱定量分析模型, 特征波长筛选是提高定量分析预测精度较为有效的方法之一。 它能够筛选出有效波长信息, 减少数据冗余、 提高数据有效性。 随机森林(RF)作为一种集成算法, 可根据计算特征重要性进行特征筛选。 RF将基于袋外数据(OOB)的平均精度下降(MDA)方法计算均方误差平均值作为特征重要性结果, 通过设置特征重要性阈值筛选特征变量构成特征波长子集, 但该阈值范围的设定无理论依据, 因此需要对特征重要性阈值范围进行探究。 另一方面, 由于RF的随机特性, 特征波长子集中可能包含无效甚至是干扰变量, 并不能保证所选变量的有效性。 故而进一步提出RF-iPLS波长筛选方法。 区间偏最小二乘法(iPLS)筛选出的特征波长多为连续特征波段的特性, 对特征波长子集划分区间, 弥补RF因自身随机性造成的无效变量问题； 同时, RF筛选的离散特征波长解决了iPLS筛选的连续波段中含冗余信息的问题。 为了说明RF-iPLS算法的合理性, 特征子集经过蒙特卡洛(MC)方法500次样本特征采样后, 构建RF-MC-iPLS算法。 虽然RF-iPLS与RF-MC-iPLS算法结构接近, 但运行时间缩短了11.12%, 结果说明RF-iPLS算法在预测模型中的特征波长筛选是有效的, 且具有较低的时间复杂度。 为了进一步验证改进的RF-iPLS算法的有效性, 应用一组公开谷物蛋白质近红外光谱数据, 建立PLSR模型, 并与全谱的PLSR模型以及基于不同波长筛选方法的PLSR模型进行比较。 实验结果表明, 相比于全谱的117个波长, RF-iPLS优选出12个特征波长, 建模集的RMSEC从2.61降到0.64, 预测精度提升了约75.5%, 预测集的RMSEP从2.63降到0.69, 预测精度提升了73.8%, 极大地提高了预测精度且预测结果最优, 说明RF-iPLS是一种有效的特征波长筛选方法, 可以简化近红外光谱定量分析模型的复杂度并实现高效降维。

根的金属元素含量对高粱生长过程有重要影响。 激光诱导击穿光谱(LIBS)是快速检测作物金属元素的理想技术。 建立了一套基于激光诱导击穿光谱与变维粒子群优化和组合移动窗口(VDPSO-CMW)的波长选择算法相结合的高粱根部金属元素定量分析方法。 获得不同Na和Fe浓度积累的高粱样本27份。 针对高粱根部的LIBS光谱, 利用VDPSO-CMW算法筛选与Na和Fe元素相关的特征波段, 并构建PLS定量分析模型。 经VDPSO-CMW算法优化后, 高粱根部Na元素的PLS模型的建模结果交叉验证决定系数(R2CV)为0.962, 相比优化前的模型上升了6.5%, 交叉验证均方根误差(RMSECV)为1.261, 相比优化前模型下降了37.7%, 预测决定系数(R2P)为0.988, 相比优化前的模型上升了16.8%, 预测均方根误差(RMSEP)为1.063, 相比优化前的模型下降了72.1%; 经VDPSO-CMW算法优化后的高粱根部Fe校正模型的R2CV为0.956, 相比优化前的模型上升了7.4%, RMSECV为5.095, 相比优化前的模型下降了37.1%, R2P为0.955, 相比优化前的模型上升了4.3%, RMSEP为6.438, 相比优化前的模型下降了27.3%。 结果表明, VDPSO-CMW波长选择算法能够剔除LIBS受自吸收、 谱线干扰等因素的波段, 提高定量分析准确度。 该算法和LIBS技术的结合不仅能够实现高粱根部Na和Fe元素的快速精确测定, 也适用于其他样本和元素的定量分析。

研究集成学习方法在有机物红外光谱定量分析中的应用及特征波长选取方法对红外光谱集成学习建模效率和预测精度的影响。 以柴油红外光谱的十六烷和总芳香烃含量为研究对象, 首先采用极端随机森林(ERT)、 线性核支持向量机(LinearSVM)、 径向基核支持向量机(RBFSVM)和多项式核支持向量机(polySVM)作为基学习器, LinearSVM作为元学习器建立两层Stacking集成学习框架, 分析比较单个基学习器与集成学习对柴油红外光谱的定量回归预测精度, 与偏最小二乘(PLS)定量回归模型相比, Stacking集成学习模型对柴油光谱的两种有机物含量的预测精度均有提升, 其中十六烷含量的ERT模型预测结果最优(r=0.848, RMSEP=1.603, RDP=2.627), 总芳香烃含量的Stacking模型预测结果最优(r=0.991, RMSEP=0.526, RDP=9.243); 进一步利用组合偏最小二乘(SiPLS)和连续投影算法(SPA)对红外光谱进行特征波长选取, 利用优选出的红外光谱特征波长建立集成学习定量回归模型, 其中十六烷含量的SiPLS-ERT模型预测结果最优(r=0.893, RMSEP=1.013, RDP=3.051), 芳香烃含量的SiPLS-Stacking模型预测结果最优(r=0.998, RMSEP=0.354, RDP=11.475), 且模型平均训练时间较全光谱训练时间减少50%以上, 建模速度明显提高。 研究结果表明, 特征波长结合集成学习定量回归建模能够用于有机物红外光谱的定量分析中, 与传统定量回归方法相比, 该方法的建模效率和预测精度均有较大提高, 为进一步研究机器学习在光谱定量分析中的应用提供相关方法支持。

血红蛋白是人体的一项重要生理指标, 浓度异常会导致人体产生各种疾病。 红外光谱技术具有简单、 无损、 快速等优点, 非常适合用于生理参数的定量分析。 由于光谱背景复杂、 有效信息弱, 如何提取有效特征变量, 构建精准定量模型是个难题。 针对此问题, 以血液样本和血红蛋白仿体溶液样本光谱数据为研究对象, 采用SPXY法、 K_S法、 duplex法、 等间隔划分法四种数据集划分方法划分数据并通过建模对比, 优选出最佳数据集划分方法为SPXY法。 遍历了SavitzkyGolay一阶求导滤波(S_G1)+小波变换、 小波变换+S_G1、 标准正态变量变换(SNV)+S_G1三种预处理方法, 优选出SNV+S_G1预处理方法。 结合串联思想, 提出组合区间偏最小二乘法(SiPLS)与连续投影算法(SPA)串联的特征波长优选方法, 构建SiPLS-SPA-PLS预测模型, 用两组数据对模型进行验证, 依据评价指标判断模型的优劣, 并与全谱PLS, SPA-PLS和SiPLS三种定量模型相比较。 实验结果表明: (1)使用SiPLS-SPA-PLS模型进行定量分析, 血液样本的Rc, Rp, RMSEC和RMSEP值分别为0.993 6, 0.990 6, 0.199 2和0.184 6, 仿体溶液样本的Rc, Rp, RMSEC和RMSEP值分别为0.998 9, 0.998 5, 1.848 9和2.007 4。 相比全谱PLS, SPA-PLS, SiPLS三种定量模型, Rc和Rp值最大, RMSEC和RMSEP值最小, 该模型最优, 可以更精准地实现血红蛋白的定量分析。 (2)SiPLS-SPA-PLS定量模型能更加准确地筛选最优波段, 两种样本筛选出来的有效波段分别为血液(1 144~1 264, 1 606~1 798 nm)、 仿体溶液(1 018~1 390, 1 600~1 700 nm), 剔除掉仪器的影响因素, 大致相同, 此方法可以精准优选出特征波长。 (3)该模型可以提取有效变量, 去除无用噪声影响, 血液样本从全谱的700个光谱变量中优选出28个, 仿体溶液样本从全谱的1201个光谱变量优选出41个, 提高检测速度和预测效率。 该方法为血红蛋白快速精准检测提供了一种思路。

采用荧光高光谱成像技术对脐橙表面不同浓度毒死蜱和多菌灵进行判别。 实验通过由氙灯光源激发的高光谱成像系统（392～998.2 nm）分别采集浓度为0, 0.5, 1, 2 mg·kg-1的毒死蜱和0, 1, 3, 5 mg·kg-1多菌灵的高光谱图像。 使用ENVI软件获取样本的感兴趣区域（ROI）; 对原始光谱数据采用卷积平滑（SG）、 标准正态标量变换（SNV）及一阶导数（FD）方法进行预处理; 采用区间变量迭代空间收缩法（iVISSA）、 无信息变量消除算法（UVE）和竞争性自适应加权算法（CARS）进行一次提取特征波长, 二维相关光谱（2D-COS）方法进行二次提取特征波长。 最后采用主成分分析与线性判别分析相结合算法（PCA-LDA）和偏最小二乘算法（PLS-DA）建立基于两次提取特征波长脐橙表面不同浓度毒死蜱和多菌灵残留的判别模型。 将原始光谱数据与经过预处理的3种光谱数据进行建模分析, 结果发现毒死蜱和多菌灵的光谱数据经过SG处理后模型效果最优。 对经SG预处理后的毒死蜱光谱数据和多菌灵光谱数据进行特征波长一次提取, 最佳特征波长分别为iVISSA法和CARS法, 分别提取出26个和30个特征波长; 再采用二维相关光谱（2D-COS）算法对这26个和30个特征波长进行二次提取, 分别得到10个和12个特征波长。 对一次提取特征波长和二次提取特征波长后的光谱数据分别建模。 结果表明, 对于不同浓度的毒死蜱, 基于iVISSA-2D-COS建立的PCA-LDA模型判别效果最佳, 其校正集与预测集判别正确率分别为98.61%和95.83%; 对于不同浓度的多菌灵, 基于CARS-2D-COS建立的PCA-LDA模型判别效果最佳, 其校正集与预测集判别正确率分别为97.22%和95.83%, 均高于全波段光谱数据模型和一次提取特征波长模型判别正确率, 说明2D-COS可以捕捉可用的荧光光谱信息。 该研究采用2D-COS对一次提取最优特征波长进行二次提取后建模, 研究结果为脐橙表面不同浓度农药残留的快速无损判别提供了一定的参考。