1 燕山大学电气工程学院, 河北 秦皇岛 066004
2 燕山大学信息科学与工程学院, 河北 秦皇岛 066004
海上溢油事故不仅造成极大的石油资源浪费, 而且严重威胁生态环境。 因此, 利用荧光光谱对油膜厚度进行快速无损检测对于有效评估溢油量有重要意义。 基于激光诱导荧光(LIF)技术对海水表面0#柴油、 5#白油油膜的荧光光谱进行检测, 进而实现对油膜厚度的量化分析。 首先使用SG平滑滤波对原始光谱数据进行预处理以减少原始光谱中的背景噪声。 然后采用间隔随机蛙跳算法(IRF)结合变量子集迭代优化法(IVSO)对获取的全光谱数据进行波长选择以剔除冗余变量, 将经过二次筛选出的光谱特征波长作为偏最小二乘回归(PLS)的自变量输入数据建立油膜厚度反演模型。 该方法第一步利用IRF从全光谱数据中筛选出特征波段, 再利用IVSO对特征光谱波段组合进一步筛选出特征波长变量, 从而有效提高优选出的特征波长建立油膜厚度反演模型的预测能力和稳定性。 将IRF-IVSO与全光谱及移动窗口偏最小二乘法(MWPLS)、 间隔随机蛙跳算法(IRF)、 变量组合集群分析法(VCPA)、 变量子集迭代优化法(IVSO)四种波长优选方法进行对比, 发现IRF-IVSO筛选出0#柴油数据和5#白油数据的特征波长数量分别占全光谱数据的4.48%和19.40%。 将全光谱及上述波长优选方法筛选出的特征波长作为输入建立PLS模型进行分析讨论。 结果表明, 特征波长选择方法结合PLS所建立的不同模型预测能力和效率较全光谱有明显提高。 其中, IRF-IVSO结合PLS所建立的油膜厚度反演模型预测效果最优, 该模型可以实现对厚度分别为0.141 5～2.291 8和0.052～0.980 mm的0#柴油及5#白油油膜的有效反演, 柴油油膜测试集相关系数RP可达到0.961 1, 测试集均方根误差RMSEP为0.137 5, 白油油膜测试集相关系数RP可达到0.971 2, 测试集均方根误差RMSEP为0.079 0。 该研究表明, IRF-IVSO通过结合区间波段筛选和单一变量选择能够有效而稳定地筛选出特征波长变量, 结合PLS建立的油膜厚度反演模型能够实现可靠预测。
激光诱导荧光 油膜厚度 特征波长选择 定量分析 Laser-induced fluorescence Oil film thickness Characteristic wavelength selection Quantitative analysis 光谱学与光谱分析
2023, 43(9): 2811
1 黑龙江八一农垦大学工程学院, 黑龙江 大庆 163319
2 黑龙江八一农垦大学信息与电气工程学院, 黑龙江 大庆 163319
3 黑龙江省农业科学院绥化分院, 黑龙江 绥化 152052
4 大庆市绿色农产品监测中心, 黑龙江 大庆 163311
大豆品种快速准确的鉴别, 对于鉴定种子品质、 净化种业市场以及保障粮食安全具有重要意义。 为解决传统农作物品种鉴别方法中存在精度差和效率低等问题, 采用拉曼光谱结合特征波长提取方法建立偏最小二乘(PLS)鉴别模型, 对黑龙江省4个高蛋白大豆品种（黑农88、 黑农98、 绥农71以及绥农76）进行快速鉴别。 随机蛙跳(RF)算法是一种通过迭代计算变量被选概率, 以确定变量重要性的新型特征波长选择算法, 可以有效剔除全光谱数据中的冗余信息。 该方法存在初始变量集随机性、 所需迭代次数大、 阈值选取不确定的问题, 因此提出一种基于最小绝对收敛与选择算子(LASSO)回归的改进随机蛙跳（MRF）算法。 采用LASSO算法提取与属性变量最相关的特征波长点作为RF初始变量集F0, 消除初始变量的随机性, 在此基础上开始迭代计算, 可以减少无用迭代次数, 提高模型的预测精确度。 RF算法通过设定阈值的方法选择变量, 因此提取的特征波长往往具有不确定性。 改进如下: 首先去除被选概率为0的变量, 对于排序后变量以10个波长点为间隔, 每次增加1个间隔建立特征波长与大豆品种属性的偏最小二乘回归模型, 当交叉验证均方根误差(RMSECV)取最小值时的建模波长为优选特征波长。 以MRF优选特征波长作为输入变量建立PLS鉴别模型, 并与全光谱以及常用的RF、 LASSO和ElasticNet特征波长选择算法建模结果进行对比分析。 结果表明, MRF算法提取300个特征波长点, 仅占全谱波长的9.37%, 有效筛选了关键特征变量, 简化了模型复杂度。 预测结果中均方根误差(RMSEP)和决定系数(R2p)分别为0.246 9和0.951 2, 识别准确率达到100%, 为所有模型中最优。 拉曼光谱结合MRF算法可以实现大豆品种的快速鉴别, 同时也为其他农作物品种的快速鉴别提供了一种新思路。
拉曼光谱 大豆 特征波长选择 随机蛙跳 最小绝对收敛与选择算子 Raman spectroscopy Soybean Characteristic wavelength selection Random frog LASSO 光谱学与光谱分析
2023, 43(12): 3763
1 江苏大学电气信息工程学院, 江苏 镇江 212013
2 江苏科技大学经济管理学院, 江苏 镇江 212100
三七是一种传统的中药材, 具有较高的药用价值。 目前市场上中药售假的现象屡见不鲜, 许多不法商贩将三七支根或剪口粉末假冒主根粉末销售, 严重损害了消费者的利益。 利用高光谱技术结合多元分析方法实现三七不同部位粉末的快速无损鉴别。 通过高光谱成像系统分别采集了三七剪口、 须根和主根粉末在400~1 000 nm范围内的高光谱图像, 共300个样本。 采用Savitzky-Golay（SG）平滑结合标准变量变换（SNV）的方法对高光谱数据进行去噪和消除因散射引起的光谱差异。 为了移除光谱变量中的重迭和冗余信息, 利用竞争自适应重加权采样（CARS）算法和本文提出的一种考虑了变量间交互作用的二进制竞争自适应重加权采样（BCARS）算法进行特征波长选择。 最后分别建立了基于全光谱、 CARS和BCARS特征波长的支持向量机（SVM）和极端梯度提升（XGBoost）分类模型。 结果表明, BCARS-XGBoost模型的分类效果最优, 训练集和测试集的分类准确率分别为100%和99.33%。 与CARS相比, BCARS所选择的特征波长数量较少, 有助于多光谱系统和便携式仪器的开发。 利用高光谱技术结合BCARS-XGBoost模型鉴别三七不同部位粉末是可行的。
高光谱 三七 极端梯度提升 特征波长选择 Hyperspectral imaging Panax notoginseng XGBoost Feature wavelength selection 光谱学与光谱分析
2023, 43(7): 2027
1 中国科学院合肥物质科学研究院, 安徽 合肥 230031
2 安徽大学, 安徽 合肥 230601
3 中国科学技术大学, 安徽 合肥 230000
根的金属元素含量对高粱生长过程有重要影响。 激光诱导击穿光谱(LIBS)是快速检测作物金属元素的理想技术。 建立了一套基于激光诱导击穿光谱与变维粒子群优化和组合移动窗口(VDPSO-CMW)的波长选择算法相结合的高粱根部金属元素定量分析方法。 获得不同Na和Fe浓度积累的高粱样本27份。 针对高粱根部的LIBS光谱, 利用VDPSO-CMW算法筛选与Na和Fe元素相关的特征波段, 并构建PLS定量分析模型。 经VDPSO-CMW算法优化后, 高粱根部Na元素的PLS模型的建模结果交叉验证决定系数(R2CV)为0.962, 相比优化前的模型上升了6.5%, 交叉验证均方根误差(RMSECV)为1.261, 相比优化前模型下降了37.7%, 预测决定系数(R2P)为0.988, 相比优化前的模型上升了16.8%, 预测均方根误差(RMSEP)为1.063, 相比优化前的模型下降了72.1%; 经VDPSO-CMW算法优化后的高粱根部Fe校正模型的R2CV为0.956, 相比优化前的模型上升了7.4%, RMSECV为5.095, 相比优化前的模型下降了37.1%, R2P为0.955, 相比优化前的模型上升了4.3%, RMSEP为6.438, 相比优化前的模型下降了27.3%。 结果表明, VDPSO-CMW波长选择算法能够剔除LIBS受自吸收、 谱线干扰等因素的波段, 提高定量分析准确度。 该算法和LIBS技术的结合不仅能够实现高粱根部Na和Fe元素的快速精确测定, 也适用于其他样本和元素的定量分析。
激光诱导击穿光谱 VDPSO-CMW算法 定量分析 波长选择 高粱 Laser-induced breakdown spectroscopy VDPSO-CMW algorithm Quantitative analysis Wavelength selection Sorghum
1 黑龙江八一农垦大学工程学院, 黑龙江 大庆 163319
2 黑龙江八一农垦大学电气与信息学院, 黑龙江 大庆 163319
润滑油是农业机械正常作业的必要物资, 农业机械发动机工作的动力性、 安全性、 经济性以及寿命与润滑油状况有着紧密联系。 污染浓度作为油液的综合评价指标, 常规的实验室检测耗时长、 成本高, 所以开发高效的润滑油污染浓度检测技术具有重要意义。 提出了一种基于近红外光谱技术的农机润滑油污染浓度的检测方法, 同时针对随机蛙跳(RF)特征波长选择算法中迭代次数大, 结果再现性低等缺点, 提出了一种迭代保留信息变量的随机蛙跳(IRIV-RF)特征波长选择算法。 该算法一方面利用迭代保留信息变量(IRIV)算法提取出强信息变量和弱信息变量, 将其作为RF算法中的初始变量集, 消除初始变量集的随机性对结果再现性的影响。 另一方面通过对变量按被选概率值由大到小正向排序后, 从首个波长开始依次增加一个波长建立偏最小二乘回归(PLSR)模型, 选择交叉验证均方根误差(RMSECV)值最小时的变量子集为特征波长, 消除RF算法所提取的特征波长数量的不确定性。 利用近红外光谱仪采集自行配制的101份不同污染浓度的农机润滑油原始光谱数据, 选用三种不同的预处理方法分别对原始光谱进行处理, 确定最佳的预处理方法为变量标准化(SNV)。 在此基础上通过RF, IRIV和IRIV-RF三种算法分别对全谱进行特征波长选择, 并建立PLSR模型。 通过对全谱-PLSR, RF-PLSR, IRIV-PLSR以及IRIV-RF-PLSR模型的预测精度进行比较, 结果表明, 经过IRIV-RF算法提取特征波长后所建立的PLSR模型预测精度最高, 预测相关系数(Rp)为0.965 7, 预测均方根误差(RMSEP)为9.0584, 显著提升了预测精度与运行效率, 降低模型复杂程度。 IRIV-RF是一种有效的特征波长选择算法, 研究证明了近红外光谱联合改进的IRIV-RF算法检测农机润滑油污染浓度的可行性, 为鉴定润滑油品质提供了一种新的思路。
特征波长选择 随机蛙跳 迭代信息保留变量 农机润滑油 污染浓度 近红外光谱 Feature wavelength selection Random frog Iteratively retains informative variables Agricultural lubricating oil Pollution concentration Near-infrared spectroscopy 光谱学与光谱分析
2022, 42(11): 3482
1 燕山大学电气工程学院河北省测试计量技术及仪器重点实验室, 河北 秦皇岛 066004
2 河北先河环保科技股份有限公司, 河北 石家庄 050000
藻华现象的频繁发生严重影响了海洋环境和人类的生产活动, 因此对水体浮游植物的监测十分重要。 三维荧光光谱被广泛应用于水体浮游植物中藻类的群落组成分析和浓度定量分析, 然而三维荧光光谱数据中的信息冗余给藻类定性定量分析带来了一定的影响。 针对光谱信息冗余问题, 提出了特征区域积分与凸点提取相结合的三维荧光光谱波长选择方法。 以抑食金球藻、 细长聚球藻、 小球藻为研究对象, 采用Savitzky-Golay卷积平滑法对三维荧光光谱进行预处理, 解决了因外界因素造成的光谱噪声问题, 采用马氏距离法剔除三维荧光光谱数据集中的异常光谱样本, 运用浓度残差法剔除三维荧光光谱数据集中的异常浓度值样本, 然后通过偏最小二乘回归模型的内部交叉验证均方根误差衡量不同特征区域下凸点的可靠性进行波长变量的选择。 为验证波长筛选方法的有效性, 对三种藻类建立偏最小二乘回归模型, 以内部交叉验证决定系数(R2)、 内部交叉验证均方根误差(RMSECV)作为模型评价指标。 与全光谱数据建立的回归模型进行了比较, 抑食金球藻、 小球藻、 细长聚球藻的波长变量由全谱的1071个分别减少到77个、 75个、 67个, R2分别提高了0.016 4, 0.002和0.032 4, RMSECV分别降低了1.8×105, 2.0×105, 2.6×105。 与UVE方法相比, 抑食金球藻、 小球藻、 细长聚球藻的波长变量分别减少了599个、 357个、 317个, R2分别提高了0.014 5, 0.000 4和0.012 3, RMSECV分别降低了1.6×105, 7.0×104和1.6×105。 经过该方法进行波长变量选择后, 减少了冗余信息, 提高了模型预测能力。
浮游植物 三维荧光光谱 特征区域 凸点 波长选择 Phytoplankton 3D fluorescence spectroscopy Feature region Convex point extraction Wavelength selection 光谱学与光谱分析
2022, 42(10): 3031
1 中国科学院合肥物质科学研究院智能机械研究所, 安徽 合肥 230031
2 中国科学技术大学, 安徽 合肥 230026
3 合肥学院先进制造工程学院, 安徽 合肥 230061
针对苹果酸度可见-近红外无损测定, 设计了一套优化的偏最小 二乘 (PLS) 定量预测模型。首先, 采用 Savitzky-Golay 平滑结合小波变换对光谱数据进行预处理, 再通过连续投影法 (SPA) 生成建模集, 同时通过竞争自适应重加权采样法 (CARS) 和 SPA 生成建模备选集。随后从建模备选集中以优胜劣汰的方式逐次追加波长变量至建模集, 并根据建模集构建预测模型, 直至决定系数的变化趋于稳定。实验结果表明: 利用优化的 PLS 模型进行苹果酸度预测时, 其决定系数与相对分析误差分别达到 0.9776 与 6.6812, 且选取的波长变量数由 129 项降至 36 项, 明显优于 SPA 和 CARS 法。本方法在保证模型精度的同时降低了其复杂程度, 为苹果酸度在线无损测定模型的建立提供了重要参考。
光谱学 无损测定 波长选择 PLS 模型 苹果酸度 决定系数 spectroscopy nondestructive determination wavelength selection partial least squares model apple acidity determination coefficient
1 黑龙江八一农垦大学信息与电气工程学院, 黑龙江 大庆 163319
2 黑龙江省水稻生态育秧装置及全程机械化工程技术中心, 黑龙江 大庆 163319
在近红外光谱的定量分析中, 由于仪器的精密程度越来越高, 采集的光谱数据通常具有很高的维度。 因此, 波长选择对于剔除噪声及冗余变量, 简化模型, 提高模型的预测性能是必不可少的。 近红外光谱特征波长选择方法众多, 但变量间的多重共线性问题仍是导致模型效果较差的一个关键问题。 变量间共线性可以通过相关系数进行分析, 当相关系数高于0.8, 表明存在多重共线性。 据此, 以变量间相关系数为选择标准, 提出一种以所选变量之间共线性最小化的波长选择方法, 称之为最小相关系数法(MCC)。 该方法以光谱数据的相关系数矩阵为基础, 挑选出与其他波长相关系数平均值和标准差均较小的波长为候选建模波长集合, 使得集合内波长之间线性相关性最小, 进而消除模型变量之间共线性。 然后通过标准回归系数优选对因变量影响较大的波长, 获得预测模型。 为了验证所提出算法的有效性, 对该方法进行了测试。 利用两组公开的近红外光谱数据集(柴油数据集、 土壤数据集), 通过MCC算法进行波长选择, 并与常用的几个波长选择方法, 如: 连续投影算法(SPA)、 竞争性自适应重加权采样法(CARS)、 随机蛙跳算法(RF)、 迭代保留信息变量法(IRIV)进行比较。 实验结果表明, MCC算法获得了良好的预测性能, MCC算法的预测精度相比于SPA, CARS和RF三种算法具有明显的优势, 而MCC算法的预测精度与IRIV算法不相上下。 因此, 最小相关系数法可实现高效降维, 提高模型的预测精度, 是一种有效的波长选择算法。
波长选择 近红外光谱 多元校正 最小相关系数法 Wavelength selection Near-infrared spectroscopy Multivariate calibration Minimal correlation coefficient
在近红外光谱数据分析中, 全光谱数据具有波长点多、 冗余量大、 共线性关系严重的特点, 导致了部分波长点对建立校正模型没有积极作用, 甚至还会降低模型的预测能力。 波长选择被证明是有效避免上述问题的重要方法。 针对近红外光谱的特性, 提出了一种基于直接正交信号校正(DOSC)与蒙特卡罗方法(Monte Carlo, MC)结合的波长选择算法。 与大多数根据波长的“重要性”进行选择的方法不同, MC-DOSC依据波长的“不重要”性进行选择。 波长“不重要”性通过DOSC的权重w来度量。 首先将w归一化作为波长被滤除的概率, 以此建立波长选择的概率模型, 并使用蒙特卡罗随机抽样得到N个波长子集的集合。 在每一次抽样过程中, 用选择的波长点建立PLS模型, 计算相应的交叉验证均方根误差(RMSECV)。 经过N次随机抽样后, 以RMSECV最小时的PLS模型对应的波长子集作为备选子集。 将备选子集包含的光谱数据作为新的光谱阵, 重复上述过程直到RMSECV不再下降为止。 迭代停止后, 将RMSECV最小的备选子集作为最佳波长子集。 采用玉米数据集和汽油数据集对该算法进行测试, 同时与蒙特卡罗无信息变量消除法(MCUVE)、 遗传算法(GA)、 竞争性自适应权重取样法(CARS)三种算法进行比较。 实验结果表明: 该算法能大幅度减少波长点个数, 并且相应的PLS模型的预测能力也提高了。 玉米数据集的实验运行结果, 波长点个数从全光谱的700个减少到15个, 预测集相关系数从0.828 2提高到0.931 4, RMSEP从0.109 8减少到0.071 3。 汽油数据集的实验运行结果, 波长点个数从全光谱的301个减少到31个, 预测集相关系数从0.987 5提高到0.993 9, RMSEP从0.255 5减少到0.178 8。 该算法在2个数据集中的表现均优于对比的三种算法。
近红外光谱 波长选择 正交信号校正 蒙特卡罗 偏最小二乘 Near-infrared spectroscopy Wavelength selection Direct orthogonal signal correction Monte Carlo Partial least squares
江南大学轻工过程先进控制教育部重点实验室, 物联网工程学院, 江苏 无锡 214122
针对近红外光谱波长选择问题, 在团队进步算法(TPA)的基础上, 提出一种改进团队进步算法(iTPA)的波长变量选择方法, 将分子光谱的波段按照与其相应的理化值建模得到的评价值函数大小降序排列, 顺序分为精英组、 普通组和垃圾回收组。 当新生波段选择学习行为时, 若其产生于普通组, 则需要向精英组样板的方向调节; 若其产生于精英组, 则需要改进其更新方向, 向垃圾回收组样板的反方向调节。 垃圾回收组成员的评价值不像精英组和普通组随着更新的过程一直上升, 而是一直处于极低的状态, 为产生于精英组的新生波段在学习时提供一个准确的更新方向, 从而提升算法的全局寻优能力。 通过不断的迭代更新, 逐步提升整体评价值, 最终选取评价值最高的波段作为筛选波段。 该算法对玉米的淀粉和蛋白质含量数据集进行了实验测试, 并与TPA、 遗传算法(GA)、 主成分分析(PCA)以及全谱方法进行了对比。 实验结果表明, 所提算法能够找出全谱范围内波长的最优组合, 并且可以解释各含量的化学特性。 玉米淀粉数据集运行的效果相比于全光谱, 变量个数从700个减少到17.55个左右(50次试验求平均), 模型的RMSEC从0.335 7降到0.260 9, 校正集预测精度提升了22.3%, 模型的RMSEP从0.391 4下降到0.334 4左右, 预测集预测精度提升了14.6%; 在玉米蛋白质数据集运行的效果相比于全光谱, 变量个数从700个减少到19.6个左右(50次试验求平均), 模型的RMSEC从0.147 4降到0.101 9, 校正集预测精度提升了30.1%, 模型的RMSEP从0.178 9下降到0.117 7, 预测集预测精度提升了34.2%。
近红外光谱 波长选择 改进的团队进步算法 智能组合优化 特征波长 Near infrared spectrum Wavelength selection Improved team progress algorithm Intelligent combination optimization Characteristic wavelength 光谱学与光谱分析
2021, 41(10): 3032
