1 江西省检验检测认证总院工业产品检验检测院，江西 南昌330052
2 南昌海关技术中心，江西 南昌330008
3 江西农业大学食品科学与工程学院，江西 南昌330045
以近红外光谱技术在油茶籽粕检测中的应用为研究对象，在简单介绍近红外光谱技术的原理、特点及分析过程的基础上，详细阐述了该技术在油茶籽粕检测中的建模过程，为后续工作者更好地建立油茶籽粕近红外光谱分析模型提供理论依据和指导。同时，通过分析近红外光谱技术在油茶籽粕检测指标、标准制定以及模型转移技术中的发展，总结出该技术在油茶籽粕检测中的三个研究方向：开拓新项目的模型建立、制定普遍适用的标准、解决台间差并完成模型转移。油茶籽粕广泛应用于动物饲料、特医食品、保健食品等行业，因此大力开拓和推广近红外光谱技术在油茶籽粕检测中的应用是必然趋势。
近红外光谱技术 油茶籽粕 模型建立 标准制定 模型转移 near-infrared spectroscopy technology oil-tea camellia meal establishment of models setting of standards model transfer
1 江苏大学食品与生物工程学院, 江苏 镇江 212013 江苏省智能农业与农产品加工国际合作联合实验室, 江苏 镇江 212013
2 江苏大学食品与生物工程学院, 江苏 镇江 212013
3 江苏大学食品与生物工程学院, 江苏 镇江 212013 现代农业装备与技术教育部重点实验室(江苏大学), 江苏 镇江 212013
为实现柑橘可溶性固形物含量(SSC)快速无损检测, 基于可见/近红外技术开发了低功耗手持式柑橘可溶性固形物含量无损检测系统。 以宽谱LED光源结合特征窄带微型光谱仪为核心, 设计了手持式柑橘可溶性固形物含量无损检测终端。 开发了基于物联网技术的水果光谱仪云端数据系统, 该系统主要包括用户库、 设备库、 检测数据库和模型库, 通过通讯模块与手持式无损检测终端相连接, 可以实现光谱采集参数修改、 云端数据上传与下载、 云模型的调用等功能。 利用该检测系统获取的光谱数据, 建立一维卷积神经网络(1D-CNN)模型用于预测柑橘的可溶性固形物含量。 该网络包含输入层、 卷积层、 池化层、 全连接层和输出层等7层结构。 主机采集柑橘的光谱数据并建立1D-CNN柑橘可溶性固形物含量预测模型, 并用该模型与多种传统回归方法进行对比。 1D-CNN模型的预测相关系数和预测均方根误差分别为0.812, 0.488, 优于偏最小二乘法(PLS), 人工神经网络(ANN)和支持向量机(SVM)。 采用基于模型的迁移学习方法, 基于主机的1D-CNN模型对从机进行模型传递, 研究了从机标准样本数量对模型传递的影响。 发现使用少量从机光谱样本即可取得较好的效果, 从机预测集均方根误差为0.531。 研究结果表明, 研发的柑橘SSC云模型的手持式可见近红外无损检测系统具有检测快速、 低成本、 操作简便等优点, 基于该检测系统的1D-CNN网络可以有效提取柑橘光谱的有效特征并进行回归分析。 借助迁移学习算法, 可以实现1D-CNN模型在不同装置间的有效传递, 满足柑橘可溶性固形物含量无损检测的需求。 为手持式水果内部品质无损检测系统的开发与应用提供了借鉴和参考。
无损检测 柑橘 可见/近红外光谱 可溶性固形物含量 一维卷积神经网络 迁移学习 模型传递 Nondestructive detection Mandarin Visible/near infrared spectroscopy Soluble solid content One-dimensional convolutional neural network Transfer learning Model transfer 光谱学与光谱分析
2023, 43(9): 2792
1 桂林电子科技大学计算机与信息安全学院, 广西 桂林 541004
2 北京邮电大学人工智能学院, 北京 100876
3 北京邮电大学国际学院, 北京 100876
近红外光谱分析技术依赖于表征光谱向量和预测目标之间关系的化学计量学方法。 然而, 样品的光谱由信号和各种噪声组成, 传统化学计量学方法较难直接提取光谱的有效特征, 并为复杂的预测任务建立具有较强泛用性的校正模型。 进一步地, 受限于仪器间的差异, 在一台仪器上建立的模型应用于另一台仪器时, 难以取得相同的定量分析结果。 为此, 提出了一种基于卷积神经网络和迁移学习的定量分析建模及模型传递方案, 以提高模型在单仪器和跨仪器上的预测性能。 在卷积神经网络的基础上, 一种结合多尺度特征融合和残差结构, 名为MSRCNN的先进模型被设计, 并在主仪器上展现了卓越的预测能力。 然后, 设计了四种的基于fine-tune模型迁移策略, 将在主仪器上建立的MSRCNN模型迁移到从仪器。 在药品和小麦的公开数据集上的实验结果表明, MSRCNN在主仪器上的RMSE和R2分别为2.587, 0.981和0.309, 0.977, 优于PLS, SVM和CNN。 在利用30个从仪器的样本微调主仪器建立的模型后, 迁移MSRCNN中的卷积层和全连接层的方案取得了最好效果, 其RMSE和R2可分别达到2.289, 0.982和0.379, 0.965。 增加参与模型微调的从仪器样本, 可进一步提高性能。
近红外光谱 深度学习 迁移学习 多尺度融合 残差结构 模型传递 Near-infrared spectroscopy Deep learning Transfer learning Multi-scale fusion Residual convolution network Model transfer
1 中国农业科学院农产品加工研究所，北京100193
2 农业农村部农产品加工综合性重点实验室，北京100193
为解决光谱数据差异导致模型不稳定的问题，研究了不同批次中式菜肴营养素含量预测模型的传递方法。以间隔3个月制作的番茄炒蛋样本为例，采集光谱数据并利用理化方法测定蛋白质含量(每批次120个样本)；选择预测效果较好的第二批次模型作为主模型，将分段直接标准化(Piecewise Direct Standardization, PDS)算法、模型更新(Model Updating, MP)和斜率/截距(Slope/Bias, S/B)修正法联合(PDS-MP-S/B)用于菜肴类模型传递，分析不同PDS窗口数和标准集数对预测结果的影响。当PDS窗口数为11且标准集数为100时，PDS-MP-S/B算法对蛋白质含量的预测结果明显优于无模型传递和单独使用3种算法时，预测模型的预测集决定系数R2(Pred)为09628，相对预测偏差(Relative Prediction Deviation, RPD)为56731，预测均方根误差(Root Mean Square Error of Prediction, RMSEP)为03157。从光谱、模型、结果三个方面实现了模型传递，提高了模型的通用性，减少了建模成本，为中式菜肴的快检提供了理论支持。
近红外光谱 不同批次样本 模型传递 near infrared spectrum samples from different batches model transfer PDS-MP-S/B PDS-MP-S/B
西北农林科技大学机械与电子工程学院, 陕西 杨凌 712100
利用可见-近红外光谱分析技术可以准确快速的获取土壤养分含量, 但不同类型土壤间养分含量校正模型的普适性是亟待解决的关键问题。 为提高有机质含量光谱校正模型在多类型土壤之间的普适性和农田在线检测有机质含量速度, 利用美国M107B区66个样品建立基于可见-近红外光谱的土壤有机质含量的粒子群-最小二乘支持向量机(PSO-LSSVM)校正模型, 预测M107B区的23个验证集样品的决定系数R2=0.859, 相对分析误差RPD=2.660; 将M107B区89个土壤样品作为校正集建模后对N116B区20个验证集样品的有机质含量预测, 预测R2=0.562, 预测RPD=0.952, 模型的预测R2和预测RPD分别降低34.6%和64.2%, 表明M107B区土壤有机质含量的可见-近红外光谱校正模型直接用于N116B区时, 预测精度显著降低; 将N116B区部分土壤样品加入到M107B区样品集后重新建模, 并预测N116B区20个验证集样品的有机质含量, 当加入的N116B区土壤样品数量达到35以上, 预测R2>0.80, 预测RPD>2.0; 加入到校正集的N116B区土壤样品数量从0增加到50, 模型预测R2从0.562增加到0.811, 预测RPD从0.952增加到2.274, 精度逐渐提高。 结果表明, 在M107B区校正模型中加入N116B区部分土壤样品建模, 能够有效提高M107B区土壤校正模型对N116B区土壤有机质含量的预测精度; 加入的N116B区土壤样品数量达到50以上, 模型预测性能趋于稳定, 预测精度达到实用要求, 成功将M107B区土壤有机质含量校正模型传递给N116B区土壤; 优先选择与M107B区土壤样品的有机质含量或光谱曲线差异较大的N116B区土壤样品参与建模, 可有效避免模型传递时模型性能出现突变。 提出的方法能够有效提高M107B区土壤的有机质校正模型对N116B区土壤的预测精度, 为基于可见-近红外光谱的农田土壤有机质含量实时检测提供一种新的经济可行的模型传递方法, 为提高多类型土壤的有机质含量检测模型的普适性提供一种有效的解决方案。
可见-近红外光谱 精细农业 土壤有机质 粒子群-最小二乘支持向量机 模型传递 Visible and near-infrared spectroscopy Precision agriculture Soil organic matter Particle swarm optimization-based least squares support vector machines Model transfer 光谱学与光谱分析
2022, 42(10): 3148
1 北京农业信息技术研究中心, 北京 100097
2 西南交通大学利兹学院, 四川 成都 611731
基于可见-近红外光谱分析技术开发了手持式水果糖度检测装置, 并用于水果糖度的现场实时分析。 硬件系统主要包括微型光谱仪、 卤素灯、 OLED显示屏、 单片机及驱动电路等。 采用Keil 5开发工具, 用C语言开发单片机程序。 配合上位机以LabView编写的光谱采集程序, 实现光谱信息的采集。 以苹果和大桃作为检测对象, 对装置的检测精度和模型在2台装置(主机、 从机)间的传递效果进行了探讨。 在实验室和果园环境下, 分别获取了苹果、 大桃样本在600~950 nm范围的可见-近红外光谱。 对实验室条件下采集的主机校正集光谱进行分析, 经过平滑、 最大值归一化、 二阶导数等预处理后, 利用偏最小二乘算法分别建立了苹果、 大桃的糖度检测模型。 模型导入主机装置后, 对预测集样本进行检验。 对苹果、 大桃的预测集相关系数和预测均方根误差分别为0.925, 0.587%和0.821, 0.613%。 采用分段直接校正和基于典型相关分析算法的模型传递方法将模型由主机传递到从机。 对比后发现, 基于典型相关分析算法取得了更好的模型传递结果。 从机对苹果、 大桃糖度的预测集相关系数和预测均方根误差分别为0.883, 0.641%和0.805, 0.626%。 将实验室条件下建立的模型用于树上采集到的水果光谱数据分析, 得到预测集相关系数和预测均方根误差分别为0.866, 0.741%和0.816, 0.627%。 整体检测结果表明, 该装置可以满足对苹果、 大桃糖度的有效检测, 借助模型传递算法, 实现了模型在不同装置间的共享和有效传递, 且实验室环境下采集的数据建立的模型可以用于树上水果糖度的有效检测, 该装置具有较大的经济价值和应用前景。
无损检测 水果 可见-近红外光谱 光谱分析 糖度 模型传递 Nondestructive detection Fruit Visible-near infrared spectrum Spectral analysis Sugar content Model transfer 光谱学与光谱分析
2021, 41(10): 3058
李雪莹 1,2,3,4,*范萍萍 1,3,4侯广利 1,3,4邱慧敏 1,3,4吕红敏 1,3,4
1 齐鲁工业大学（山东省科学院）海洋仪器仪表研究所, 山东 青岛 266061
2 中国石油大学(华东) 地球科学与技术学院, 山东 青岛 266580
3 山东省海洋环境监测技术重点实验室, 山东 青岛 266061
4 国家海洋监测设备工程技术研究中心, 山东 青岛 266061
基于光谱技术建立的多元校正模型通常条件下只适用于同一台仪器、 相同的测试条件及同批次或同类别的样品。 在仪器、 测试环境、 样品发生变化后, 已建光谱模型不再适配, 需要进行模型转移。 模型转移是限制光谱技术推广应用的关键技术瓶颈, 模型转移是否成功直接影响到可见-近红外光谱技术的推广应用, 为此, 综述了其研究现状, 并探讨了其未来发展方向。 首先, 将模型转移问题分成了两类: 第一类是相同样品在不同仪器或不同测试环境（不同温度/不同湿度）等条件下产生的模型不适配问题; 第二类是不同批次、 不同物理形态、 不同种类间产生的模型不适配问题。 这两类问题性质不同, 解决第一类模型转移, 能够保证同源样品的准确性和稳定性; 解决第二类, 能够实现光谱模型在不同样品间的自动传递和匹配应用。 然后, 梳理了常用的模型转移算法并进行了分类, 包括模型更新、 基于光谱校正算法、 基于结果校正算法等, 并列举了每个类别的模型转移算法的应用。 模型更新是一种重新计算模型系数最直接的方法, 通过扩展和调整模型来满足新的变化; 基于光谱校正算法是通过算法计算转移矩阵, 实现对光谱的校正; 基于结果校正算法是通过算法计算预测结果和实际结果系数, 从而实现预测结果的校正。 最后, 指出未来应着重研究第二类模型转移问题, 并且要寻找能够实现机器自动校正的模型转移, 从根本上解决模型转移这一限制光谱速测应用的主要技术瓶颈。
光谱技术 模型转移 定量分析模型 化学计量学 Spectroscopy technology Model transfer Quantitative analysis model Chemometrics 光谱学与光谱分析
2021, 41(4): 1114
模型传递对于解决由于样本与各仪器响应函数不同所导致的量测信号不一致具有重要意义, 而解决模型传递的有效方法是仪器或数据标准化。 针对现有的光谱标准化方法中, 鲜有对紫外-可见吸收光谱的应用研究, 且紫外-可见光谱法水质多参数检测光谱探测单元存在分辨率、 精度、 响应范围不统一, 难以进行不同仪器间测试数据的比对及多参数数据拟合的问题, 提出采用EWMA-PCA归一化算法, 实现紫外-可见水质光谱在不同仪器上的模型传递。 EWMA(exponentially weighted moving-average)是一种指数加权平均移动算法, 用以寻找以较高概率产生观察紫外-可见水质光谱数据的系统发生树, 最大概率复原理论紫外-可见水质光谱数据, 使紫外-可见光谱特征不丢失、 不偏移, 减小由于数据处理对紫外-可见水质光谱数据的影响。 采用不同浓度的邻苯二甲酸氢钾溶液, 对日本滨松C10082CAH光谱仪、 美国海洋光学Maya2000Pro光谱仪以及厦门奥谱天成ATP2000光谱仪进行对比测试实验。 对比组1选取源机滨松C10082CAH光谱仪和目标机海洋Maya2000Pro光谱仪, 对比组2选取源机滨松C10082CAH光谱仪和目标机奥谱天成ATP2000光谱仪, 对比组3选取源机海洋Maya2000Pro光谱仪和目标机奥谱天成ATP2000光谱仪。 三组比对实验结果表明, 该算法能很好地应用于不同的比对光谱仪中, 在采用EWMA-PCA归一化算法对水质吸收光谱数据标准化后, 相关系数达到99.576 5%, 方差达到0.082 3%, 且波峰偏移量可降低至0.000 5%, 基于EWMA-PCA归一化光谱标准化算法具适应性广、 所需传递样本少、 传递精度高等优点, 研究结果对光谱法水质检测仪器的广泛应用具有重要理论指导意义和工程应用参考价值。
紫外-可见水质光谱 指数加权平均移动-主成分分析 标准化 归一化 模型传递 Ultraviolet water spectroscopy EWMA-PCA Standardization Normalization Model transfer 光谱学与光谱分析
2020, 40(11): 3443
1 集美大学港口与环境工程学院, 福建 厦门 361021
2 温州大学机电工程学院, 浙江 温州 325035
3 温州大学电气与电子工程学院, 浙江 温州 325035
近红外光谱分析中多变量校准模型的建立依赖于校准建模的光谱样本。 然而, 近红外光谱测量环境的变化会导致同一被测物的光谱样本的偏移。 为了削减光谱偏移后重新建立校准模型的成本, 提出一种基于深度自编码器(DAE)的非线性光谱转移方法, 以端到端的形式实现不同测量环境之间的光谱转移, 避免已有的线性光谱转移方法在非线性偏移光谱时效果不佳的情况。 该方法在操作前不需要对光谱进行预处理和特征提取等操作, 可以实现原始光谱之间的转移, 是首个端到端的非线性光谱转移方法。 为了实现光谱空间的有效转移, 设计了一种基于条件概率和参数最大似然法的误差函数惩罚项, 结合梯度反向传播算法优化深度自编码的网络参数。 为了验证该方法的有效性, 引入两个公共的近红外光谱数据集, 分别是药片数据集和玉米数据集。 利用本方法进行光谱转移的过程主要有: 根据Kennard-Stone(KS)算法分别将两个数据集划分为校准集、 验证集和测试集； 用校准集中的光谱样本输入深度自编码器, 根据设计的误差函数求出误差, 并用反向传播法迭代训练网络参数, 直至模型最优； 将预测集样本输入训练好的DAE转移模型, 可以发现转移后的光谱与相应的目标光谱谱线基本重合, 这说明该设计的转移模型的有效性。 最后, 为了进一步验证本方法的优越性, 将该方法与经典的线性转移算法光谱空间变换(SST)和分段直接标准化(PDS)进行比较。 这三种算法得到的转移光谱分别作为测试样本, 输入已建立的偏最小二乘(PLS)多变量校准模型, 通过比较预测均方根误差(RMSEP), 可以发现该方法在多变量校准模型中的预测结果的均方根误差均小于SST和PDS, 分别提高了5.7%和10.1%, 表明由非线性深度自编码器转移的光谱样本具有高效和实用的特点。
近红外光谱 模型转移 多变量校准 深度自编码器 Near infrared spectroscopy Model transfer Multivariate calibration Deep auto-encoder 光谱学与光谱分析
2020, 40(7): 2313
1 海军航空大学, 山东 烟台 264001
2 中国人民解放军91515部队, 海南 三亚 572061
研究近红外光谱分析模型中的样本有效划分问题, 针对经典KS算法依据距离度量描述高维度光谱数据间差异时效果不尽人意甚至失去意义的问题, 结合目前相似性度量方法的不足, 构造出一种新的相似性度量函数, 采用光谱特征和性质特征相结合的方式计算样本间差异, 提出一种改进的KS算法以寻求样本差异的最佳表达方式。通过与其他改进方法的对比, 从有效性和对近红外光谱分析模型的影响两方面对所提改进算法进行分析, 验证了所提算法的合理性和优越性。
近红外线光谱分析 相似性度量 模型传递 多元校正模型 KS算法 样本划分 near-infrared spectroscopy analysis similarity measure model transfer multivariate correction model KS algorithm sample partition
