华南农业大学数学与信息学院, 广东 广州 510642
获取物体的光谱反射率是准确再现物体在各种光照条件下真实颜色的关键保证, 这对纺织服装、 出版印刷、 网络电商、 远程医疗等对颜色有较高要求的行业有重要作用。 光谱反射率重建的目的是利用训练样本建立数码相机等通用设备所获取的RGB三色值和光谱反射率高维向量间的映射关系, 从而避免使用分光光度计等专业设备所带来的成本高、 操作复杂、 分辨率低等问题。 训练样本的选择是影响光谱反射率重建算法效果的重要因素。 从物理角度看, 光谱反射率是一条关于波长的光滑曲线, 光谱反射率向量最大的相关性特征就是其光滑性, 因此, 训练样本的选择应同时考虑空间距离和形状的相似性。 针对局部学习方法中局部样本选择问题, 提出一种能同时考虑光谱反射率向量形状相似和空间距离相近的更加有效的训练样本选取方法, 以提高光谱反射率重建的精度。 该方法利用待测样本与训练样本之间的加权欧氏距离与向量夹角距离结合后赋予不同权重作为相似性度量, 根据样本容量动态地选出相似度较高的样本。 实验以孟赛尔半光泽数据集(munsell matte)为样本集, 基于伪逆法进行光谱反射率重建, 以光谱均方根误差和色差为评价指标, 与加权欧氏距离方法从样本选择的有效性和重构精度两方面进行比较。 实验结果表明, 基于改进加权欧氏距离的样本选择, 能够在保证均方误差最小的条件下, 显著降低色度误差, 同时添加不同噪声水平后, 文中方法的均方根误差和平均色差依旧保持最小, 该方法能够更好地利用局部样本的信息, 而且具有较好的抗干扰能力, 可以有效地提高光谱反射率重建的实际应用效果, 进而为颜色的真实再现提供保障。
光谱反射率重建 样本选择 改进加权欧氏距离 Spectral reflectance reconstruction Sample selection Improved weighted Euclidean distance 光谱学与光谱分析
2023, 43(12): 3924
1 江苏大学食品与生物工程学院, 江苏 镇江 212013
2 2. Department of Molecular Cell Physiology, Kyoto Prefectural University of Medicine, Kyoto 602-8566, Japan
近红外光谱因为具有小成本、 易操作、 低耗时等优点, 所以广泛用于食品领域。 作为一种间接的检测方法, 近红外光谱检测需要建立光谱和浓度之间的统计模型。 但是, 一种条件下建立的模型在另一种检测条件下会失效。 针对此问题, 重新建模可以加以解决, 但是重新建立光谱与浓度之间的模型非常繁琐耗时。 此时, 模型转移可以在避免重新建模的情况下, 通过光谱校正, 保证预测精度。 在模型转移中, 已经建立好模型的光谱称为主光谱(A), 不用建立模型, 而只用主光谱模型预测的光谱称为从光谱 (B)。 模型转移方法的步骤是, 先在校正集中选择一些样本作为主光谱的转移集(At), 然后选择从光谱中浓度和At相同的光谱, 以此作为从光谱的转移集(Bt)。 通过At和Bt构建模型转移矩阵。 最后将需要校正的从光谱(Bv)乘以上述的转移矩阵中, 即可获得校正后的从光谱(Bnew)。 此时, Bnew就可以用主光谱的模型来直接预测。 在模型转移中, 转移集样本的选择对模型校正至关重要。 目前, 转移集的样本通常从光谱之间的距离而非模型转移误差获得。 但是, 转移误差对模型转移结果的验证至关重要, 故该研究出了基于集群分析的集群优化法(ER)并将其用于优化KS方法产生的转移集样本。 ER先用随机方法建立转移集的多个子集合, 并计算每个子集合的转移误差。 然后, 对某一个样本, 计算包含这个样本的子集合转移误差均值。 最后, 选择转移误差均值较低的样本作为新转移集样本进行模型转移。 以玉米数据测试了ER算法。 结果显示, 对于典型相关分析-有信息成分提取法(CCA-ICE)、 直接校正法(DS)、 分段直接校正法(PDS)、 光谱空间转化法(SST)这些常见的模型转移方法, 相比于KS样本选择方法, ER方法可以找出重要的转移集样本, 进而显著降低模型转移误差。
模型转移 集群分析 样本选择 偏最小二乘 近红外光谱 Calibration transfer Model population analysis Sample selection Partial least squares Near-infrared spectrum 光谱学与光谱分析
2022, 42(4): 1323
江南大学轻工过程先进控制教育部重点实验室, 江苏 无锡 214122
利用光谱技术实现农产品、 食品品质无损检测的实质是建立样本光谱信息与样本品质参数之间的机器学习模型。 为了获得具有良好泛化性能的机器学习模型, 通常需要大量的标记样本, 然而, 获取样本的光谱信息相对容易, 但标注样本品质参数的过程往往涉及到大量的时间和经济成本, 并且具有破坏性。 主动学习是一种减少训练集有标记样本数量的方法, 通过选择最有价值的样本进行标记, 而不是随机选择。 因此, 主动学习能够控制向训练集添加哪些样本, 模型不再是被动地接受用于建模的样本。 在分类任务中已经提出较多关于主动学习的算法, 但回归任务中的研究却相对较少, 且现有的用于回归任务的主动学习算法大多是有监督的, 即需要少量有标记样本训练初始模型。 本文提出了一种基于无监督主动学习方法的训练样本选择策略。 该方法首先通过层次凝聚聚类对无标记(标准值)光谱数据集进行多样性划分, 获得不同的聚类簇; 然后通过局部线性重建算法在每个聚类簇中选择最具代表性的样本构成训练样本集, 最后基于训练集构建模型。 利用两个年份三个品种苹果的近红外光谱数据, 构建了其可溶性固形物含量和硬度的偏最小二乘预测模型, 用于验证所提出方法的有效性。 实验结果表明: 所提出的方法要优于已有的样本选择策略, 可以有效地提高模型精度, 减少在模型训练中的破坏性理化实验。 同时, 与随机采样(RS)、 Kennard-Stone算法(KS)、 光谱-理化值共生距离算法(SPXY)这三种光谱领域常用的样本选择算法相比, 该研究所提出的方法表现出了最佳的性能, 基于所提出的无监督主动学习算法选取200个样本作为训练集所建立的可溶性固形物含量预测模型的预测均方根误差相对于其他三种算法降低了2.0%~13.2%, 硬度预测模型的预测均方根误差相对降低了1.2%~15.7%。
光谱 品质检测 主动学习 训练样本选择 Spectroscopy Quality detection Active learning Training sample selection
1 江苏大学食品与生物工程学院, 江苏 镇江 212013
2 Department of Molecular Cell Physiology, Graduate School of Medical Science, Kyoto Prefectural University of Medicine, Kyoto 602-8566, Japan
样本选择是模型转移的重要组成部分, 其目的是在主光谱和从光谱中选择合适的样本, 建立二者的转移模型, 使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本, 进而用主光谱的模型直接预测其浓度。 目前, 常用的样本选择算法有: Kennard-Stone 法 (KS法), SPXY法和SPXYE法。 根据上述算法的特点, 提出了一种新的样本选择方法: 加权SPXYE法(WSPXYE法), 进而将其用于选择合适的转移集样本。 WSPXYE同样先计算样本间的距离, 其距离有三个部分组成: 光谱(X)之间的归一化距离dxs, 浓度(y)之间的归一化距离dys, 以及校正误差(e)之间的归一化距离des。 其加权代数和dwspxye=αdxs+βdys+(1-α-β)des即为WSPXYE距离。 计算了WSPXYE距离之后, 可以根据其距离选择距离较大的样本作为转移集样本。 WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广, 而KS法(α=1, β=0)、 SPXY法(α=0.5, β=0.5)以及SPXYE法(α=0.333, β=0.333)则是WSPXYE法的特例。 直接校正法(DS)、 有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。 结果显示, 与KS法、 SPXY法以及SPXYE法相比, WSPXYE法可以通过调节参数, 选择合适的样本, 获得较低的误差。
样本选择 模型转移 WSPXYE WSPXYE Kennard-Stone Kennard-Stone SPXY SPXY SPXYE SPXYE Sample selection Calibration transfer
利用马拉硫磷在紫外/可见光波长范围内的不同浓度梯度的吸光度光谱数据, 建立其快速有效的定量预测分析模型。 在预测模型的建立过程中, 参与建模的波长变量和校正集样本的优劣对定量分析模型的预测能力有着决定性作用。 首先对实验样本是否存在异常样本进行检查, 然后将200.08~750.04 nm波长范围的光谱数据采用不同预处理方法并建立PLS模型, 进而将预处理结果最优(均值中心化)的光谱数据采用竞争性自适应重加权采样(CARS)算法和蒙特卡洛无消息变量消除法(MC-UVE)分别筛选出关键波长变量并建立相应的PLS预测模型, 模型结果表明, CARS算法在关键变量筛选的性能上优于MC-UVE算法; 再将CARS算法筛选出的18个波长变量(为原来变量数的1.137 8%)结合Kennard-Stone (K-S)算法和蒙特卡洛交叉验证(MCCV)分别优选出的44个建模样本(原来样本数的88%)建立CARS-K-Ss-PLS和CARS-CCVs-PLS定量预测模型, R2p分别为0.998 2和0.998 9, RMSEP分别为0.863 4和1.026 2, RPD分别为24.163 5和20.330 1, CARS-K-Ss-PLS模型略优于CARS-CCVs-PLS模型。 结果表明, CARS算法能够淘汰与样本浓度相关性较弱的变量, 同时有效剔除无关光谱信息, K-S算法能帮助选择更优的建模样本集, 马拉硫磷农药的紫外/可见光吸收光谱结合CARS算法和K-S算法所建立的CARS-K-Ss-PLS模型能够用来定量预测马拉硫磷农药浓度。 研究工作为利用光谱技术快速检测有机磷农药浓度提供一定的理论依据和实验基础, 在有机磷农药快速检测领域具有良好的应用前景。
马拉硫磷 紫外/可见吸收光谱 关键变量筛选 样本优选 定量预测 Malathion UV-Vis absorption spectrum Key variable screening Sample selection Quantitative prediction 光谱学与光谱分析
2020, 40(5): 1601
1 中国科学院 合肥智能机械研究所, 安徽 合肥 230031
2 中国科技大学 自动化系, 安徽 合肥 230026
3 合肥电子工程学院, 安徽 合肥 230037
可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱, 然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性, 再利用SPXY方法挑选建模集样本, 分别利用连续投影算法和遗传算法进行波长优选, 最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示: 连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度, 尤其是遗传算法能够更好地提高土壤有机质含量预测精度, 其相关系数、预测均方根误差和相对分析误差分别达到0.931 6, 0.214 2和2.319 5。通过合适的特征波长选取, 不仅计算量可以大大减少, 预测精度也会有效提高。
可见光/近红外光谱 有机质含量 光谱预处理 样本选择 波长优化optimization visible-near infrared spectroscopy(Vis-NIRS) organic matter content (OMC) spectral pretreatments sample selection wavelength
北京市农林科学院北京农业智能装备技术研究中心, 北京 100097
采用光谱技术对水果进行定量或定性分析, 如何获得一个简单、有效的校正模型对后续模型的应用和维护都非常关键。以草莓内部品质近红外光谱预测为例, 从关键变量和特征样本优选两方面进行研究。采用竞争性自适应重加权CARS算法对光谱变量进行初次选择, 随后采用连续投影算法SPA对校正集样本进行优选, 获得98个特征样本, 针对优选后的变量/样本子集利用SPA算法作二次关键变量提取, 获得25个关键变量。为了验证CARS算法的性能, 蒙特卡罗无信息变量消除MC-UVE和连续投影算法SPA用于比较研究。CARS算法在消除无信息变量的同时可以对共线性信息进行去除。同样, 为了评估SPA算法在特征样本选择中的性能, 经典的Kennard-Stone算法也用于比较分析。SPA算法能够用于校正集特征样本的优选。针对最终优选后的变量/样本(25/98)子集建立PLS和MLR模型对草莓内部可溶性固形物含量SSC含量进行定量预测。结果表明, 两个模型利用原始变量/样本的0.59%/65.33%的信息均能够获得比基于原始变量/样本所建模型更好的性能, 且MLR模型比PLS模型性能略优, r2pre, RMSEP和RPD分别为0.909 7, 0.348 4和3.327 8。
变量筛选 样本筛选 近红外光谱 草莓 可溶性固形物 Variable selection Sample selection Near-infrared spectra Strawberry Soluble solids content
1 中国农业大学理学院, 北京 100193
2 红塔集团技术中心, 云南 玉溪 653100
将极大线性无关组的概念及方法引入近红外光谱分析，探讨了在建立定量分析模型时代表性样品，即校正集样品的选择问题。以2652个烟末样品为实验材料，随机选取1001个样品构成预测集，其余1651个样品为代表性样品备选集。用Matlab软件求出代表性样品备选集光谱矩阵的极大线性无关组，以此作为代表性样品，构成建模的校正集。用PLS回归法建立了烟末样品总糖含量定量分析的预测模型，并将模型用于预测集中1001个烟末样品总糖含量的预测分析。实验结果表明，当选择的校正集包含的样品数量大于32时，所建各模型对预测集样品预测的平均相对误差均小于4％，平均相关系数大于0.96。其中选择32个代表性样品和146个代表性样品所建模型定量分析预测集中各样品的总糖含量，两个结果经统计检验没有显著性差异(α=0.05)，说明求极大线性无关组的方法用于校正集样品的选择，可实现“少而精”选择样品的目的。此外，我们用求极大线性无关组选择校正集样品和随机方法选择校正集样品两种方法，选择了同样数目28，32，41，76，146，163个样品建模进行预测效果的对比实验，结果显示，求极大线性无关组法选择校正集建模的预测效果优于随机选择校正集建模的预测效果。
近红外光谱 代表性样品选择 极大线性无关组 NIRS Representative sample selection Maximum linearly independent group 光谱学与光谱分析
2009, 29(10): 2661
