华南农业大学数学与信息学院, 广东 广州 510642
获取物体的光谱反射率是准确再现物体在各种光照条件下真实颜色的关键保证, 这对纺织服装、 出版印刷、 网络电商、 远程医疗等对颜色有较高要求的行业有重要作用。 光谱反射率重建的目的是利用训练样本建立数码相机等通用设备所获取的RGB三色值和光谱反射率高维向量间的映射关系, 从而避免使用分光光度计等专业设备所带来的成本高、 操作复杂、 分辨率低等问题。 训练样本的选择是影响光谱反射率重建算法效果的重要因素。 从物理角度看, 光谱反射率是一条关于波长的光滑曲线, 光谱反射率向量最大的相关性特征就是其光滑性, 因此, 训练样本的选择应同时考虑空间距离和形状的相似性。 针对局部学习方法中局部样本选择问题, 提出一种能同时考虑光谱反射率向量形状相似和空间距离相近的更加有效的训练样本选取方法, 以提高光谱反射率重建的精度。 该方法利用待测样本与训练样本之间的加权欧氏距离与向量夹角距离结合后赋予不同权重作为相似性度量, 根据样本容量动态地选出相似度较高的样本。 实验以孟赛尔半光泽数据集(munsell matte)为样本集, 基于伪逆法进行光谱反射率重建, 以光谱均方根误差和色差为评价指标, 与加权欧氏距离方法从样本选择的有效性和重构精度两方面进行比较。 实验结果表明, 基于改进加权欧氏距离的样本选择, 能够在保证均方误差最小的条件下, 显著降低色度误差, 同时添加不同噪声水平后, 文中方法的均方根误差和平均色差依旧保持最小, 该方法能够更好地利用局部样本的信息, 而且具有较好的抗干扰能力, 可以有效地提高光谱反射率重建的实际应用效果, 进而为颜色的真实再现提供保障。
光谱反射率重建 样本选择 改进加权欧氏距离 Spectral reflectance reconstruction Sample selection Improved weighted Euclidean distance 光谱学与光谱分析
2023, 43(12): 3924
1 江苏大学食品与生物工程学院, 江苏 镇江 212013
2 2. Department of Molecular Cell Physiology, Kyoto Prefectural University of Medicine, Kyoto 602-8566, Japan
近红外光谱因为具有小成本、 易操作、 低耗时等优点, 所以广泛用于食品领域。 作为一种间接的检测方法, 近红外光谱检测需要建立光谱和浓度之间的统计模型。 但是, 一种条件下建立的模型在另一种检测条件下会失效。 针对此问题, 重新建模可以加以解决, 但是重新建立光谱与浓度之间的模型非常繁琐耗时。 此时, 模型转移可以在避免重新建模的情况下, 通过光谱校正, 保证预测精度。 在模型转移中, 已经建立好模型的光谱称为主光谱(A), 不用建立模型, 而只用主光谱模型预测的光谱称为从光谱 (B)。 模型转移方法的步骤是, 先在校正集中选择一些样本作为主光谱的转移集(At), 然后选择从光谱中浓度和At相同的光谱, 以此作为从光谱的转移集(Bt)。 通过At和Bt构建模型转移矩阵。 最后将需要校正的从光谱(Bv)乘以上述的转移矩阵中, 即可获得校正后的从光谱(Bnew)。 此时, Bnew就可以用主光谱的模型来直接预测。 在模型转移中, 转移集样本的选择对模型校正至关重要。 目前, 转移集的样本通常从光谱之间的距离而非模型转移误差获得。 但是, 转移误差对模型转移结果的验证至关重要, 故该研究出了基于集群分析的集群优化法(ER)并将其用于优化KS方法产生的转移集样本。 ER先用随机方法建立转移集的多个子集合, 并计算每个子集合的转移误差。 然后, 对某一个样本, 计算包含这个样本的子集合转移误差均值。 最后, 选择转移误差均值较低的样本作为新转移集样本进行模型转移。 以玉米数据测试了ER算法。 结果显示, 对于典型相关分析-有信息成分提取法(CCA-ICE)、 直接校正法(DS)、 分段直接校正法(PDS)、 光谱空间转化法(SST)这些常见的模型转移方法, 相比于KS样本选择方法, ER方法可以找出重要的转移集样本, 进而显著降低模型转移误差。
模型转移 集群分析 样本选择 偏最小二乘 近红外光谱 Calibration transfer Model population analysis Sample selection Partial least squares Near-infrared spectrum 光谱学与光谱分析
2022, 42(4): 1323
江南大学轻工过程先进控制教育部重点实验室, 江苏 无锡 214122
利用光谱技术实现农产品、 食品品质无损检测的实质是建立样本光谱信息与样本品质参数之间的机器学习模型。 为了获得具有良好泛化性能的机器学习模型, 通常需要大量的标记样本, 然而, 获取样本的光谱信息相对容易, 但标注样本品质参数的过程往往涉及到大量的时间和经济成本, 并且具有破坏性。 主动学习是一种减少训练集有标记样本数量的方法, 通过选择最有价值的样本进行标记, 而不是随机选择。 因此, 主动学习能够控制向训练集添加哪些样本, 模型不再是被动地接受用于建模的样本。 在分类任务中已经提出较多关于主动学习的算法, 但回归任务中的研究却相对较少, 且现有的用于回归任务的主动学习算法大多是有监督的, 即需要少量有标记样本训练初始模型。 本文提出了一种基于无监督主动学习方法的训练样本选择策略。 该方法首先通过层次凝聚聚类对无标记(标准值)光谱数据集进行多样性划分, 获得不同的聚类簇; 然后通过局部线性重建算法在每个聚类簇中选择最具代表性的样本构成训练样本集, 最后基于训练集构建模型。 利用两个年份三个品种苹果的近红外光谱数据, 构建了其可溶性固形物含量和硬度的偏最小二乘预测模型, 用于验证所提出方法的有效性。 实验结果表明: 所提出的方法要优于已有的样本选择策略, 可以有效地提高模型精度, 减少在模型训练中的破坏性理化实验。 同时, 与随机采样(RS)、 Kennard-Stone算法(KS)、 光谱-理化值共生距离算法(SPXY)这三种光谱领域常用的样本选择算法相比, 该研究所提出的方法表现出了最佳的性能, 基于所提出的无监督主动学习算法选取200个样本作为训练集所建立的可溶性固形物含量预测模型的预测均方根误差相对于其他三种算法降低了2.0%~13.2%, 硬度预测模型的预测均方根误差相对降低了1.2%~15.7%。
光谱 品质检测 主动学习 训练样本选择 Spectroscopy Quality detection Active learning Training sample selection
1 江苏大学食品与生物工程学院, 江苏 镇江 212013
2 Department of Molecular Cell Physiology, Graduate School of Medical Science, Kyoto Prefectural University of Medicine, Kyoto 602-8566, Japan
样本选择是模型转移的重要组成部分, 其目的是在主光谱和从光谱中选择合适的样本, 建立二者的转移模型, 使得从光谱的预测样本能通过转移模型校正成类似于主光谱的样本, 进而用主光谱的模型直接预测其浓度。 目前, 常用的样本选择算法有: Kennard-Stone 法 (KS法), SPXY法和SPXYE法。 根据上述算法的特点, 提出了一种新的样本选择方法: 加权SPXYE法(WSPXYE法), 进而将其用于选择合适的转移集样本。 WSPXYE同样先计算样本间的距离, 其距离有三个部分组成: 光谱(X)之间的归一化距离dxs, 浓度(y)之间的归一化距离dys, 以及校正误差(e)之间的归一化距离des。 其加权代数和dwspxye=αdxs+βdys+(1-α-β)des即为WSPXYE距离。 计算了WSPXYE距离之后, 可以根据其距离选择距离较大的样本作为转移集样本。 WSPXYE是Kennard-Stone法(KS法), SPXY法和SPXYE法的推广, 而KS法(α=1, β=0)、 SPXY法(α=0.5, β=0.5)以及SPXYE法(α=0.333, β=0.333)则是WSPXYE法的特例。 直接校正法(DS)、 有信息成分提取-典型相关分析法(CCA-ICE)作为模型转移算法验证了WSPXYE方法的效果。 结果显示, 与KS法、 SPXY法以及SPXYE法相比, WSPXYE法可以通过调节参数, 选择合适的样本, 获得较低的误差。
样本选择 模型转移 WSPXYE WSPXYE Kennard-Stone Kennard-Stone SPXY SPXY SPXYE SPXYE Sample selection Calibration transfer
1 中国农业大学信息与电气工程学院, 北京 100083
2 山东省德州市农业局, 山东 德州 253016
3 农业部农业信息获取技术重点实验室, 北京 100083
针对小麦品种多分类问题, 使用近红外光谱进行定性分析。 建模样本增加能够使模型包含信息增多, 但同时也会导致信息冗余, 增加建模时间和存储空间, 所以需要通过样本选择降低数据量。 如果盲目选择必然会使信息丢失, 模型效果将大打折扣, 因此, 在传统选择方法基础上, 提出k近邻-密度样本选择方法。 使用多天采集的小麦种子近红外漫反射光谱, 在对其原始光谱进行预处理和特征提取后, 分别使用随机抽样、 k近邻和k近邻-密度三种方法进行建模样本选择, 然后建立仿生模式识别模型和改进的仿生模式识别模型。 实验结果显示, 在建立的仿生模式识别模型中, 使用k近邻-密度样本选择方法的模型识别效果优于另两种方法, 且建模样本量大大降低； 而在改进的仿生模式识别模型中, 使用k近邻-密度样本选择方法识别效果明显优于随机抽样, 略好于k近邻方法, 但使用k近邻-密度方法所选择的样本数量远少于k近邻方法。 结果证明k近邻-密度样本选择方法不仅能够大大降低建模样本量, 而且保证了模型质量, 对解决小麦品种多分类问题有明显效果。
小麦 近红外光谱 定性分析 样本选择 Wheat Near infrared spectroscopy Qualitative analysis Modeling samples selection 光谱学与光谱分析
2016, 36(12): 3920
训练样本构成是影响光谱重建精度的一个重要因素, 针对学习型光谱重建算法中训练样本选择问题, 提出了一种基于主成分分析的训练样本选择方法。 为了保证训练样本与重建样本的相似度, 首先根据欧式距离最小原则从待选样本集中选择与重建样本相机响应值相似的样本, 并去掉其中的重复样本； 然后进行主成分分析； 设定阈值筛选各主成分系数较大的样本作为训练样本, 最后得到与主成分个数相同的训练样本子集。 为验证该方法的有效性, 通过在镜头前加载宽带滤色片搭建多通道图像获取系统采集多通道图像信息, 将得到的各样本子集用作训练样本, 利用伪逆法重建光谱信息, 最后将重建的光谱精度与常用的训练样本及训练样本选择方法得到的重建光谱精度进行比较。 实验结果表明： 提出的方法显著提高了光谱重建的色度精度和光谱精度, 优于常用的样本选择方法, 能较大程度满足高精度颜色复制要求。
训练样本选择 主成分分析 光谱重建 多通道图像采集 Representative color samples selection PCA Reflectance reconstruction Multi-channel imaging system 光谱学与光谱分析
2016, 36(5): 1400
1 中国科学院 合肥智能机械研究所, 安徽 合肥 230031
2 中国科技大学 自动化系, 安徽 合肥 230026
3 合肥电子工程学院, 安徽 合肥 230037
可见光/近红外光谱模型是土壤属性预测的有效工具。波长优选在光谱建模过程中起着重要作用。文中首先利用从安徽省涡阳县采集的130个砂姜黑土土壤样本获得可见光/近红外光谱, 然后利用平滑与多重散射校正联合的光谱预处理方式消除光谱中的无关变量和冗余信息以提高模型预测结果的相关性, 再利用SPXY方法挑选建模集样本, 分别利用连续投影算法和遗传算法进行波长优选, 最后利用留一法进行交互验证建立有机质含量的主成分回归模型。研究结果显示: 连续投影算法和遗传算法都可以有效地减少参与建模的波长数并提高模型的准确度, 尤其是遗传算法能够更好地提高土壤有机质含量预测精度, 其相关系数、预测均方根误差和相对分析误差分别达到0.931 6, 0.214 2和2.319 5。通过合适的特征波长选取, 不仅计算量可以大大减少, 预测精度也会有效提高。
可见光/近红外光谱 有机质含量 光谱预处理 样本选择 波长优化optimization visible-near infrared spectroscopy(Vis-NIRS) organic matter content (OMC) spectral pretreatments sample selection wavelength
