近红外光谱分析以其简便、 快速、 高效、 低成本、 绿色环保等优点, 已广泛应用于诸多领域。 然而, 近红外光谱同时存在变量维度高、 多重共线性、 包含冗余信息和高频噪声等问题, 直接构建预测模型不但增加建模复杂度, 同时也会影响模型的预测性能和泛化能力, 因此提出一种基于改进和声搜索算法(HS)的光谱特征变量选择方法。 HS常用于解决特征变量优化选择问题。 在应用和声搜索算法进行最优光谱变量选择时, 首先通过偏最小二乘(PLS)载荷系数计算各光谱点的特征贡献度, 作为和声搜索算法改进的扰动权重。 算法优选光谱特征变量过程中, 引入变量特征贡献度作为激励因子, 采用随机遍历和激励因子共同作用的方式生成初始解向量。 产生新和声向量时, 应用变量特征贡献度作为惩罚项, 通过加入平衡因子使选择参数随迭代次数而动态调整, 从而适应光谱变量的搜索, 增强搜索过程的遍历性和种群的多样性。 为验证本算法的有效性, 以烟叶样品烟碱、 总糖、 总氮三个指标的近红外光谱PLS建模应用为例, 对采集的原始光谱进行预处理后, 应用该方法对光谱变量进行优选, 根据变量被选择的累积频次分别计算不同变量个数的模型预测性能, 通过校正均方根误差(RMSEC)随变量增加的变化趋势确定最终选择的光谱特征变量。 在训练集上分别建立各指标的PLS模型, 应用测试集测试模型性能, 并与全光谱、 无信息变量消除法(UVE)和粒子群算法(PSO)进行比较。 实验结果显示, 应用该算法所选变量建立的烟碱、 总糖和总氮三个模型的决定系数(R2)分别为0.921 1, 0.925 7和0.941 2, 预测均方根误差(RMSEP)分别为0.102 3, 1.034 6和0.053 1, 与其他方法相比, 光谱特征变量更少, 同时R2和RMSEP值更优。 由此表明, 改进的和声搜索算法能有效筛选特征光谱, 降低建模复杂度, 提升模型预测性能和泛化能力。

近红外光谱数据的高维、高冗余、高噪声和非线性的特性严重影响了光谱相似性度量的准确性,针对该问题,提出了一种基于网格划分局部线性嵌入(GGLLE)算法的近红外光谱相似性度量方法。首先,根据关键化学成分在光谱中的表达,将高维光谱数据划分为多个网格子空间。其次,对局部线性嵌入(LLE)算法做了两方面改进,并采用改进的LLE算法依次实现每个子空间从高维空间向低维空间的特征映射,计算生成子空间的相似度矩阵。最后,将子空间相似度矩阵归一化处理并求解所累加和生成光谱样本集的相似度矩阵,实现光谱的相似性度量。实验选取两组某烟草企业提供的烟叶光谱构建了光谱的相似性度量模型,以相似性度量的准确率作为算法优劣的衡量标准。实验结果表明,GGLLE算法构建的相似性度量模型的准确率为93.3%,明显优于主成分分析、栈式自编码器和LLE算法的64.2%、67.5%和82.5%,从而证明了GGLLE算法的有效性。

近红外检测作为一种快速无损的检测方法得到广泛关注。但光谱中存在大量噪声以及光谱数据的高维度和非线性等特点影响了分类模型的准确率。将深信网络(DBN)的理论改进并引入光谱特征学习中, 解决高维特征间非线性关系的学习问题, 采用逐层训练策略和随机梯度上升法分别进行网络预训练和微调获得网络权值; 并结合支持向量机(SVM)建立近红外光谱多分类模型DBN-SVM。与基于主成分分析的分类模型PCA-SVM和基于线性判别分析的LDA-SVM分类模型进行应用比较。结果表明: DBN-SVM算法能有效地学习高维数据中的内在结构和非线性关系, 由该算法构建的模型具有良好的特征学习能力和分类识别能力, 而且在稳健性、各类别的灵敏度和特效度也更优。

为了建立更准确、高效的烟叶产地识别模型,提出了基于自适应遗传算法的修剪随机森林算法(AGARFP)。该算法根据种群的进化程度,适配不同的选择算子;然后利用改进的自适应遗传算法对随机森林进行修剪。实验选择5个产区的样本构建烟叶产地识别模型,以产地识别准确率作为算法优劣的衡量标准。实验结果表明,AGARFP分类准确率为94.67%,分类效果优于其他方法,从而证明了所提算法的有效性。

在近红外光谱分析技术中, 建立一个准确、 稳健的定量模型至关重要。 全光谱建模会增加建模和预测时间, 降低模型的稳健性和预测精度, 因此有效的变量选择方法对于模型构建至关重要。 针对该问题, 提出了基于互信息的遗传算法(GAs-MI)对特征变量进行选择, 互信息筛选掉大量无关信息和冗余信息, 遗传算法进一步选择出高辨别力的特征; 并在遗传算法的变异过程中引入Shapley值方法, 减少了人为设定参数的随机性。 为了验证算法的有效性, 选取有代表性的273个烟叶样本为实验材料, 随机选择其中182个样本实现对烟叶总烟碱的PLS定量建模, 剩余样本作为测试集, 以相关系数(R)、 交互验证均方差(RMSECV)和预测均方根误差(RMSEP)为模型评价指标。 实验结果表明, 通过该方法选择的波长建立的模型更加简单、 预测能力更强。

针对模型转移中S/B算法对于非线性问题的局限性, 在传统S/B算法进行线性拟合、 偏最小二乘法求参数的基础上加以改进, 提出了引入变量的高次幂、 使用Lagrange插值法与Newton插值法求待定系数和插值多项式来解决两组数据的非线性问题。 为了验证改进算法的有效性, 先对主机样品建模并分别预测主机和子机样品, 然后通过实验数据和评价指标, 筛选出最佳函数关系进行子机模型校正, 并分别用改进的S/B算法和传统的S/B算法对子机未知样本进行预测。 实验结果表明: 直接用主机原模型对子机预测的值与真实值差距较大, 利用改进的S/B算法(H-S/B)比传统的S/B算法预测值更接近真实值。 改进的S/B算法提高了预测值的准确性, 解决了传统S/B算法的非线性问题, 实现了更好的模型转移效果, 增强了网络化模型应用的通用性。

针对随机森林(RF)在高维空间特征选择过程中计算繁琐和内存开销大、分类准确率低等问题, 提出了基于二分搜索(BS)结合修剪随机森林(RFP)的特征选择算法(BSRFP); 该算法首先根据纯度基尼指数获取特征重要性评分, 删除重要性评分较低的特征, 然后利用BS算法结合基分类器差异性的修剪技术得到最优特征子集和最高分类准确率的分类器; 为了验证算法的有效性, 构建卷烟质量识别模型并与其他方法进行比较。结果表明: BS算法简化了特征搜索过程, RFP算法缩减了RF算法的规模; RFP算法的分类准确率可达96.47%; BSRFP算法选择出的特征相关性更强, 对卷烟质量识别具有更高的准确度。

在近红外光谱数据相似性测度时, 由于光谱数据高维、 非线性、 重叠等特点, 会出现测度距离失效、 数据信息处理困难等难题。 针对传统相似性测度方法在高维空间出现的不适应性, 提出了基于邻近集计算的光谱相似性测度方法。 首先, 采用邻域保持投影neighborhood preserving projections(NPP)算法对原始光谱数据进行降维处理, 该降维方法可以很好的保留原始光谱数据非线性结构信息和数据点的邻域信息。 然后, 在光谱数据降维后的低维空间中, 采用改进的邻近集计算方法, 实现对近红外光谱数据的相似性测度。 实验结果表明, 基于邻近集计算的光谱相似性测度方法, 有效的实现了光谱数据的相似性测度, 在烟叶风格判定和品质分析方面有较好的应用前景, 同时也为高维光谱数据相似性测度提供了一个良好的解决方法。

针对高维空间下获取最优特征子集异常复杂和模型识别准确率较低的问题, 提出了基于特征分层选择和融合度相结合的近红外光谱多类识别度量算法。 首先引入跳跃度, 构造了一种特征分层方法, 将所有特征依据对样本的重要性程度划分不同的特征子集, 从而避免了从原始特征数据逐个剔除无关特征构建特征子集的繁琐过程; 同时又改进了样本的融合度, 将其代替K最近邻分类器(KNN)中依据概率进行类别判断的方式, 提高了分类器的识别精度, 较好地解决了多类识别准确率较低的问题。 为验证该算法的有效性, 选取五类具有代表性382个烟叶样品为实验对象, 构建了烟叶产地识别度量模型, 并选取64个样本进行了模型测试, 以预测均方根误差(RMSEP)、 交互验证均方差(RMSECV)和相关系数(r)作为模型稳健性的评价指标, 以产地识别准确率作为算法优劣评价标准。 仿真实验结果表明, 利用该算法构建的模型具有较低的RMSEP(0.117), RMSECV(0.106)和较高的r(0.973), 平均识别准确率达到98.44%, 性能明显优于其他算法, 该算法对于高维光谱数据具有良好的识别性能。

校正样本选择以及奇异样本剔除对于近红外光谱定量和定性建模非常重要.现有的识别奇异样本的方法一般都基于数据重心估计,需要一个经验的判断阈值,在很大程度上限制了其识别准确性和实用性.针对现有方法奇异样本识别准确率低的问题,改进了一种现有度量尺度-杠杆值,构造出一种新的基于强影响度的奇异样本识别算法.这种度量尺度在一定程度上减少了对数据重心的依赖,使正常样本更加聚集,拉开了奇异样本与正常样本的距离;同时,为了避免人工根据经验设定阈值的不合理性,引入统计学领域中跳跃度的概念,提出了一种自动阈值设定方法判别奇异样本.为了验证该算法的有效性,利用马氏距离、杠杆值-光谱残差法与该算法分别对200个代表性校正集样本中的异常样品进行剔除,然后通过偏最小二乘法(PLS)对剩余的校正集样本(以烟碱为指标)定量建模,并对60个代表性测试集样本进行预测,以交互验证均方根误差(RMSECV)、相关系数(r)和预测均方根误差(RMSEP)为评价指标比较各算法的优劣.实验对比结果表明,基于强影响度的奇异样本识别算法较现有方法明显提高了奇异样本识别的准确率,具有较低的RMSECV(0.104),RMSEP(0.112)以及较高的R(0.983),提高了模型的稳定性和预测能力。