为建立快速近红外光谱定量分析模型, 特征波长筛选是提高定量分析预测精度较为有效的方法之一。 它能够筛选出有效波长信息, 减少数据冗余、 提高数据有效性。 随机森林(RF)作为一种集成算法, 可根据计算特征重要性进行特征筛选。 RF将基于袋外数据(OOB)的平均精度下降(MDA)方法计算均方误差平均值作为特征重要性结果, 通过设置特征重要性阈值筛选特征变量构成特征波长子集, 但该阈值范围的设定无理论依据, 因此需要对特征重要性阈值范围进行探究。 另一方面, 由于RF的随机特性, 特征波长子集中可能包含无效甚至是干扰变量, 并不能保证所选变量的有效性。 故而进一步提出RF-iPLS波长筛选方法。 区间偏最小二乘法(iPLS)筛选出的特征波长多为连续特征波段的特性, 对特征波长子集划分区间, 弥补RF因自身随机性造成的无效变量问题； 同时, RF筛选的离散特征波长解决了iPLS筛选的连续波段中含冗余信息的问题。 为了说明RF-iPLS算法的合理性, 特征子集经过蒙特卡洛(MC)方法500次样本特征采样后, 构建RF-MC-iPLS算法。 虽然RF-iPLS与RF-MC-iPLS算法结构接近, 但运行时间缩短了11.12%, 结果说明RF-iPLS算法在预测模型中的特征波长筛选是有效的, 且具有较低的时间复杂度。 为了进一步验证改进的RF-iPLS算法的有效性, 应用一组公开谷物蛋白质近红外光谱数据, 建立PLSR模型, 并与全谱的PLSR模型以及基于不同波长筛选方法的PLSR模型进行比较。 实验结果表明, 相比于全谱的117个波长, RF-iPLS优选出12个特征波长, 建模集的RMSEC从2.61降到0.64, 预测精度提升了约75.5%, 预测集的RMSEP从2.63降到0.69, 预测精度提升了73.8%, 极大地提高了预测精度且预测结果最优, 说明RF-iPLS是一种有效的特征波长筛选方法, 可以简化近红外光谱定量分析模型的复杂度并实现高效降维。

为了克服单一模型预测精度很难进一步提高的不足, 利用近红外光谱分析结合基于Stacking框架的异构集成学习模型实现对油页岩含油率的检测。 以松辽盆地某区块所取230个油页岩岩芯样本为研究对象, 使用低温干馏法测量油页岩样本的含油率, 同时扫描每个样本对应的近红外光谱数据。 样本使用蒙特卡洛算法进行异常样本剔除, 将剔除异常样本后的213个数据按照3∶1的比例随机划分为训练集和预测集。 利用去趋势加基线校正方法进行预处理消除光谱数据中噪声和基线漂移, 利用随机森林算法进行波长重要性排序并保留重要波长, 在此基础上采用CARS算法进行特征波长提取, 进一步降低数据维度。 最后, 构建以PLS, SVM, RF和GBDT为初级学习器, PLS回归模型为次级学习器的Stacking集成学习模型, 各初级学习器模型参数使用网格搜索进行寻优。 使用决定系数和预测均方根误差作为各模型的评价指标, 探究单一模型和集成学习模型对油页岩含油率预测的准确性。 研究结果表明, RF-CARS方法能够有效筛选重要波长, 进而提高模型效率。 基于Stacking的异构集成学习模型与单一模型(SVM和PLS)和同构集成学习模型(RF和GBDT)相比有更好的预测效果和更强的稳定性。 在多次随机划分数据集的基础上, Stacking集成学习模型的平均决定系数R2为0.894 2, 相比于其他单一模型平均提高了0.062 3； RMSEP为0.586 9, 比其他模型平均降低了0.147 4。 说明, 基于Stacking的异构集成学习模型能够组合初级学习器的优势, 提高油页岩含油率预测精度, 为油页岩含油率快速检测提供了一种新方法。

为了提高基于近红外光谱的土地覆盖分类模型的准确率, 以欧盟统计局发布的土壤近红外光谱数据为研究对象, 研究基于短时傅里叶变换（STFT）预处理方法和不同卷积尺度融合的土地覆盖分类模型, 实现耕地、 林地和草地的快速区分。 为适应二维卷积要求, 将一维光谱的400～2 500 nm波段的4 200个波长进行短时傅里叶变换, 转换成二维图像同时提取光谱数据的频谱信息。 将样本按6∶2∶2的比例随机划分为训练集、 验证集和测试集。 建立单一尺寸卷积核卷积神经网络（CNN）以及多尺寸卷积核融合的卷积神经网络土地覆盖分类模型, 为了防止模型出现梯度消失现象, 网络采用ReLU激活函数以及批标准化（BN）、 Dropout等方法。 并采用早停法（early stopping）训练网络, 防止模型出现过拟合风险。 首先, 探讨了不同STFT窗口长度（64, 100和128）、 不同卷积核尺寸（3×3, 5×5和7×7）等对模型分类效果的影响规律。 实验结果显示: 当STFT窗口长度为100、 窗口重叠长度为50%时, 模型总体分类准确率均最高; 模型的分类准确率随卷积核尺寸的增大而降低, 较小尺寸卷积核模型准确率更高, 卷积核尺寸为3×3的CNN模型总体分类准确率达到了78.76%, 高于卷积核尺寸为5×5和7×7的CNN模型分类准确率; 不同尺寸卷积核的模型都对某一种土地覆盖类型的分类效果良好, 对于耕地, 3×3卷积尺寸的CNN模型分类效果最佳; 对于林地, 5×5卷积尺寸的CNN模型分类效果最佳; 对于草地, 7×7卷积尺寸的CNN模型分类效果最佳。 其次, 提出了基于多种尺寸卷积核融合的Fusion-CNN模型, 该模型综合了不同尺寸卷积核的分类优势, 模型对于3种土地覆盖类型的分类准确率均有了不同程度的提高, 模型总体分类准确率达到84.39%。 Fusion-CNN模型克服了单尺寸卷积核CNN模型对于合适的卷积核尺寸选择周期长、 调参步骤繁琐的缺点, 能简化和加快建模过程。 使用Fusion-CNN卷积融合网络可以更有效地对土壤近红外光谱的内部特征信息进行自动抽取, 从而得到较高且稳定的土地覆盖分类准确率。

土壤pH值是影响土壤养分转化和土壤肥力的关键因素, 使用近红外光谱技术对土壤pH值进行检测可为土壤资源的开发利用提供重要依据。 卷积神经网络作为深度学习在人工智能方面的典型算法, 由于其结构具备“局部感知, 权值共享”的能力, 因此不仅能够对复杂的光谱数据进行特征抽取, 还能够减少网络的训练参数, 提高网络的运算效率。 将卷积神经网络用于近红外光谱的建模分析, 并提出一种基于一维卷积的卷积神经网络和近红外光谱的土壤pH值预测方法。 网络由Python语言调用Tensorflow工具包搭建而成, 其结构由输入层、 卷积层、 池化层以及全连接层四部分组成。 以欧洲统计局在2008年—2012年开展的土地利用及覆盖面积统计调查所收集的矿物质土壤光谱样本数据集为研究对象, 为消除光谱中存在的基线漂移, 提高信噪比, 对原始可见光近红外光谱(400～2 500 nm)进行一阶导数和Savitzky-Golay平滑处理。 在模型训练过程中, 随机选取15 000个样本作为训练集, 剩余的2 272个样本作为测试集, 探讨不同的卷积层个数及训练迭代次数对模型性能的影响, 并采用ReLU激活函数及Adam优化器防止模型出现梯度消失现象, 提高模型的稳定性, 之后通过分析模型的拟合优度和运算成本确定模型的最佳性能, 最后将网络模型与传统的BP和PLSR模型进行对比。 结果显示, 当模型迭代次数为2 500次, 卷积层个数为4层时, 模型达到最佳状态, 模型对训练集的均方误差从1.898降到了0.097; 模型对测试集的拟合优度为0.909, 分别比BP和PLSR模型高0.117和0.218。 使用卷积神经网络可以对土壤近红外光谱的内部特征信息进行抽取, 从而实现对大面积土壤pH值的高效准确预测。 CNNR模型可对农作物的合理栽种及精准施肥提供指导, 从而达到土壤结构稳定和可持续发展的目的。 基于卷积神经网络的近红外光谱回归方法也可以推广到其他土壤信息研究。