研究集成学习方法在有机物红外光谱定量分析中的应用及特征波长选取方法对红外光谱集成学习建模效率和预测精度的影响。 以柴油红外光谱的十六烷和总芳香烃含量为研究对象, 首先采用极端随机森林(ERT)、 线性核支持向量机(LinearSVM)、 径向基核支持向量机(RBFSVM)和多项式核支持向量机(polySVM)作为基学习器, LinearSVM作为元学习器建立两层Stacking集成学习框架, 分析比较单个基学习器与集成学习对柴油红外光谱的定量回归预测精度, 与偏最小二乘(PLS)定量回归模型相比, Stacking集成学习模型对柴油光谱的两种有机物含量的预测精度均有提升, 其中十六烷含量的ERT模型预测结果最优(r=0.848, RMSEP=1.603, RDP=2.627), 总芳香烃含量的Stacking模型预测结果最优(r=0.991, RMSEP=0.526, RDP=9.243); 进一步利用组合偏最小二乘(SiPLS)和连续投影算法(SPA)对红外光谱进行特征波长选取, 利用优选出的红外光谱特征波长建立集成学习定量回归模型, 其中十六烷含量的SiPLS-ERT模型预测结果最优(r=0.893, RMSEP=1.013, RDP=3.051), 芳香烃含量的SiPLS-Stacking模型预测结果最优(r=0.998, RMSEP=0.354, RDP=11.475), 且模型平均训练时间较全光谱训练时间减少50%以上, 建模速度明显提高。 研究结果表明, 特征波长结合集成学习定量回归建模能够用于有机物红外光谱的定量分析中, 与传统定量回归方法相比, 该方法的建模效率和预测精度均有较大提高, 为进一步研究机器学习在光谱定量分析中的应用提供相关方法支持。

近年来, 深度学习在数据挖掘领域研究较多, 深度学习中的集成学习算法也越来越多地应用到分类和定量回归中, 但是, 集成学习算法在红外光谱分析领域的应用研究较少。 提出一种基于Blending模型融合的集成学习定量回归算法, 利用GBDT算法、 线性核支持向量机(LinearSVM)和径向基核支持向量机(RBF SVM)作为基学习器, 将基学习器预测结果通过LinearSVM模型完成数据融合。 以公开数据库中的药片和柴油近红外光谱数据为研究对象, 首先对光谱数据进行一阶导数预处理, 分别采用单核支持向量回归模型、 GBDT模型和Blending集成学习模型, 将模型预测结果进行分析比较。 药片活性物含量和硬度性质采用RBF SVM模型的预测结果最优, RMSEP最小, RPD最大; 其次为Blending集成学习模型; GBDT模型预测结果最差。 药片质量采用Blending集成学习模型预测的R2最高, 达到0.837 4; RBF SVM的RMSEP最小, 为2.140 6, RPD最大, 达到7.487 8; LinearSVM的预测结果最差。 对于柴油沸点、 闪点和总芳香烃三种性质, Blending模型预测效果最好, 优于三种单模型预测结果。 对于十六烷值, GBDT模型和RBF SVM模型预测结果优于Blending集成学习模型。 对于密度, 仅GBDT模型优于Blending集成模型, 并且, 使用单模型和集成模型的预测结果均较为理想, 除了LinearSVM模型R2为0.944 5, 其他模型R2均高于0.99。 对于冰点的预测, RBF SVM和LinearSVM的预测效果优于Blending集成学习模型。 对于黏性性质的预测, 仅RBF SVM的预测效果优于Blending集成算法模型。 由结果可以看出, 由GBDT, LinearSVM和RBF SVM集成的Blending模型由于融合了单模型的特征, 与单模型相比, 预测效果较优或者最优, 证明集成学习Blending模型用于红外光谱定量回归具有较强的适用性, 且具有较高的预测精度和泛化能力, 对于进一步研究集成学习算法在红外光谱定量回归中的应用具有重要的意义。

大气污染物的主要组成成分为挥发性有机物(VOCs), 傅里叶变换红外光谱技术(FTIR)是现阶段应用广泛的挥发性有机物在线测量方法。 开放光路获取到的大气红外光谱(OP-FTIR)易受各种噪声污染, 如何有效、 快速的去除红外光谱中的噪声是大气在线实时监测系统研究的热点。 综合利用提升小波变换结构简单、 运算量低的优点以及最小均方误差自适应滤波器的自动调节参数以达最优化滤波的性能, 提出了一种改进阈值提升小波结合自适应滤波的红外光谱去噪算法。 该算法先通过改进阈值小波系数的提升小波去噪, 在去噪的同时保留更多光谱特征信息, 然后使用提升小波变换分解出的高频系数重构出噪声相关信号, 将其作为最小均方误差自适应滤波器的参考输入进行二次滤波处理, 最终获得的去噪信号很好的去除了与特征光谱频谱重叠的噪声信号。 分别对人工添加噪声的标准红外光谱和合肥市市区上空实测开放光路红外光谱进行去噪处理, 结果显示使用该算法处理后的光谱信噪比(SNR)较离散小波传统阈值去噪方法高出3db, 均方根误差(RSME)平均减少30%左右, 运行时间减少46%。 表明该算法计算简单、 运行速度快, 对于大气环境监测实时消噪系统具有重要的实际应用意义。

以视觉方法观测能见度为研究核心, 提出了基于双光源图像特征的夜间能见度观测方法, 完成在各种不同天气情况下, 对能见度的大范围、 高精度、 高鲁棒观测。 首先分析多次散射条件下, 光源图像亮度变化与大气消光之间的关系, 得出反演能见度的基本模型, 接着, 研究了准确获取与能见度相关的光源图像特征提取算法, 并提出了一种能消除光源波动的双光源能见度计算方法。 最后, 使用基于双光源图像特征的能见度观测系统在不同气象条件下进行实验, 结果表明, 在采用35 m基线长度, 设定观测上限为15 000 m时, 观测误差均小于20%, 能够满足气象与交通部门的要求。

提出一种基于双光源方法和曲线演化理论的夜间能见度反演算法。 首先从双光源夜间能见度观测的特点出发, 分析了目标物亮度变化情况与特征演化曲线之间的相互关系。 接着引入水平集方法同时定义多个目标物亮度特征, 建立了水平集函数与能见度反演的关系模型, 并给出了算法的具体表达式。 实验结果表明, 反演算法具有很强鲁棒性, 在2 000～12 000 m观测范围内能见度反演值与标准能见度值的相关性均大于0.98, 可以用于对夜间能见度远距离、 高精度的观测。

重叠三维荧光光谱的解析是荧光光谱解析中的难点, 非负矩阵分解(NMF)作为一种有效的盲分离方法, 能够提取光谱的局部特征和内在联系, 克服光谱严重重叠带来的干扰, 在解析重叠光谱中具有不可比拟的优势。 首先用模拟三维荧光光谱验证了NMF在三维荧光光谱解析中的有效性, 然后将四种不同的NMF算法(乘性迭代算法、 交替最小二乘算法、 二阶方法、 投影梯度算法)用于实测的酚类化合物(百里酚、 间甲酚、 苯酚)三维荧光光谱的解析中, 并讨论了在酚类化合物分离应用中四种NMF算法的收敛速度和计算复杂度的差异。 实验结果表明, 四种方式的NMF标准偏差均在006%以下, 其中交替最小二乘算法在收敛行为和鲁棒性上最为优越。